ข่าว Meta ออก Llama 3.3 70B ความสามารถเท่า Llama 3.1 405B แต่ขนาดเล็กกว่ามาก ต้นทุนถูกกว่า

[News]

Meta เปิดตัวโมเดล Llama 3.3 ที่อัพเดตต่อเนื่องจาก Llama 3.2 ในเดือนกันยายน โดยยังมีเฉพาะโมเดลข้อความล้วน (multilingual แถมรองรับภาษาไทย) ในขณะที่ Llama 3.2 มีโมเดลข้อความ+ภาพ (multimodal) ให้ใช้งานด้วย

การเปลี่ยนแปลงสำคัญของ Llama 3.3 คือโมเดลขนาดพารามิเตอร์ 70B เพิ่มเทคนิคด้าน alignment และ reinforcement learning ทำให้มีประสิทธิภาพทัดเทียมกับ Llama 3.1 ขนาดพารามิเตอร์ 405B ที่ใหญ่กว่ากันมาก ส่งผลให้ Llama 3.3 70B สามารถใช้งานแทน Llama 3.1 405B ได้ มีต้นทุนการรันที่ถูกลงมาก และเริ่มรันในเครื่องเวิร์คสเตชันของนักพัฒนาทั่วไปได้แล้ว ไม่ต้องไปเช่าคลาวด์ใช้งาน

โมเดล Llama 3.3 70B ยังมีประสิทธิภาพใกล้เคียงกับคู่แข่งในระดับเดียวกัน (ชนะบางเบนช์มาร์ค) คือ Gemini Pro 1.5, GPT-4o และ Claude 3.5 Sonnet ถือเป็นอีกทางเลือกในการใช้โมเดลโอเพนซอร์ส

ที่มา - Hugging Face

As we continue to explore new post-training techniques, today we're releasing Llama 3.3 — a new open source model that delivers leading performance and quality across text-based use cases such as synthetic data generation at a fraction of the inference cost. pic.twitter.com/BNoV2czGKL

— AI at Meta (@AIatMeta) December 6, 2024

Topics:
Llama
Meta
LLM
Artificial Intelligence

Continue reading...