ข่าว โมเดลโอเพนซอร์ส Reflection ปรับจูนจาก Llama แต่ชนะโมเดลใหญ่ได้ทุกตัวรวม GPT-4o

[News]

โลก AI เมื่อคืนนี้มีการเปลี่ยนแปลงน่าสนใจ เมื่อ Matt Shumer ผู้ก่อตั้งสตาร์ตอัพ HyperWrite เปิดตัวโมเดลภาษาขนาดใหญ่ (LLM) ตัวใหม่ Reflection 70B ที่มีคะแนนเบนช์มาร์คชนะโมเดลทุกตัวในท้องตลาด ไม่ว่าจะเป็น GPT-4o, Claude 3.5, Gemini 1.5 Pro, Llama 3.1 405B

สิ่งที่น่าสนใจคือ Reflection 70B ไม่ได้พัฒนาขึ้นมาจากศูนย์ แต่ปรับจูนมาจากโมเดลโอเพนซอร์สอย่าง Llama 3.1 70B อีกทอดหนึ่ง แล้วดันเอาชนะ Llama 3.1 405B ที่ตัวใหญ่กว่ามากๆ ได้

จุดเด่นของโมเดล Reflection และเป็นปัจจัยที่ทำให้คะแนนเบนช์มาร์คชนะโมเดลทุกตัว เป็นเทคนิคการปรับจูนที่ทำให้โมเดล "รู้ตัวว่าตอบผิด" และแก้ไขคำตอบของตัวเองก่อนให้คำตอบออกมาสู่โลกภายนอก (เป็นเหตุผลว่าทำไมถึงเลือกใช้ชื่อ reflection)

นอกจากนี้ โมเดล Reflection ยังแยกขั้นตอนการวางแผน (planning) และการลำดับความคิด (chain of thought) ออกมาต่างหาก เป็นผลให้คำตอบออกมาได้แม่นยำ เข้าใจง่ายมากขึ้น

Shumer เปิดเผยว่าการปรับจูนโมเดล Reflection ทำผ่านเครื่องมือปรับจูนของสตาร์ตอัพอีกรายชื่อ Glaive ที่เก่งเรื่องการปรับจูนโมเดลเฉพาะทาง และเขาเองจะใช้ Glaive กับโมเดลตัวอื่นๆ ในอนาคต

โมเดล Reflection 70B เป็นโอเพนซอร์ส เปิดให้ใช้งานแล้วบน Hugging Face และจะออกโมเดล Reflection 405B ตามมาในอนาคตอันใกล้นี้

ที่มา - VentureBeat

I'm excited to announce Reflection 70B, the world’s top open-source model.Trained using Reflection-Tuning, a technique developed to enable LLMs to fix their own mistakes.405B coming next week - we expect it to be the best model in the world.Built w/ @GlaiveAI.Read on : pic.twitter.com/kZPW1plJuo

— Matt Shumer (@mattshumer_) September 5, 2024

Topics:
LLM
Llama
Open Source
Artificial Intelligence

Continue reading...