ข่าว สถาบันวิจัยของสหรัฐอาหรับเอมิเรตส์ปล่อยโมเดล Falcon 40B เป็นโอเพนซอร์ส คะแนนนำ LLaMA ของ Meta

[News]

Technology Innovation Institute (TII) หน่วยงานวิจัยภายใต้รัฐบาลสหรัฐอาหรับเอมิเรตส์ปล่อยโมเดล Falcon 40B ที่เป็นโมเดลภาษาขนาดใหญ่ โดยทางสถาบันตัดสินใจยกเว้นการเก็บค่าใช้งานทั้งหมดแล้วปล่อยโมเดลเป็นสัญญาอนุญาตแบบ Apache 2.0 ซึ่งทำให้ผู้สนใจสามารถนำไปใช้งานได้อิสระ

ตัวโมเดล Falcon 40B ฝึกด้วยชุดข้อมูลขนาด 1 ล้านล้านโทเค็น ใช้ชิปกราฟิก 384 ชุดเป็นระยะเวลาสองเดือน โดยใช้ชุดข้อมูลจาก CommonCrawl แล้วลบข้อมูลซ้ำ, ข้อมูลที่สร้างโดยคอมพิวเตอร์, รวมถึงเนื้อหาสำหรับผู้ใหญ่ ออก คะแนนทดสอบตอนนี้ Falcon 40B นำ LLaMA 65B ที่มีขนาดใหญ่กว่าไปเสียอีก

Falcon 40B เป็นโมเดลแบบ LLM ที่ได้คะแนนสูงสุดในการจัดอันดับโมเดลแบบเดียวกันโดย Hugging Face ที่ใช้ชุดทดสอบ 4 ชุด ได้แก่

• AI2 Reason ถามปัญหาวิทยาศาสตร์,
• HellaSwag ถามการให้เหตุผลอย่างง่าย
• MMLU ทดสอบถามตอบทั่วไป เช่น ประวัติศาสตร์, วิทยาศาสตร์, กฎหมาย
• TruthfulQA ทดสอบการสร้างคำตอบว่าตรงความจริง

โมเดลทั้งหมดเปิดให้ดาวน์โหลดบน Hugging Face โดยสามารถใช้งานได้ทั้ง Falcon 40B และ 7B

ที่มา - Technology Innovation Institute

Topics:
Artificial Intelligence
Chatbot
LLM

อ่านต่อ...