ข่าว Alibaba เปิดตัวโมเดล Qwen 2 เวอร์ชั่นรับอินพุตเป็นเสียง และเวอร์ชั่นแก้ปัญหาคณิตศาสตร์

[News]

Alibaba Cloud ปล่อยโมเดล LLM แบบโอเพนซอร์สตระกูล Qwen 2 เพิ่มอีกสองรุ่น ได้แก่ Qwen2-Math และ Qwen2-Audio

Qwen2-Math เป็นโมเดลที่ฝึกต่อจก Qwen2 โดยสร้างชุดข้อมูลคุณภาพสูงด้านคณิตศาสตร์เฉพาะ ทั้งหนังสือ, โค้ดต่างๆ, ชุดข้อสอบต่างๆ, จนถึงข้อมูลที่สังเคราะห์ออกมาจาก Qwen2 เอง จุดเด่นของโมเดลนี้คือทำคะแนนทดสอบด้านคณิตศาสตร์ เช่น GSM8K, MATH หรือ MMLU-STEM ได้สูงกว่าโมเดลปิดอย่าง GPT-4o หรือ Gemini เสียอีก

Qwen2-Math ยังใช้งานได้เฉพาะภาษาอังกฤษเท่านั้น และมี 3 ขนาด คือ 1.5B, 7B, 72B เปิดให้ใช้งานแบบสัญญาอนุญาต Apache 2.0 ทีมงานระบุว่าจะเปิดเวอร์ชั่นภาษาจีนเร็วๆ นี้

Qwen2-Audio เป็นโมเดลสำหรับแชตเป็นเสียงโดยตรง สามารถใส่เสียงอย่างเดียวหรือเสียงพร้อมข้อความได้ โดยข้อความสามารถใส่คำสั่งเกี่ยวกับเสียง เช่น การวิเคราะห์ว่าเป็นเสียงอะไร โมเดลนี้รองรับ 8 ภาษา ได้แก่ จีน, อังกฤษ, กวางตุ้ง, ฝรั่งเศส, อิตาลี, สเปน, เยอรมัน, และญี่ปุ่น

สถาปัตยกรรมของ Qwen2-Audio เปลี่ยน encoder ใหม่เพื่อรองรับเสียงโดยเฉาพะ และฝึกโมเดลเข้ากับชุดข้อมูลของงานประเภทต่างๆที่เกี่ยวกับเสียง

โมเดล Qwen2-Audio มีเพียงขนาดเดียว คือ 7B พร้อมรุ่น instruct แยกออกมา

ที่มา - Qwen2-Math, Qwen2-Audio

Topics:
Alibaba Cloud
LLM

Continue reading...