AMD เริ่มส่งมอบชิปตระกูล Instinct MI300 ตามที่เปิดตัวไปเมื่อต้นปีที่ผ่านมา โดยแบ่งออกเป็นสองรุ่นย่อย คือ MI300A ที่เป็น APU มีซีพียูในตัว และ MI300X ที่เป็นชิปเร่งความเร็วอย่างเดียว
MI300A มาพร้อมแรม HBM3 ขนาด 128GB เน้นปรับปรุงประสิทธิภาพต่อพลังงานดีขึ้น 1.9 เท่าเทียบกับ MI250X รุ่นก่อนหน้า
MI300X เป็นชิปเร่งความเร็วสถาปัตยกรรม CDNA 3 เพิ่มหน่วยประมวลผล 40% ขยายแบนวิดท์หน่วยความจำ 1.7 เท่า ใส่แรม HBM3 192GB และรองรับข้อมูลแบบ FP8 หน่วยความจำที่สูงขึ้นทำให้สามารถรันโมเดล LLaMA-2 70B ได้ในชิปเดียว สำหรับองค์กรที่ต้องการรัน LLM อยู่ภายในองค์กรเอง
นอกจากชิปทั้งสองตัวแล้ว AMD ยังเปิดชุด SDK สำหรับพัฒนาปัญญาประดิษฐ์ ROCm เวอร์ชั่น 6 เพิ่มฟังก์ชั่นในกลุ่ม LLM เช่น FlahAttention, HIPGraph, และ vLLM โดยที่ผ่านมาผู้พัฒนา LLM เริ่มหันมาใช้ AMD กันมากขึ้น เช่น Lamini หรือ MosaicML
งานประกาศครั้งนี้มีผู้ให้บริการคลาวด์และผู้ผลิตเซิร์ฟเวอร์ออกมาตอบรับนำชิป M300 ไปขายหรือให้บริการกันจำนวนมาก ที่น่าแปลกใจรายหนึ่งคือ Meta ออกมาระบุว่าเริ่มใช้ MI300X กับ ROCm 6 แล้ว
ที่มา - AMD
Topics:
AMD
Artificial Intelligence
GPGPU
อ่านต่อ...
MI300A มาพร้อมแรม HBM3 ขนาด 128GB เน้นปรับปรุงประสิทธิภาพต่อพลังงานดีขึ้น 1.9 เท่าเทียบกับ MI250X รุ่นก่อนหน้า
MI300X เป็นชิปเร่งความเร็วสถาปัตยกรรม CDNA 3 เพิ่มหน่วยประมวลผล 40% ขยายแบนวิดท์หน่วยความจำ 1.7 เท่า ใส่แรม HBM3 192GB และรองรับข้อมูลแบบ FP8 หน่วยความจำที่สูงขึ้นทำให้สามารถรันโมเดล LLaMA-2 70B ได้ในชิปเดียว สำหรับองค์กรที่ต้องการรัน LLM อยู่ภายในองค์กรเอง
นอกจากชิปทั้งสองตัวแล้ว AMD ยังเปิดชุด SDK สำหรับพัฒนาปัญญาประดิษฐ์ ROCm เวอร์ชั่น 6 เพิ่มฟังก์ชั่นในกลุ่ม LLM เช่น FlahAttention, HIPGraph, และ vLLM โดยที่ผ่านมาผู้พัฒนา LLM เริ่มหันมาใช้ AMD กันมากขึ้น เช่น Lamini หรือ MosaicML
งานประกาศครั้งนี้มีผู้ให้บริการคลาวด์และผู้ผลิตเซิร์ฟเวอร์ออกมาตอบรับนำชิป M300 ไปขายหรือให้บริการกันจำนวนมาก ที่น่าแปลกใจรายหนึ่งคือ Meta ออกมาระบุว่าเริ่มใช้ MI300X กับ ROCm 6 แล้ว
ที่มา - AMD
Topics:
AMD
Artificial Intelligence
GPGPU
อ่านต่อ...
