Meta เปิดตัวชิปเร่งการประมวลผล AI รุ่นแรกของบริษัท ใช้ชื่อว่า MITA v1 ย่อมาจาก Meta Training and Inference Accelerator
Meta ให้เหตุผลว่างานประมวลผล AI ของบริษัทในปัจจุบัน โดยเฉพาะงานกลุ่ม recommendation ในบริการโซเชียลต่างๆ ไม่ได้เหมาะกับ GPU มากนัก จึงออกแบบชิป ASIC ขึ้นมาใหม่ให้สอดคล้องกับโมเดล recommendation ของบริษัทเอง และเน้นการปรับแต่งมาเพื่อ PyTorch ซึ่งเป็นไลบรารีประมวลผล AI ที่เกิดจาก Meta ด้วย
MITA เป็นชิป ASICS แบบคัสตอมที่ Meta ออกแบบเองมาตั้งแต่ปี 2020 (แต่เพิ่งเปิดตัวต่อสาธารณะวันนี้) ใช้กระบวนการผลิต 7nm TSMC, สัญญาณนาฬิกา 800Hz, สมรรถนะ 102.4 TOPS (INT8) หรือ 51.2 TFLOPS (FP16) มีอัตราการใช้พลังงาน TDP 25W
ชิป MITA ประกอบด้วยหน่วยย่อยเรียกว่า processing element (PE) จำนวนรวม 64 ตัว วางแบบตาราง 8x8 เชื่อมกันแบบ mesh network ยืดหยุ่นต่อการจัดกลุ่ม PE ต่องานแต่ละขนาด, PE แต่ละตัวมี 2 คอร์ เป็นชิปสถาปัตยกรรม RISC-V แบบคัสตอม โดย 1 คอร์จะมีส่วนขยายประมวลผลแบบเวกเตอร์ด้วย, PE แต่ละตัวมี SRAM ขนาดเล็ก 128KB สำหรับเก็บข้อมูลเรียกใช้งานรวดเร็ว
ในชิปยังมีแรม SRAM ขนาด 128MB แชร์กันระหว่าง PE ทุกตัว, แรมนอกชิปเป็น LPDDR5 ขนาดรวม 128GB
ชิป MITA แต่ละตัวจะถูกนำมาติดตั้งบนบอร์ด M.2 เพื่อเสียบเข้ากับเซิร์ฟเวอร์ที่มีซีพียูหลักผ่าน PCIe Gen4 โดยตัวบอร์ด MITA ใช้พลังงานเพียง 35W, เซิร์ฟเวอร์หนึ่งตัวมีชิป MITA รวม 12 ตัว โดยเชื่อมต่อ MITA ของแต่ละเครื่องโดยตรงได้ผ่านสวิตช์ PCIe เพื่อไม่ให้ทราฟฟิกต้องวิ่งผ่านซีพียูเสมอไป
ซอฟต์แวร์ของ MITA ปรับแต่งมาเพื่อ PyTorch โดยเฉพาะ ทีมพัฒนาซอฟต์แวร์ได้สร้างตัวรันไทม์ของ PyTorch ที่รันบน MITA เพื่อปรับแต่งประสิทธิภาพให้เหมาะสม และตอนนี้กำลังพัฒนาซอฟต์แวร์ของ MITA ให้ทำงานร่วมกับ PyTorch 2.0 ที่เป็นการปรับปรุงครั้งใหญ่ด้วย
ผลการทดสอบชิป MITA เทียบกับหน่วยประมวลผลแบบอื่นคือ NNPI accelerator และ GPU พบว่า MITA มีประสิทธิภาพต่อพลังงาน (efficiency) ดีกว่าชิปทั้งสองแบบในโมเดลขนาดเล็กและขนาดกลาง แต่ถ้าเป็นโมเดลขนาดใหญ่ยังแพ้ GPU แบบดั้งเดิมอยู่ ซึ่งทีม MITA บอกว่ารับทราบเรื่องนี้และจะหาวิธีปรับปรุงต่อไป
ที่มา - Meta AI Blog
Topics:
Meta
ASICS
Artificial Intelligence
RISC-V
PyTorch
Processor
อ่านต่อ...
Meta ให้เหตุผลว่างานประมวลผล AI ของบริษัทในปัจจุบัน โดยเฉพาะงานกลุ่ม recommendation ในบริการโซเชียลต่างๆ ไม่ได้เหมาะกับ GPU มากนัก จึงออกแบบชิป ASIC ขึ้นมาใหม่ให้สอดคล้องกับโมเดล recommendation ของบริษัทเอง และเน้นการปรับแต่งมาเพื่อ PyTorch ซึ่งเป็นไลบรารีประมวลผล AI ที่เกิดจาก Meta ด้วย
MITA เป็นชิป ASICS แบบคัสตอมที่ Meta ออกแบบเองมาตั้งแต่ปี 2020 (แต่เพิ่งเปิดตัวต่อสาธารณะวันนี้) ใช้กระบวนการผลิต 7nm TSMC, สัญญาณนาฬิกา 800Hz, สมรรถนะ 102.4 TOPS (INT8) หรือ 51.2 TFLOPS (FP16) มีอัตราการใช้พลังงาน TDP 25W
ชิป MITA ประกอบด้วยหน่วยย่อยเรียกว่า processing element (PE) จำนวนรวม 64 ตัว วางแบบตาราง 8x8 เชื่อมกันแบบ mesh network ยืดหยุ่นต่อการจัดกลุ่ม PE ต่องานแต่ละขนาด, PE แต่ละตัวมี 2 คอร์ เป็นชิปสถาปัตยกรรม RISC-V แบบคัสตอม โดย 1 คอร์จะมีส่วนขยายประมวลผลแบบเวกเตอร์ด้วย, PE แต่ละตัวมี SRAM ขนาดเล็ก 128KB สำหรับเก็บข้อมูลเรียกใช้งานรวดเร็ว
ในชิปยังมีแรม SRAM ขนาด 128MB แชร์กันระหว่าง PE ทุกตัว, แรมนอกชิปเป็น LPDDR5 ขนาดรวม 128GB
ชิป MITA แต่ละตัวจะถูกนำมาติดตั้งบนบอร์ด M.2 เพื่อเสียบเข้ากับเซิร์ฟเวอร์ที่มีซีพียูหลักผ่าน PCIe Gen4 โดยตัวบอร์ด MITA ใช้พลังงานเพียง 35W, เซิร์ฟเวอร์หนึ่งตัวมีชิป MITA รวม 12 ตัว โดยเชื่อมต่อ MITA ของแต่ละเครื่องโดยตรงได้ผ่านสวิตช์ PCIe เพื่อไม่ให้ทราฟฟิกต้องวิ่งผ่านซีพียูเสมอไป
ซอฟต์แวร์ของ MITA ปรับแต่งมาเพื่อ PyTorch โดยเฉพาะ ทีมพัฒนาซอฟต์แวร์ได้สร้างตัวรันไทม์ของ PyTorch ที่รันบน MITA เพื่อปรับแต่งประสิทธิภาพให้เหมาะสม และตอนนี้กำลังพัฒนาซอฟต์แวร์ของ MITA ให้ทำงานร่วมกับ PyTorch 2.0 ที่เป็นการปรับปรุงครั้งใหญ่ด้วย
ผลการทดสอบชิป MITA เทียบกับหน่วยประมวลผลแบบอื่นคือ NNPI accelerator และ GPU พบว่า MITA มีประสิทธิภาพต่อพลังงาน (efficiency) ดีกว่าชิปทั้งสองแบบในโมเดลขนาดเล็กและขนาดกลาง แต่ถ้าเป็นโมเดลขนาดใหญ่ยังแพ้ GPU แบบดั้งเดิมอยู่ ซึ่งทีม MITA บอกว่ารับทราบเรื่องนี้และจะหาวิธีปรับปรุงต่อไป
ที่มา - Meta AI Blog
Topics:
Meta
ASICS
Artificial Intelligence
RISC-V
PyTorch
Processor
อ่านต่อ...
