Microsoft Azure ประกาศตัวเป็นผู้ให้บริการคลาวด์รายแรกที่เปิดเครื่อง VM ให้เช่า AMD Instinct MI300X ชิปเร่งความเร็ว AI รุ่นล่าสุดของ AMD ที่เปิดตัวเมื่อปลายปี 2023
AMD Instinct MI300X เป็นการ์ดเร่งความเร็วที่มีแต่จีพียู CDNA 3 ล้วนๆ (ยังมีรุ่น MI300A ที่มีซีพียู+จีพียู) จุดเด่นข้อหนึ่งของมันคือการใช้แรมความเร็วสูง HBM3 ทำให้แบนด์วิดท์ส่งข้อมูลเพิ่มขึ้นจากการ์ดรุ่นก่อนมาก
ตัว VM ของไมโครซอฟท์ใช้ชื่อว่า ND MI300X v5 โดย VM หนึ่งตัวมีการ์ด MI300X จำนวน 8 ตัว มีแรมขนาดใหญ่ 1.5TB แบนด์วิดท์แรม 5.3 TB/s เหมาะสำหรับงานประมวลผล AI ขนาดใหญ่ ระบบเครือข่ายใช้ InfiniBand ความเร็ว 400 Gb/s ต่อจีพียู รวมกันแล้วเป็น 3.2 Tb/s ต่อ VM
ฝั่งของซอฟต์แวร์รองรับแพลตฟอร์ม ROCm ของ AMD เต็มรูปแบบ ใช้งานเฟรมเวิร์คยอดนิยมทั้ง TensorFlow และ PyTorch รวมถึงไลบรารี AI ตัวอื่นๆ ของไมโครซอฟท์ เช่น ONNX Runtime, DeepSpeed, MSCCL
ไมโครซอฟท์ยังบอกว่าปรับแต่ง VM มาสำหรับการรันโมเดลยอดนิยมอย่าง GPT-4 Turbo รวมถึงโมเดลโอเพนซอร์สตัวอื่นๆ ด้วย
ที่มา - Microsoft
Topics:
Instinct
AMD
Microsoft Azure
Cloud Computing
GPU
อ่านต่อ...
AMD Instinct MI300X เป็นการ์ดเร่งความเร็วที่มีแต่จีพียู CDNA 3 ล้วนๆ (ยังมีรุ่น MI300A ที่มีซีพียู+จีพียู) จุดเด่นข้อหนึ่งของมันคือการใช้แรมความเร็วสูง HBM3 ทำให้แบนด์วิดท์ส่งข้อมูลเพิ่มขึ้นจากการ์ดรุ่นก่อนมาก
ตัว VM ของไมโครซอฟท์ใช้ชื่อว่า ND MI300X v5 โดย VM หนึ่งตัวมีการ์ด MI300X จำนวน 8 ตัว มีแรมขนาดใหญ่ 1.5TB แบนด์วิดท์แรม 5.3 TB/s เหมาะสำหรับงานประมวลผล AI ขนาดใหญ่ ระบบเครือข่ายใช้ InfiniBand ความเร็ว 400 Gb/s ต่อจีพียู รวมกันแล้วเป็น 3.2 Tb/s ต่อ VM
ฝั่งของซอฟต์แวร์รองรับแพลตฟอร์ม ROCm ของ AMD เต็มรูปแบบ ใช้งานเฟรมเวิร์คยอดนิยมทั้ง TensorFlow และ PyTorch รวมถึงไลบรารี AI ตัวอื่นๆ ของไมโครซอฟท์ เช่น ONNX Runtime, DeepSpeed, MSCCL
ไมโครซอฟท์ยังบอกว่าปรับแต่ง VM มาสำหรับการรันโมเดลยอดนิยมอย่าง GPT-4 Turbo รวมถึงโมเดลโอเพนซอร์สตัวอื่นๆ ด้วย
ที่มา - Microsoft
Topics:
Instinct
AMD
Microsoft Azure
Cloud Computing
GPU
อ่านต่อ...