ข่าว Together.AI เปิด Llama 3.3 70B API ให้ใช้งานฟรี

[News]

Together.AI บริการคลาวด์ LLM เปิด Llama 3.3 70B ให้ใช้งานได้ฟรีในระดับ free tier ที่จำกัดปริมาณการใช้งาน

โมเดลนี้รันบน Together Turbo และใช้โมเดลแบบ FB8 ที่ยังคงความเร็วโดยไม่เสียคุณภาพมากนัก (โมเดลเดิมพารามิเตอร์เป็น BF16)

ผู้ใช้งานฟรีจะมี rate limit ที่ 60RPM และ 60,000 TPM (token per minute) การใช้งานแชตทั่วไปน่าจะเพียงพอ แต่หากเป็นการใช้งานเอกสารขนาดใหญ่ หรือต้องการทำบริการ agentic ที่พรอมพ์มักจะยาวมากๆ ก็น่าจะต้องระวังเกินโควต้า

ที่มา - Together.AI

Topics:
LLM
Artificial Intelligence

Continue reading...