ข่าว หลุดเอกสารภายในกูเกิล เผยโมเดล PaLM 2 ขนาด 3.4 แสนล้านพารามิเตอร์ เล็กกว่า PaLM 1

[News]

CNBC ได้เอกสารภายในของกูเกิล เผยรายละเอียดของโมเดล PaLM 2 ตัวใหม่ของกูเกิล

ขนาดของโมเดล PaLM 2 เทรนด้วยข้อมูล (token หรือจำนวนคำ) รวม 3.6 ล้านล้านคำ และจำนวนพารามิเตอร์ 3.4 แสนล้านพารามิเตอร์ หากเทียบกับโมเดล PaLM เวอร์ชันแรกที่ใช้ข้อมูลเทรน 7.8 แสนล้านคำ และพารามิเตอร์ 5.4 แสนล้านพารามิเตอร์ จะเห็นว่าจำนวนพารามิเตอร์ของ PaLM 2 น้อยกว่า สอดคล้องกับที่กูเกิลประกาศในงาน Google I/O ว่าโมเดลใหญ่กว่าไม่ได้ดีกว่าเสมอไป โดยกูเกิลใช้เทคนิคเรียกว่า compute-optimal scaling ช่วยลดจำนวนพารามิเตอร์และต้นทุนในการประมวลผลลง

PaLM 2 มีให้เลือก 4 ขนาดจากเล็กไปใหญ่ เรียกตามชื่อสัตว์คือ Gecko, Otter, Bison, และ Unicorn โดย Gecko มีขนาดเล็กจนรันสามารถในโทรศัพท์มือถือได้

ในงาน Google I/O 2023 รอบนี้ กูเกิลเปิดตัวฟีเจอร์ด้าน AI ให้บริการต่างๆ รวม 25 ตัว ซึ่งทั้งหมดใช้โมเดล PaLM 2 รันอยู่เบื้องหลัง

ที่มา - CNBC

Topics:
Google
LLM
Artificial Intelligence

อ่านต่อ...