Petaflop ของเรานั้นไม่เท่ากัน

ช่วงนี้เห็นมี Ads เยอะ แบบขายเครื่อง XXX สามารถ Run AI ได้ 1 Petaflop เหมือนมีเครื่อง Super Computer อยู่ที่บ้านคุณเอง แต่ทว่าพอเอา Model เดียวกัน แต่ความละเอียดต่างกัน ความเร็วในการตอบสนองต่างกันมากโขเลย FLOPS คือ อะไร FLOPS (Floating-Point Operations Per Second) มองว่าเป็นการวัดว่าใน 1 วินาที ตัวหน่วยประมวลผลของเราไม่ว่าจะเป็น GPU / NPU / CPU ว่าจะคำนวณจุดทศนิยมได้เยอะแค่ไหน นั้นเอง Floating Point คือ อะไร Floating Point ระบบการจัดเก็บข้อมูลตัวเลขในคอมพิวเตอร์สำหรับค่าที่มีจุดทศนิยมหรือตัวเลขที่มีค่ามาก/น้อยมากๆ เท่าที่จะเก็บตรงๆ แบบพวก Scientific Notation อันนี้ผมย้อนกลับไป ปี1 เครื่อง LC-3 เค้าจะมีอ้างอิงมาตรฐานนึง IEEE 754 แบ่งพื้นทีการเก็บพวก Floating Point ออกเป็น 3 ส่วน อีกแบบนอกจาก Floating Point ก็ INT เก็บจำนวนเต็มล้วนๆ ประหยัดพื้นที่สำหรับพวกทิศนิยมลง ความต่างทั้งหมดมาจากการแบ่งนี้แหละ — ถ้า Bit ยิงน้อย มันจะใช้หน่วยความจำน้อยและคำนวณเร็ว แต่ก็เสียทั้งช่วงค่าและความละเอียดไป เวลาไปฟังเค้าขาย XXX 1 Petaflop มาจากไหน ? อันนี้ต้องย้ายไปดูที่ตัว Model กันก่อน พอดีผมไปฟัง Talk หลาย Session เช่น If you need Local what you should know to…








