LLM Architecture Dense vs MoE ต่างกันยังไง ?

สำหรับ Blog นี้มาขยายความต่อจากที่ไปงาน จดๆจากงาน National Coding Day 2026 แล้วมีเรื่อง Model Dense / MoE เลยมาเขียนแยกขยายความนิดหน่อยดีกว่า ก่อนอื่น เราต้องมารู้กันก่อนว่าใน LLM มันวัดฉลาด จากตัว Parameter มองว่าจำนวนเซลล์สมองของคนเรานี่แหละ ถ้ามันมีเยอะ แสดงว่ามันฉลาดขึ้น แต่แลกมากับการใช้พลังงานที่มากขึ้น เช่นกัน แล้วที่นี้การเอาตัว Parameter มันมี Pattern เหมือนกัน จะมองว่าเป็นพิมพ์เขียวก็ได้นะ ว่าจะวาง Architecture ด้านในยังไง มีหลายแบบเลยสำหรับอันนี้ลองมาเขียนสรุป LLM Dense กับ MoE ต่างกันยัง เผื่อเอามาเลือกใช้งานกันครับ เงื่อนไข Dense Architecture MoE Architecture Active Parameter All Parameter Some Parameter ตาม Expert ที่วางไว้ด้านใน (subset of expert) Inference Speed พอใช้ทุก Parameter ต้องใช้ HW เยอะมาก ข้อมูลยิ้งใช้ อาจจะช้าลงได้ นอกจาก คงที่ คาดการณ์เวลา Computer ได้ เร็วกว่า ถ้ามันเรื่องใช้ Expert ที่เข้าเคส เพราะใช้ Parameter น้อยกว่า ขึ้นกับ hop ที่เรียกใช้ ต้องมาผ่าน Routing และ Expert แต่ละตัวใน Model VRAM Req ตามจำนวน Parameter ตามจำนวน Parameter ใช้จริงตาม Expert Specialization ค่า Weight ของ Parameter…








