จดๆจาก vLLM by mood @OpenCraft
Recap จาก Live vLLM by mood @OpenCraft พูดถึงเหตุผลที่องค์กรควรทำ Local LLM (Security, Privacy, Full Control) รวมถึง Secret Sauce ของ vLLM อย่าง PagedAttention, Fusion Passes, Speculative Decoding, Quantization และแนวทางเลือก Model/Hardware ให้เหมาะสม ปิดท้ายด้วย Q&A เรื่อง Fine-tuning vs RAG และการประเมินคุณภาพ Local LLM ภาษาไทย