Building Inference Workloads with vLLM on Kubernetes (EKS) Speaker: Patis Piriyahaphan, Dasapich Thongnopnua, Mongkol Thongkraikaew, Fukiat Julnual 📌AI Project หลายๆอันที่เปิดตัวกันมาเยอะ และ ไปเงียบหายไป สาเหตุหลักๆมาจาก 2 ส่วน 📌รูปแบบของ AI Project มันเปลี่ยนไปด้วย 📌ทำไมต้อง K8S + Self Host 📌ถ้าเราจะ Self Host และติดต้องถึงอะไรบ้าง 📌Reference Arch…
Opening Session & CNCF Thailand Community Update Speaker Saritrat Jirakulphondchai Keynote: What’s new in Kubernetes 1.33? Speaker Mongkol Thongkraikaew Improve Depercation อ๋อ และ Logo Ver 1.33 นี้จะเป็นมังกรนะ Octarine มีลูกเล่นดวงดาว 64 ดวงใน logo จะเป็น Feature Enchangement ทั้ง 64 ตัวนั้นเองมีลูกเล่น My experience as…
สำหรับงานนี้ผมเห็นว่าอยู่ใกล้ๆ เลยวาร์ปจากวงเวียนใหญ่มาแถว BTS ช่องนนทรี ครับ แวะมาฟังเรื่อง eBPF เห็นหลายคนเค้าแชร์กันช่วงนี้ครับ สำหรับสถานที่จัดงาน AWC ตึก Empire ครับ วิวสวย และหรูมากครับ ก่อนเริ่มงานพี่ปั๊บ มีเกริ่นนำ eBPF มันเกิดจาก Linux มีข้อจำกัด kernel แค่คนที่จะปรับแต่ค่าได้ต้องเทพมากๆ ถ้าต้องปรับเปิด issue ขอไป แต่บางทีรอนานมาก จึงมาเปิด Project eBPF มาช่วยปรับพวกนี้ให้ง่ายและสะดวกขึ้น Programmatic on Linux Kernel with eBPF Speaker Saritrat Jirakulphondchai…
พอดีไปลองเล่นตัว EKS ตัว 1.30 ลองไปเล่นพวก Blog ที่ทำ แล้วเค้าให้ลง nginx จาก ผมเลยลองไปหาจาก Google นี่แหละ เค้าบอกให้แปะอันนี้ลงไป พอทำเสร็จ ลองเข้า App มันเข้าบาง path ได้ แต่บาง Path ไม่ได้ซะงั้น เอ้าลองซ้อมที่ Local มันได้นี่ Path ที่ลองตัวอย่างประมาณนี้ครับ คิดว่าน่าจะเขียน rewrite path ผิด อันนี้ไฟล์ ingress ผม ปัญหา หลังจากไล่ไปไล่มา ไฟล์ ingress ที่ลอง…
Why curl in K8S Small Container Image for curl Note: busybox – Official Image base image not include curl How to use curl image Create a new Temporary Pod (curlImages)
Sample Reference
What is Talos Linux ? จริงๆมันมีตัวที่ทำให้ใช้งานขึ้น A Better Way to Run Kubernetes – Sidero Labs ภาพรวมของ Infra ชุดนี้ สำหรับ Blog นี้ ผมจะอิงตามคู่มือใน Proxmox | Talos Linux (จริงมีลงใน Stack อื่นๆด้วย) และมาเติมรายละเอียดเพิ่มเติมเข้าไปครับ ต่อไปเรามา Setup Cluster กัน โดยมี Base จาก Proxmox 8.1 (Blog…
สัปดาห์นี้มีเรื่องวุ่นเกี่ยวกับ Wix ToolSet กลับมาที่เรื่อง K8S ของ Week นี้ครับ จะเน้นไปในส่วนของ Power of Pod ต่ออะไรที่ทำกับ Pod ได้ หัวข้อประมาณนี้ครับ สำหรับใครที่เข้ามาจาก Google ลองดู Blog ก่อนหน้าได้ครับ Resource Management ในตัว Pod เราสามารถกำหนดการใช้งาน Resource พวก CPU / Memory / Local Ephemeral / GPU ได้จาก 2 ส่วน ได้แก่…
สัปดาห์นี้ก็ Store Data ล้วนๆ สำหรับ part ก่อนหน้า Volumes ก่อนที่จะมาเรื่องใหม่ต้องมา Recap ก่อนจาก Part 1 ตัว Pod มันเก็บข้อมูลได้นะ แต่จะอยู่ชั่วคราว (ephemeral) เท่านั้น ดังนั้นเราจะพบ non-trivial problems ของ App ได้ ดังนี้ default pod ไม่ได้แชร์ไฟล์กันระหว่าง container นะ ดังนั้น Volume จะมาช่วยแก้ปัญหาพวกนี้ แต่ควรมาเข้าใจตัว YAML Pattern กันก่อน YAML Pattern…
“Log“ (2564 & PDPA preparation) Speaker Jedsada Thongkanluang ไม่เชี่ยวเรื่องนี้เลย อาจจะเขียนและงงๆไปครับ – พรบ.คอม 2550 📚 เพิ่งรู้อุปกรณ์ที่เก็บ Log ต้องผ่านมาตรฐานด้วยนะ 📚 Log คือ อะไร 📚 Log ประกอบด้วยอะไร 📚 Centralize Log Management 📚 Inventory Asset ของอุปกรณ์ในองค์กร📚 จัดกลุ่มว่าองค์กรเป็นกลุ่มไหน เช่น ผู้ให้บริการอินเทอร์เน็ต เป็นต้น – PDPA มีอะไรเพิ่มเติมบ้าง 📚…
