สำหรับงานวันนี้จัดที่ Office One Bangkok มา Check-in Office ใหม่เลย นั่ง MRT เดินขึ้นมาได้เลย Tower 4 แต่ผมหลง 555 เดินวนไปวนมาไป Tower 3 ซะงั้น
งานนี้หลังๆ จะ Recap หัวข้อจากงาน MS Ignite 2024 ที่ผ่านมาครับ + Update As of ข่าวล่าสุดจนถึงเดือนที่จัดงานครับ สำหรับหัวข้อ ดังนี้คร้าบ
A guide to building tomorrows AI Solutions
ตอนนี้ AI จะกลืนไปกับชีวิตประจำวันเราของทั้ง ตัว App / Service หรือ Bundle ลงไปใน OS เลย ตั้งแต่ ChatGPT ปรากฏขึ้นมา 3 ปี จากนั้น AI เข้ามาในชีวิตประจำวัน เช่น Email / สรุปประชุม / วางแผนการตลาด / ดู Code เรา
ในมุมของ Developer เราน่าจะผ่านยุคของ App มาหลายยุคเลยนะ
Win App
> Web App / Mobile App
> Reinvented App / New App Power By AI
ุ่
ถ้าของ MS จะเรียกว่า Co-pilot App- แล้วถ้าอยากสร้างเอง ?
ใช้ Service LLM ของ OpenAI ได้ โดยเพียงเลือก Model ทดสอบ และสร้าง End Point
Use Case NBA App with AI - เอาข้อมูลที่มีอยู่มาทำ stats analysis of players + teams ช่วยให้ Coach ช่วยตัดสินใจในตอนสุดท้าย นอกจากมุมของ Fan Club มีข้อมูลสรุปเราพูดคุย แต่ผลการแข่งขัน แนวโน้มของ match หรือ ให้ Recap สรุป ประมาณนั้น โดยมีพลังจาก Open AI พวก LLM Model GPT x.x
Model Market Place ให้ End User อย่างเราๆ เลือก Model และ Host บน Azure ได้เลย โดยมี Model ใหม่ๆ ให้ลอง อย่างตัว
- o1-preview / o1-mini
- GPT4o นอกจากมี GPT-4o-Realtime-Preview / GPT-4o Audio-Preview ด้วยนะ
- GPT4.5 Preview
การใช้งาน
- เลือก Model ตาม
- Catalog
- ดู Benchmark ว่าเป็นอย่างไร เช่น Cost / Quality เป็นต้น
- Playgrounds
- กำหนด System Message - คุมโทน Model
- ให้ลอง เท่าที่ฟัง Model Sound Demo เราคุยกับ AI ได้นะ และพูดขัดกับ AI แล้วมันหยุดพังได้นะ เสียงใกล้เคียงคนมากขึ้น
- ลองเรียบร้อยแล้ว เปิด End Point ให้ใช้งาน
นอกจากมียังมีตัว Azure AI Foundry SDK ใช้งานด้วยนะ
Sample Use Case Lyrebird Health - พูดคุย pre check เบื่องต้น และสรุปติดตามอาการ ลดการกรอกเอกสาร เบื้องหลังเป็น GPT Model
- ยุค Assistance > Agent
📌 Azure AI Agent Service - จากเดิมที่ AI ทำงานเดี๋ยว ทำได้หลายอย่าง มีการกำหนด Process / Flow การทำงาน เอา AI ที่เก่งๆ ในด้านนั้นๆ ทำในขั้นตอนที่มันเชี่ยวชาญได้นะ
📌 Copilot Studio สำหรับงานที่ไม่ซับซ้อน Low Code ให้มันช่วยทำงานเสร็จให้ สร้างจาก M365 ได้เลย นอกจากนี้ยังเอา Knowledge ขององค์กร มาทำ RAG จาก Azure AI Search รวมถึงการทำ Custom Model ได้ (เบื่องหลัง Azure AI Foundry)
📌 นอกจากนี้ยังมี Microsoft 365 Agents SDK ให้ Business แข็งๆ มาทำ AI แบบ Low Code ไว้ แล้วให้ Dev มาเรียกใช้ Flow AI ที่เราทำขึ้น
แนะนำโครงการ Microsoft AI Skill For Developer
มีการแชร์ Knowledge จาก Community Leader + Official สือการสอน จากใน MS Learn / LinkedIn Learning / YouTube Microsoft Channel รวมถึงการแจกสิทธิสอบต่างๆด้วย
Accelerate and secure development with DevSecOps and AI
Speaker Jiratouch Mahapol
- Top 5 Modern Threats
ตอนนี้การโจมตีไปในทาง Application Level มากขึ้น เช่น ฝัง/ แทรกตัว ตั้งแต่ใน Code > CI/CD ถึงเพิ่มขึ้นถึง 180% ดังนั้น Dev และ Sec ต้องมาทำงานร่วมกัน เช่น Dev ใส่ Secret ไหม / Sec Scan Code ถ้าปล่อยไว้นานจะมี Security Dedt นอกจาก Technical Dedt มีคำใหม่ด้วย มีสรุป Top 5 Modern Threats ตามนี้
- Code - Supply Chain Attack ใส่ Code ที่ประสงค์ร้ายเข้า Repo
- Build - ใน malware เข้าใน Workflow
- Ship - Artiface Tampering มีการแก้ไขตัว artifact เช่น Container Image File / ตัว war
- Deployment - Misconfiguation พวกการจัดการสิทธิ Config ที่หลุดไป
- Runtime - ตัว App ที่อาจจะ Code ไม่ดีเปิดช่องให้ Attack เข้ามาโจมตีได้
อะไรที่ควรทำบ้าง เพื่อป้องกัน
- Code มาจากเก่า หรือ Deprecated ไปแล้ว API นี้ไม่อยากใช้แล้ว สำหรับหัวข้อนึ้ผมนึกถึงเรื่อง BinaryFormatter ของ Dotnet ที่ยกเลิกไป
- Secrets ที่หลุดไป
- Dependencies - lib ที่ใช้มีช่องโหว่ CVE ต่างๆ
- Containers ในแง่ infra ทำยังไงให้ปลอดภัย เช่น ไม่ใช่ Root ตอน Run
- Microsoft Secure Software Development Solution
สำหรับ Tools ของ MS ที่ช่วยมี ดังนี้
📌นอกจากนี้มี AI เข้ามาใน Workflow GitHub Enterprise มีตัวที่ทำได้ เช่น
- Code Review - มีตัว AI Copilot ช่วยตรวจ Scan Code
- GitHub Copilot Workspace อันนี้จะช่วยทั้งใน SDLC
- Requirement เปิด Issue
- Plan อะไรที่ต้องแก้จาก Req หรือ กระทบ
- Code + Review + Validation และ Merge เข้า branch หลัก - Project Padawan
- จากเดิม AI มาเป็นผู้ช่วย
- ตอนนี้เราเอา AI เข้ามาเป็นส่วนนึงของ Team แล้ว เอางานให้ AI แก้ไขทั้งหมดเลย เหมือน Dev คนนึง
📌GitHub Advanced Security - ใส่การตรวจสอบ Security เข้าไป Repo / Pipeline หรือ Workflows รวมถึงการ Monitors + Report
📌Copilot Autofix จากเดิมตรวจ ตอนนี้ Auto fixed เวลาเจออะไรผิดปกติ มันเตือนจากตัว dependtabot ตอนนี้เข้ามาแก้ให้ หรือ เราจะสั่งให้ AI มันแก้ให้ แล้วดู Workflow + Accept Merge อีกที
📌Security Campaign - เปิด Project รุมลดความเสี่ยงโดย คน + Copilot Autofix
License จากมาตัว GitHub Enterprise + Add-Ons เช่น GitHub Advance Security ประมาณนี้เท่าที่เข้าใจ
📌 Microsoft Defender for Cloud Container Security
จากเดิม Microsoft Defender scanning ทั้งใน Azure และ Cloud เจ้าอื่นๆในผ่าน Azure Arc ถ้า Focus ในส่วนของ Container มีทั้งแบบ Agentless + Senor ที่ช่วยตรวจสอบ Container รวมถึงให้คะแนนตามมาตฐานต่างๆ
ตัว Microsoft Defender for Cloud Container Security จะมาช่วย
- Supply Chain - ในตัว CI/CD Pipeline
- K8S Infra Posture / Container Posture - ดูตาม Compliance ต่างๆได้ เราขาดอะไร แล้วต้องเติมอะไรเสริม ถึงได้ และผ่าน
- Runtime Protection ทำพวก XDR + Workflow ที่เกี่ยวข้องตาม playbook
AI ของพวกนี้เป็น Model ที่ทาง Microsoft ทำเอง
- Recap สรุปพวก Flow Security ช่วง Development ตามนี้
อ๋อ แต่ถ้าใช้ GitHub Copilot อยู่แล้ว เราสามารถ Prompt ถามให้มันแนะนำได้น้า
พวก Flow Check Opensource อย่าง SonarQube ทำได้ แต่อาจจะใข้พลังเยอะ
Ref: https://ignite.microsoft.com/en-US/sessions/BRK140?source=/schedule
Making cloud deployment easier with GitHub Copilot for Azure
ตอนนี้ทุกคนคงรู้จักกันตัว GitHub เก็บ Code หรือ จะเก็บของอย่างอื่นๆก็ได้ แต่มันจะผิดวัตถุประสงค์ของคนสร้าง และ Tools เด่นๆช่วย Workflow หรือ ช่วยเราเขียน Code อย่างตัว GitHub Copilot อยู่แล้วนะ
สำหรับ Session นี้จริงๆแล้วตัว GitHub Copilot Chat มันมีส่วนเสริมนะ ที่ทำให้ Copilot มันเข้าใจเรามากขึ้น ไม่ต้องเสียเวลาไป Prompt อธิบายมันเยอะ อย่างเคสนี้คุณเปรม จะมาแนะนำ GitHub Copilot for Azure เราเลือกที่ปรึกษาเฉพาะด้านได้ โดยของ Azure มันจะมาช่วย หลายมุม ได้แก่ Learn / Design and develop / Deploy / Troubleshoot / Optimize รูปแบบ
@azure สิ่งที่เราอยากถาม
ผมก็เพิ่งรู้ว่ามันทำได้ หรือมันอาจจะมีใน VS Code ก่อน แต่ใน Visual Studio ตัวใหญ่ยังไม่มี ตอนฟังคุณเปรมสอนมีลองๆตามด้วย มันจะพอเรา @azure มันจะพาให้ลง Chat Extension
พอลงแล้วให้สิทธิ มันจะรู้แล้วว่าของเราที่มีอยู่เป็นอย่างไร และให้คำแนะนำได้
นอกจากนี้แล้ว มันไม่ได้มาเฉพาะของ Azure นะ มันมี Extension หลายตัวให้เราลงได้ด้วย เลือก Install Extension
สำหรับผม Session นี้ฟังแล้ว ลดเวลาการพิมพ์อธิบายได้เยอะเลยครับ ^__^ และก็ที่สำคัญ ถ้าซื้อ GitHub Copilot เราก็ลงส่วนเสริมเพิ่มได้เลยด้วย ไม่เสียเงินเพิ่มด้วย อันนี้ผมชอบ
Resource: What is GitHub Copilot for Azure Preview? - GitHub Copilot for Azure | Microsoft Learn
ช่วงหลังจากนี้จะเป็น Breakout Room แล้ว ผมได้อยู่ในห้องที่ 2 นะครับ
Azure AI Foundry and the dev toolchain to infuse AI in all your apps
Speaker Sarin Suriyakoon
ใน Session นี้มาเล่าและกันว่าที่ทำ AI App ขึ้นมามี Step อย่างไร และใช้ Tools อะไร
- ปัญหาหลักที่ทำให้ Gen AI Product ยาก
- Getting Start เริ่มต้นยังไง - ตอนนี้ Tech มันไปไวมาก
- Development มี Practice ยังไง
- Context - LLM มันไม่รู้ข้อมูลส่วนตัวของเรา ขององต์กร
- Evaluation - ว่าสิ่งเราทำมีความมั่นใจ ยังไง มีความแม่นยำเท่าไหร่นะ
- Operationalization - การจัดการหลักจากใช้ไป Privacy / Security รวมถึการทำ Guard Grounding
- Business Outcome Profit ความน่าเชื่อถือ
- IT การนำ LLM มาใช้การ Flow การทำงานเดิม
- แล้ว MLOps vs GenAIOps มันต่างยังไง ?
สรุป MLOps (Specific) / GenAIOps (Generalization) มาขึ้นให้ Dev ใช้
ถ้ามองจุดเด่น GenAIOps การประเมิน จะไปทาง Business มาขึ้น เช่น Quality / Cost / Latency
- Gen AI Ops in real-world มีขั้นตอนยังไงบ้าง
- Ideation - หา idea ตาม business
- Build / Augmentation - ลองทำ แล้ว Scale
- Operationalizing - ใช้จริง และเข้าสู่การ MA
- ช่วง Ideation Tools เป็น VS Code Extension ใช้ในช่วง Ideation
AI-Toolkit - VSCode Extension มันใช้ Model จากในเครื่อง Ollama / GitHun Model / Azure ก็ได้
- มีหน้า play ground ให้เราเล่นแบบในเว็บ ทำให้เราสามารถ Run Prompt เดียวกันกับหลาย Model
- Prompt Builder ช่วยสร้าง Prompt
- Bulk Run - Run Prompt หลายอัน
- Evaluation เอามาตรวจสอบผล โดยเราจะเอา LLM มาช่วยตรวจสอบก็ได้นะ
Best Practice เลือก Model Accuracy สูงๆ แต่ยังไม่ต้องไปลองพวก Reasoning Model นะ พอได้ผลลัพธ์ที่พอใจแล้ว ลองเปลี่ยน Model หรือใช้ท่าอื่นๆ ลด Cost เช่น Model ที่ถูกลง + RAG เป็นต้น
Prompty - เป็น Format กลางในการทำ Prompt + Flow แล้วเราสามารถ Export ไปยัง Code อื่นๆได้ด้วยนะ นอกจากนี้ยังมี Tracing ให้บอกว่ามันทำอะไรไปบ้างนะ + Evaluation
- ช่วง Build / Augmentation / Operationalizing
สามารถใช้ Tools ได้หลายแบบ azure cli / azure developer cli (มองในมุม dev มาขึ้น) โดยมี Tools ช่วยตามแผนภาพ ดังนี้เลย มีตั้งแต่ตั้งต้น ใช้ไปจนถึง Production เลย
นอกจากนี้ Prompty เอามาใช่ต่อในช่วงยนี้ได้ด้วยนะ และมีตัวอย่าง Tracing อารมณ์แบบ Debug Code บน Env AI จริงๆ แน่นอนว่าเสียเงิน แน่นอน
Resource: Slide Azure AI Foundary / Demo Contoso Creative Write / Slide Building AI apps ของอีก Session
Solving the unsolvable: o1 models for breakthrough reasoning on GitHub Models
Speaker Charunthon Limseelo
- Reasoning Model คือ อะไร ?
Reasoning Model เป็นแนวคิดใหม่ของ GPT มันจะคิดเยอะขึ้น เบื่องหลังเอา input + output ในแต่ละส่งไปคิดต่อ คล้ายๆกับแนวคิด Chain of Thought แต่มันทำตัว Model เอง
การทำ Reasoning มันจะช่วยให้ทำงานยากขึ้นได้ เช่น การคำนวณ / deep analysis งานเฉพาะด้าน เช่น physics / งานซับซ้อน วางแผนที่มีเงื่อนไขจุกจิ อาทิ แต่จะ Domain มี Constraint ต่างๆ
- แล้วมันต่างกับ LLM ยังไง ?
LLM Simple แต่ Reasoning Model คิดเยอะ มีสติลดอาการหลอน (Hallucinate) นั่นเอง
- Azure AI Foundry หรือ GitHub Model ก็ได้นะ
สำหรับวันนี้ได้ยิน Azure AI Foundry มันใช้ได้ทุกช่วงการพัฒนาเลย มาที่ตัว GitHub Model
- GitHub Model เหมาะสำหรับการทดสอบมากกว่า เราเลือก Model มาทดสอบ และเปรียบกันได้ด้วย
- นอกจากนี้ยังสามารถ เปิด End Point ออกมาก็ได้ หรือใช้ SDK ก็ได้นะ ตามภาษา และ gen pat token ไปให้ App ใช้งาน
- แต่มันช้า และระวัง ratelimit
- OpenAI Forum: Learning to Reason with LLMs
สำหรับส่วนนี้เป็นการ Recap จากที่น้องได้ไปฟังส่วน OpenAI Forum จะเห็นว่าทาง OpenAI จะใช้ตัว Reinforcement Learning เข้ามาส่วนในการเรียนรู้ และตรวจการให้ Reason ทำ Chain of Thought จนได้เป็น Model OpenAI o1 มันเก่ง แต่ไม่ได้ทุกเรื่องนะ ผ่านการทดสอบ Math / CodeForce / PhD Exam แต่ยังมีข้อจำกัดอยู่การ Reason นานทำให้ผลลัพธ์ออกมาดีนัก เมื่อเทียบกับ Model อื่นๆ เช่น GPT4o
How do we optimize for reasoning tasks?
- ปกติแล้ว LLM มันเทรนข้อมูลขนาดใหญ่ รู้กว้าง แต่คิดนานใช้ Cost สูง
- ในสวน Model OpenAI o1 เน้นไปส่วนของ STEM reasoning เน้นติวไปในส่วน Science/Technology Engineering และ Mathematics
ตัว OpenAI o1 มันมีหลายตัวนะ ถ้าใช้ o1 mini ใช้ cost ลดลง ถูกกว่า
สำหรับ App ที่ใช้ AI อยู่แล้วมีคำแนะนำ ดังนี้
- Other Competitive Reasoning LLMs
นอกจาก Model ใหญ่ๆ มันใช้ Resource ที่เยอะ เลยมาแนวทาง Model ที่เล็ก ใช้พลังงานน้อย และเป็น Open Source ด้วยนะ เพื่อที่จะได้มา Fine Tune ให้เหมาะกับแต่ละภาษา ซื่งจะต่างกันของ OpenAI ขื่อ Open แต่ Close Model โดยมี Model เล็กๆที่น้องโบ๊ท แนะนำดังนี้
- Llama 3.3 70B Instruct
- DeepSeek R1
- Microsoft’s Phi-4 mini
- Typhoon T1 - open-source Thai reasoning model
เดี๋ยวน้องโบ๊ทจะมีไปพูดเรื่อง Open Source ในงาน FOSSASIA ด้วยนะ
หลังจากเป็น demo code ที่ใช้กับ GitHub Model
Resource: codespaces-models (Sample Code) / Slide
ปิดท้ายบรรยากาศ One Bangkok ครับ
Reference
Discover more from naiwaen@DebuggingSoft
Subscribe to get the latest posts sent to your email.
