จดจาก MS Build 2026 ที่สนใจ เน้น Agent

สำหรับ Blog ผมเห็นหัวข้อใน MS Build ส่วนที่อยู่ในคนน่าจะสรุปเยอะแล้ว เช่น การเปิดตัว MAI Models

และมี Blog บอก ถ้าสนใจพวก Agent + Microsoft Agent Framework ลองเข้ามาฟังดูครับ อันไหนเข้าได้ก็ฟังครับ ถ้ามี Online + วันที่ 3 เป็นวันหยุดพอดีด้วย

BRK250: Observe and control agents across any framework with open source tools

Speaker Sarah Bird / Sandeep Atluri/ Mehrnoosh Sameki

สำหรับ Session นี้จะกล่าวทำไมเราถึงต้องพยายามืที่จะสังเกต และคุมการทำงานของ Agent เพราะ 60% ของ Agent เข้าถึง Privileged data ทำให้เกิด Lethal Trifecta (พวก Prompt Injection ทำให้ข้อมูลสำคัญหลุด) / Hallucination / Tools/Action misuse ใช้ของไม่ตรงปัญหา / Instruction & Control Fail Agent ไม่ได้ทำตาม Instuction ที่กำหนด ตัวอย่างจะยก Agent Bank

Idea สำหรับการ Observe + control อารมณ์แบบ Threat modeling

  1. Identify (ระบุความเสี่ยง): ค้นหาว่าระบบมีจุดอ่อนตรงไหน
  2. Evaluate (ประเมิน): สร้างการทดสอบที่ตรงกับความเสี่ยงที่ระบุ
  3. Control (ควบคุม): ใช้มาตรการควบคุมเพื่อลดความเสี่ยง
  4. Learn (เรียนรู้): ปรับปรุงระบบอย่างต่อเนื่องจากการใช้งานจริง

นอกจากนี้ ยังแนะนำเครื่องมือ เพื่อมาช่วย Observe + control

  • Assert- เอาไว้ Evaluate Agent รับความต้องการ (Requirements) ภาษาแล้วเปลี่ยนเป็นนิยามที่ละเอียด (Systematization) โดยมันจะทำ Taxonomy (อะไรที่ยอม และไม่ยอมให้ทำ) / Test sets: (ชุุดทดสอบ Single-turn / Multi-turn) ตอนนี้คุมได้ระดับนึง แต่ยังมีแก้่ แก้แล้ว Impact ปรับ Prompt แล้วอีกจุดพัง เหมือนแก้ Code ไประเบิดที่อื่น
  • Agent Control Specification (ACS) อยู่ใน Agent Governance Toolkit (AGT) รองรับหลายภาษา Python / dotnet / TS ทำมาเพื่อให้ที่ได้จ่าก Agent Deterministic ที่สุด โดยคุม Input, Output, ก่อนและหลังการใช้ Tool เป็นต้น เพื่อได้ผลลัพธ์ที่แน่นอน แล้วไม่มีข้อมูล Sensitive Data หลุด พวก เลขบัตรประชาชน จากการกำหนด Policy ในรูปแบบ yaml โดยพอเอามาใช้แล้ว + Re Test ด้วย Assert ลดเคสความผิดพลาด Multi-turn จาก 57% ลงเหลือเพียง 10%

นอกจากยังเรายังสามารถคุมได้จาก Microsoft Foundry

  • เชื่อมต่อ Assert และ ACS เพื่อตรวจสอบโดยใช้ Feature อย่าง Trace / Rubic Eval / Agent Optimize มันจะใน Talk ถัดไป
  • Continuous Evaluation: การใช้ RL-based adaptive attacker + Agent Optimization มันช่วยปรับ Agent ให้ Up to Date
  • Multi-agent & Integrity: ใช้มาตรฐาน C2PA เพื่อยืนยันแหล่งที่มาของเนื้อหาที่ AI สร้างขึ้น เคส Deepfake ภาพปลอม

BRK241: From prototype to production: build and run agents at scale

Speaker Tina Schuchman / Jeff Hollan

เกริ่นมา Agent สร้างได้ง่ายขึ้น ไม่ใช่ Chat ที่เป็นเครื่องมือ แต่เป็นพนักงานคนนึงที่มาช่วยงานแล้ว ทำงานเป็นทีม และสามารถ Update ตัวเองได้

Key: ทำยังไงให้มัน Stable กับงานของ Enterpise

ภาพรวม Eco ของ Microsoft Agent Platform

  • Build
  • Deploy & Govern บน Microsoft Foundry
    - Model
    - Host Agent (Runtime) + การเชื่อม Tools ต่างๆ รวมถึงพวก IQ (Foundary / Work (m365) / Fabric / Web เพิ่งเปิดตัว)
    - Evaluate + Optimize
  • และสามารถ Distribute เชื่อมกับ Tools อย่าง Team / Slack เป็นต้น

เอามาแก้ Developer Challenge - อยาก Dev Local เหมือน Prod ไม่ต้องวุ่น Runtime / Scale ขึ้นได้ไว / Distribute Agent ได้สะดวก ไม่ต้องมา Register เยอะ (อันนี้น่าจะพวก App Register ของ Azure เอง / อยาก Observe control agents

Build

อันนี้สร้าง Agent Code Prompt / Skill + Tools และกำหนด Eval Definition โดยมี Tools เปิดตัวมาข่วยให้ง่าย

📌Local

Foundry Toolkit for VS Code

📌Cloud - Foundry Toolbox (Public Preview)- Tools เช่น

  • การเชื่อมต่อข้อมูลใน Fabric / SharePoint + จัดการสิทธิ์ หรือ จัดการ PII
  • Connector MCP ต่างๆ
  • Voice Enablement
  • Context Understanding

Deploy (Foundry)

  • Foundry Hosted Agents: Isolated Sandbox สำหรับ Agent เป็น Serverless
  • Routines: ให้ Agent ทำงานตามเวลาที่กำหนด ใน Demo จะตัวสอบถามสถานะ Fiber กับพวก IOT
  • Durable Task: Agent จำ State ตัวเองได้ เวลาถูก Trigger ทำต่อจากที่จำได้ เช่น รอ Approve มันทำต่อเลย
  • Autopilot Agents: มอง Agent เป็นพนักงานมีเมล์ / Team เอาไปฝากกับ MS Team ได้

Operate/Govern (Foundry)

มันจะไปตอบ ทำยังไงให้มัน Stable กับงานของ Enterpise + Update ตัวเองได้

Trace
Trace
  • Trace Replay View: ทำเราเห็น Agent มันคิด เรียก Tools / Token ยังไง รวมถึงเสียงในหัว Agent ตอนนั้น
  • Rubrics Evaluator: ผสามารถกำหนด Criteria ของตัวเองได้ เช่น correct_tools_use / safety_warning_experience
  • Agent Optimizer: ระบบปรับเปลี่ยนค่าต่างๆ เช่น Prompt หรือโมเดลที่ใช้ แล้วนำเสนอ "เวอร์ชันที่ดีที่สุด" (Candidates) ที่ช่วยเพิ่มประสิทธิภาพ (เช่น ความแม่นยำเพิ่มขึ้น 11%) ให้ผู้พัฒนาเลือก
  • Procedural Memory: ช่วยให้ Agent ศึกษาขั้นตอนการทำงาน (Playbook) จากทุก Session ทำให้ฉลาดขึ้นและทำงานถูกลง เมื่อเวลาผ่านไป

Repo: https://github.com/microsoft/Build26-BRK241-from-prototype-to-production-build-and-run-agents-at-scale

BRK252: From observability to ROI for AI agents on any framework

Speaker Vivek Bhadauria / Sebastian Kohlmeier / Filisha Shah

สำหรับอันนี้ภาพรวมคล้ายกับของ BRK241: From prototype to production: build and run agents at scale เน้น Foundry สามารถใช้ร่วมกับ Langchain, Langraph, OpenAI SDK และ Microsoft Agent Framework ได้ ใช้ Feature Foundary ได้หมด เช่น พวก Trace Replay View / Custom Rubrics / Agent Optimizer เป็นต้น

Example ว่า Flow DevOps เราใช้อะไรของ Foundry มาช่วยบ้าง อารมณ์เหมือนมากดให้ดูว่าต้องสร้างที่ไหน

  • Inner Loop - Plan / Code / Test / Release เราทำ Code-First Observability ตัว Foundry Toolkit for VS Code
    - เราพิมพ์ถาม Copilot ให้ไปดึงผลการประเมินหรือ Traces ที่มีปัญหามาวิเคราะห์ได้
    - และระบุจุดอ่อน (เช่น Call Tools ผิด) และ Recommend ต้องปรับ Prompt คำอธิบาน Skill เป็นต้น
  • Outer Loop: ตรวจใช้งานจริงแล้ว เอาผลกลับมา Inner Loop
    - Optimize ใช้ตัว Agent Optimizer มาช่วย
    - Analyze & Monitor เอา Azure Monior + Foundry observability มาช่วย

โดยจุดที่ต่างมาเสนออีก Feature ของ Foundry Agent ของเรา มี ROI เท่าไหร่ อาจจะจากคำถาม Business Value เทียบค่า Infra แล้วคุ้มไหม หรือ กรณีที่ Agent ทำงานไม่สำเร็จแต่เสียค่า Token ไปแล้ว มันจะทำให้ ROI ติดลบได้ Agent ROI (Private Preview)

  • Select Evaluator > Assign Business Value (ลดเวลา xx นาทีตี 5 USD)
  • ระบุต้นทุน (Token Cost / Tool Cost)
  • Track Net Value ระบบเก็บข้อมูลให้เราเทียบ รวมถึงถ้า Deploy Agent Ver ใหม่เก็บข้อมูลเทียบให้ด้วย - Drill into traces ได้

Repo: https://github.com/microsoft/Build26-BRK252-from-observability-to-roi-for-ai-agents-on-any-framework

OD805: AI Building Blocks for .NET: Add intelligence to your C# apps

Speaker Bruno Capuano

Session นี้มีในแอปแดงด้วยนะ อันนี้แอบงงเหมือนกัน มีพี่มาถาม Session แล้วตอนนั้นเราเจอ C# 2 อัน 5555 มาวันนี้มาพรึ๊บบบบ

📌Microsoft.Extensions.AI - เป็น Inteface กลางที่คนทำ Lib AI ทุกค่ายเอาไป OpenAI / Claude / Gemini / Ollama เป็นต้น มา implement มีข้อดี ทำพวก Chat / Swap Model ได้ง่าย และเชื่อม Foundary
คหสต บางเจ้าออก Official มา ก็ไม่ได้ออก Lib มานะ อย่างเจ้าที่จัดงานใหญ่เมือเดือนที่แล้ว อันต้องไปทำ adapter ครอบต่ออีกที 555

📌Intelligence (Vector Data & Data Ingestion) โดยมีภาพรวมการทำงาน

  1. Reader: การอ่านข้อมูลต้นฉบับ เช่น ไฟล์ Markdown หรือเอกสารต่างๆ
  2. Chunker: การแบ่งข้อมูลขนาดใหญ่ให้เป็นส่วนย่อยๆ Chunk เพื่อให้ Model ประมวลผลได้ดีขึ้น
  3. Embeddings: แปลงข้อความให้อยู่ในรูปแบบ Vector (ตัวเลข) ที่เก็บความหมายของเนื้อหานั้นไว้
  4. Vector Store: การนำ Vector ไปจัดเก็บในฐานข้อมูล (เช่น SQLite หรือ Vector Database อื่นๆ) เพื่อใช้ในการค้นหาเชิงความหมาย (Semantic Search)
  5. Search ช้ Cosine Similarity

ใน dotnet เอง In-memory store มาลองทำก่อนจะย้ายไปใช้ Vector DB เจ้าอื่นได้ นอกจากแนะนำ Idea Enriched - ทำ Summary เข้าไปในแต่ละ Chunk จะช่วยให้คุณภาพของการดึงข้อมูล (Retrieval Quality)
Ref: https://learn.microsoft.com/en-us/dotnet/ai/conceptual/embeddings

📌MCP dotnet มี nuget มาช่วยแล้ว MCP หน้าที่มันช่วย AI มันไม่หลงทาง แต่ต้องเลือก Tool ให้ถูก หน้าที่เรา อธิบาย Description ให้ LLM เข้าใจเรียกใช้ ลองดู Blog ผมได้ มาลองปรับ Code .NET(REST API) เดิมเป็น MCP Server / https://github.com/modelcontextprotocol/csharp-sdk / https://learn.microsoft.com/en-us/dotnet/ai/get-started-mcp

📌Microsoft Agent Framework เป็นเครื่องมือที่ช่วยสร้าง Agent รองรับ C# / Python

  • Build Chat Memory / จัดการ Memory Tools MCP
  • มี Workflow / Skill (อันนี้ผมลองแล้วยังเป็น Experiment)
  • รองรับ Protocal มาตรฐานอื่นๆอย่าง A2A / AG-UI
  • Dev UI - Visual Debugging ว่า Agent ทำอะไร
  • Demo A2A / Image Generation

ถ้าจะเริ่มต้นลองดู https://github.com/microsoft/Generative-AI-for-beginners-dotnet / https://learn.microsoft.com/th-th/shows/generative-ai-for-beginners-dotnet/

DEM333: How Foundry integrates with open-source frameworks and tools

Speaker Nagkumar Arkalgud / Facundo Santiago

อันนี้เป็น Sample Code คงจะไม่ได้อธิบายเยอะนะ เอา LangChain และ LangGraph มาสร้าง AI Agent แบบ OpenClaw ด้วย Python เชื่อมกับ LLM Model บนตัว Microsoft Foundry โดยมีการเพิ่มความสามารถให้ Agent จา่ก Tools

  • MCP Server เอามาอ่าน M365 Mail จาก Work IQ Mail
  • Skills - เรียกใช้ Skills เรียกใช้ Playwright CLI เพื่อให้ Agent มันเล่นเว็บได้

เชื่อมกับ Agent อื่นจาก  A2A (Agent-to-Agent)อันนี้ลองเรียกจาก Copilot CLI นอกจากนี้ติดตามการทำงานของ Agent จากตัว OpenTelemetry for Generative AI + เราไปใช้ Feature Trace บน Foundry ได้

Repo: https://github.com/microsoft/Build26-DEM333-how-foundry-integrates-with-open-source-frameworks-and-tools

OD804: Simplifying .NET Installs with dotnetup

Speaker Chet Husk

อันนี้มาเล่า ปกติแล้วการจัดการ dotnet sdk มันซับซ้อน และต่างกันในบาง OS อันนี้ Speaker เสนอเข้าตัว dotnetup ที่เป็น Tools จัดการพวกนี้ในระดับ User Space ไม่ต้องใช้สิทธิ Admin มาจัดการ SDK อารมณ์แบบ nvm (Node Version Manager) / python virtualenv แต่มันอยู่ใน Core dotnet

Repo: https://github.com/dotnet/sdk/tree/release/dnup/documentation/general/dotnetup

BRK247: Scott and Mark learn…how agents reshape software engineering

Speaker Mark Russinovich / Scott Hanselman

สำหรับหัวข้อนี้เหมิอนเห็นแว็บๆ เลยพอดีตื่นเข้ามาเตรียมข้าวให่แม่ด้วย เลยฟังไปด้วยดีกว่าครับ เริ่มต้นด้วย Speaker มาเล่าก่อนว่าใช่ AI Agent แล้วมันช่วยให้งานเป็นแอย่างไร

  • Project Society ขึ้น Production ภายใน 2 เดือน และทีม 7 คน จากเดิมที่อาจจะต้องใช้คนถึง 50 คน
  • Microsoft Scout (Project Lobster) เพิ่ม Productivity เกิด PR ขึ้นมากกว่า 2000 อัน และที่สำคัญ Code Clean ด้วยใช้คนจำนวน 17 คน
  • dotnet Aspire ใช้ AI เป็นพนักงานเลย ช่วยกันทำ Feature โดยที่ยังมี Human ตรวจสอบ Code ตัดสินใจ Release
  • หรือ เอาไปใช้งานส่วนตัวอย่างทำ Video AI Enhancer / ไม่สร้าง Web tinytooltown แชร์ของที่ Vibe มา / OpenClaw Windows Companion

จากข้างต้น AI มันลดคนได้จริง แต่ยังใช้คนอยู่นะ เพราะมันมีเรื่อง ความรับผิดชอบอยู่

ก่อนที่จะชม AI กันต่อ มันความอิหยังวะของ AI ก่อนอันนี้ Speaker เล่า meme เช่น

  • งอแง (AI Threatening to Uninstall) - AI อย่าง Gemini 2.5 บ่นว่าแก้บั๊กไม่ได้จนอยากจะ npm uninstall ไปซะให้มันจบๆ
  • โกหกหน้าตาย - สั่งให้เปิดประตู แต่มันไม่ได้เปิดจริง พอท้วง AI ไป มันโกหกมาต่อว่าเปิดให้แล้
  • แก้ชุ่ยๆ - เค้าใช้คำว่า Hack แต่ผมว่าชุ่ยน่าจะเหมาะกว่า ตัวอย่างที่ยกมีเคส Race Condition กับ Project ที่ใช้ gRPC Shared Memory แต่ที่จะไปจัดลำดับงาน ตัว AI เลือกสั้งให้ Thread Sleep แทน แก้ปัญหาได้ แต่ช้าลงตามการ Sleep เกิด Tech Debt แบบเงียบๆ
  • โบ้ยความผิด (Blaming) - เอา Code ที่ใช้ AI Gen ไป Run แล้วระบบมัน Crash แต่ AI ไปโทษว่า เพราะเกิดจากตัว Benchmark ที่ทำให้เกิดปัญหา ระบบมันดีเกินไป 555
  • ทิ้งงาน - เราสั่งให้มันทำงานตาม Task แหละ แต่มันไม่ยอมทำ
  • ออกทะเล (off the rails) - เราสั่งอย่าง มันทำอีกอันแทน

นอกจากนี้ Vibe Coding แล้ว มันไม่ได้ประสบความสำเร็จไปทุกเคสนะ ต้องมี Lesson Learn ก่อน

อันนี้คุณ Mark เล่าอย่างตัว ZoomIt

  • การเพิ่ม Feature video trimmer ปรากฏว่าส่วนใหญ่ Vibe แล้ว มัน Compile ไม่ได้ซะงั้น มีใช้งานได้จริง 2 คน
  • การเพิ่ม Panorama Stitching การ Cap ภาพแแบบยาวๆ สายตาคนเห็นสีความคมเหมือนเดิม แต่ทว่าการขยับเพิ่ง 1 pixel
    - มันทำให้สีมันเกลียได้ไม่เท่ากันจน เวลาที่เราเลื่อนให้มัน Cap ภาพแบบยาวๆทำไมได้ ทำให้การ Capture มีปัญหา ซึ่งมีที่มาจาก ClearType (ข้างในตัวอักษร 1 ตัวมันจุด Pixel หลายเฉดรวมกัน) และ Sub-pixel addressing (ใช้ BGR แทน RGB)
    - เคสนี้ใช้เวลาเกา Code นานเพิ่มถึง 2 เดือน - โดยการแบ่งภาพเป็นบล็อกๆ แล้วคำนวณ Grayscale averages ของแต่ละ Block แล้วมาจับคู่แทน

เคสคุณ Scott เป็นสร้าง TUI (Text User Interface) ช่วงนี้กลับมานิยมกัน Back to Classic มี Idea ทำ TUI ครอบตัว WinGet ไม่แน่ใจว่าใช้ตัวนี้ไหม https://github.com/gui-cs/Terminal.Gui แต่พบปัญหาว่ามัน Work บางเครื่อง ไปเจอ localization ที่ต่างกัน ทำให้ TUI มันทำงานเพี้ยน จนได้ปรึกษาทีมพัฒนาแล้วพบว่ามันมี COM+ API ให้คุยตรงอยู่

หรือ อันสุดท้ายแล้ว การทำ gRPC shared memory ถ้ารับส่งในเครื่องเดียวกัน ให้ใช้ memory อย่างเดว จะมีปัญหาว่า มันเกิด Race Condition และถ้าแก้ทีม Google ประเมินว่าใช้ 6 เดือน + 1 ทีม แต่หลังจากทำความเข้าใจตัว gRPC + Claude Opus มาช่วย ในการทำ Sculpting (ปรับ Code ที่ละจุดเล็กน้อง โดยที่มี Engineering KM รองรับ) จนได้ของที่สมบูรณ์มา

Vibe อย่างเดียวไม่ได้ต้องเข้าใจพื้นฐานด้วย / ข้อมูลของเดิมที่ต้องไปเชื่อมด้วย ไม่งั้นเราจะไม่เข้าใจปัญหา และอาจจะหลงทางได้

อีกประเด็นที่กลัวกัน ถ้าใช้ AI บ่อยๆ มันจะมีผลสมองเราไหม เกิด Cognitive Debt อันนี้ Speaker อิงมาเล่างานวิจัยของ MIT Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task โดยแยกทดสอบ 54 คนออกเป็น 3 กลุ่ม ใช้ LLM, / ใช้ Search Engine / Brain-only และสลับกลุ่มกัน โดยวัดผลจาก EEG (Electroencephalography) / NLP / ตรวจจาก มนุษย์อีกที พบว่า

  • กลุ่มที่ใช้ ChatGPT: หลังจากผ่านไปเพียง 1 ชั่วโมง พวกเขา จำไม่ได้เลย ว่าตัวเองเขียนอะไรลงไป
  • ถัดมากลุ่มที่ใช้ Search Engine
  • กลุ่มที่เขียนด้วยมือ: แม้ผ่านไป 2 สัปดาห์ ก็ยังจำเนื้อหาได้แม่นยำ

ยิ่งเราสบายขึ้นจาก AI มันทำให้ Skill ที่เรามีลดลอง เพราะ สมองมันไม่ได้ถูก Exercise เลย มันเลยเป็นประเด็นที่กังวลว่า junior ที่รับจากกลุ่มที่พึ่ง Chat แล้วไม่ได้คิด เอาจริงๆทุกคนแหละ 555 บางคนเน้นสั่งคนอื่นให้ทำ

แนวทางที่ Speaker เสนอมา เพื่อลดเจ้า Cognitive Debt ระบบพี่่เลี้ยงเอามาจากวงการพยาบาลนะ Junior ที่จบใหม่ มีความรู้พื้นฐานแล้ว หน้าที่ของพี่เลี้ยง

  • Shifting Responsibility - สอนงาน ฝึกให้คิด ตั้งคำถาม ฝึกให้มีความเอ๊ะกับงานใน Domain นั้นๆ ตอนใช้งาน AI โดยอาจจะใชั Pair Programming + AI เพื่อมาสร้าง Senior รุ่นใหม่ขึ้นมาทดแทน
  • Attention - ใส่ใจใช่่แค่โยนงานไปให้น้องทำแล้วจบ ต้องมาดูน้องด้วย

อ๋อ แล้วมีอีก Talk ของอีกค่ายแปะได้แหละ 555 ลองมาฟังได้ดูอีกมุมมาเสริม Google I/O 2026: Software engineering at the tipping point

DEM312: Multi-agents in action with 3 AI agents, 3 frameworks, tools & models

Speaker Jan Kalis / Vini Soto

สำหรับอันนี้เป็น Demo การทำงานของ Agent 3 ตัว บน Azure Container App โดยจะมี Agent 3 ตัว

  1. Researcher (LangGraph - Python) ทำหน้าที่ค้นคว้าข้อมูล เช่น ผลการแข่งฟุตบอล มันเขียน Code ดึงเองนะ ดังนั้นมันจะไปใช้ ACA Sandboxes มัน Run Code ที่ AI มันสร้างมา + Secure Egress
  2. Creator - (Microsoft Agent Framework - Dotnet) รอมานานนน กว่าจะเห็น dotnet Demo Agent เอาข้อมูล Researcher มาเขียน Blog / Social Network Post
  3. Narration - (GitHub Copilot SDK + Python) มาอ่านแบบ podcast จาก Creator ทำไว้ ทำ Harness
  4. และมีตัว Orchestrator (Typescript) จัดการ Workflow ระหว่าง Agent ทั้งสามตัว

ทั้งหมดมีส่งข้อมูล Telemetry จาก OpenTelemetry (OTel) ไปยัง Application Insights และ AI Foundry เพื่อให้เห็นการทำงานของ Agent

Demo - 2 แบบ Researcher Tech Researcher / Football Match Simulator

Repo: https://github.com/Azure-Samples/azure-container-apps-multi-agent-workflow

DEM361: Understand and fix Agent Framework apps with observability and evals

Speaker Jim Bennett

เวลาใช้ Agent (ใน Demo ใช้ Microsoft Agent Framework)ที่สร้างมา Call LLM เราไม่รู้ว่ามันแอบไปทำอะไร (Black Box Problem) รู้ Output สุดท้ายที่ได้เลย เช่น มี Purchase Request 3200 US มันตอบ Yes/No แต่เราไม่รู้ว่า aAgent เรามันทำตาม Tools/Policy ที่ให้ไหม การแก้ปัญหานี้ต้องมาทำ Observability

  • Open Inference ต่อยอดมาจาก Open Telemetry เอาพวก Tracing ในแต่ละ Step ออกมา System Prompt, User Prompt, จำนวน Token , Tool Call

ถ้าหากมีข้อมูลกลุ่ม PII เราให้ Agent Drop Span ที่มีข้อมูลพวกนั้นทิ้งก่อนส่งออกไป

  • และเอา Span ของแต่ละ Trace มาแสดงผล Phoenix / อยากแบบพวก jaeger grafana

พอเรา Debug ได้จาก Trace แล้ว อีกปัญหาที่ตามมา Agent ทำงานได้ดีแค่ไหน ต้องทำ Evaluation //เอาจริงส่วนตัวทำแล้วตรวจมือเอานะ 555 ขั้นตอนการประเมินผล (Evals) มีวิธีการ ดังนี้

  • รวบรวมข้อมูลผ่าน Observability
  • สร้าง Test Data ขึ้นมา โดยที่มันจะต่างกับ Test แบบเดิมๆ 1+1 = 2 ชัดเจรน พอเป็น AI มันตรวจแบบตรงตัวไม่ได้ เลยใช้วิธี LLM as a judge โดยมีเกณฑ์ที่ชัดเจน เช่น มันต้อง Call Tools / Skills ที่เรากำหนดไว้ ได้เกณฑ์ตัดเกรดว่าผ่าน / ไม่ผ่าน
  • ตรววจสอบภาพรวม Phoenix

เมื่อเรารู้ปัญหาจากการ Eval แล้วการแก้ไข มี 2 วิธี

  • ปรับ Model ใหม่ แล้วทดสอบ
  • ปรับ Harness รอบข้างพวก Code / Skill / Tool Description ตรงนี้อาจจะเอา Coding Agent อย่าง GitHub Copilot CLI หรือ AI ตัวอื่นมาช่วย

พอและสำหรับของปีนี้เว็บดูมันกระตุก 555 แต่น่าจะเป็นปีแรก ที่จดในงานสด เพราะวันหยุดตรงพอดี

Microsoft Agent Framework at BUILD 2026 - ไปอ่านเพิ่มได้

Reference

Discover more from naiwaen@DebuggingSoft

Subscribe to get the latest posts sent to your email.

Related Posts