จดๆจาก Microsoft Build //localhost:Bangkok by Global AI Bangkok

Azure DevOps meets GitHub, the path to AI powered SDLC

Speaker Peeranat Ounhanan

สำหรับในงานนี้ Update ของ AzureDevOps / GitHub ไปด้วยกัน แล้วเอา AI เข้าไปใส่ใน SDLC ยังไง โดยที่มีตัว GitHub Copilot เข้ามาเป็นตัวกลาง ดึงจุดเด่นของ

  • AzureDevOps - ที่เด่นการจัดการสิทธิ์ Task
  • GitHub - Source Control, CI/CD

แล้วที่นี้มันมีทั้ง AzureDevOps / GitHub ถ้าต้องเริ่ม Project ใหม่ ควรใช้อันไหน

  • ทีมเล็ก GitHub อย่างเดียว และขา GitHub จะได้ Feature ของ AI เป็นกลุ่มแรกด้วย
  • ใหญ่ขึ้นมา ที่เน้นการจัดการ Code GitHub / Task AzureDevOps
  • หรือใช้ AzureDevOps เพียวๆได้

ของใหม่ที่เปิดตัว GitHub

📌 GitHub Copilot App มัน Build On GitHub CLI แล้วมันเชื่อมกับ AzureDevOps ได้เลย เราสามารถทำพวก PR ได้

📌 GitHub Code Security - Agentic Workflows สร้าง playbook มาจัดการ เช่น การทำ Root Cause Analysis มาให้ เวลาเกิดปัญหา

📌 GitHub Advance Security - ทำให้ทุก Repo มี Baseline Security เดียวกัน แล้วทำ Campign เพื่อเข้ามาข่วยตอน Fixed ได้ และไม่มีตกหล่น มี AI มาช่วย

📌 Dependabot ฉลาดขึ้น ทำ Auto Fixed PR Security / Version Update

📌 GitHub Code Security (Preview) - Agentic Workflows สร้าง playbook มาจัดการ เช่น การทำ Root Cause Analysis มาให้ เวลาเกิดปัญหา

สำหรับใครที่อยากรู้ว่า GitHub Release อะไรไปดูจาก GitHub Monthly Enterprise Roundup (MER) https://gh.io/mer / https://gh.io/lighe

ของใหม่ที่เปิดตัว AzureDevOps

📌 AzureDevOps MCP Server จัดการตามรูป

📌 Enterpise Live Migration (Preview)

  • ย้าย Git จาก Azure DevOps ไปใช้ของ GitHub อย่าง Code / PR / Commit / Issue ต่างๆที่ทำไว้ใน Azure Board มันจะย้ายตามมาด้วย //คหสต ฟังแล้วคิดว่าเดวอนาคตคงยุบรวมกัน
  • Low Downtime - ย้ายประมาณ 20-30 นาที / Repo
  • Seamless Integration - เมื่อย้ายเสร็จ ตัว Code ที่ GitHub กับ Ticket ที่ AzureBoard Link กันอัตโนมัตื
  • Microsoft เค้าใช้เองแล้ว ลองย้ายเองด้วย
  • ถ้าสนใจ Azure DevOps Feature Sign-up

📌 สุดท้ายถ้ายังไม่อยาก Migrate มี Copilot สำหรับ AzureDevOps - จ่ายเงินกับ Azure Billing เลย

Resource Build26-BRK202 / Azure DevOps and GitHub: Journeying into the AI Era

GitHub Copilot in Visual Studio: Agents That Debug, Profile, and Test

Speaker Sivaphong Niyomphanich

AI ไม่ได้มาแย่งงาน แต่มาช่วยเพิ่ม Productivity สำหรับ Professional Developer และ Source Code is Asset, Not Artifact สำหรับในงาน Build มีนำเสนอ Agent 3 ตัว ต้องย้ำสำหรับ Visual Studio ไม่ใช่ VSCode

  • Debugger Agent - เอามาช่วขหาข้อผิดลาด จาก Call State / Variable State โดยสามารถสร้าง Trace Point / Conditional Statement ได้ รวมถึงถ้ามี Crash Report จาก Azure DevOps มันจะดึงมาให้ผ่าน MCP
  • Profiler Agent- Performance Optimization - หาจุด Hot paths พวกที่เป็น Bottle Necks ทำ Basedline + เสนอแนวทางการ Fixed อันนี้จับจาก Local + CI Server
  • Test Agent - Gen Test อิงตามโครงสร้าง Project และทำให้เข้า Test Framework พวก xUnit/ NUnit / MSTest ได้ //คหสต เป็นปุ่ม Create Test แบบ Manual คืนมาด้วย แงง
ตรวจ Setting ก่อนใช้

จากนั้นเป็น Demo อิงตาม Repo ที่ Speaker ทำไว้ครับ https://github.com/pergiong/Microsoft-Build-Localhost-Bangkok-2026

นอกจากนี้มีพวก Modernization Agent / Agent Skills และ Merge Conflict Agent และมีการเปลี่ยนการใช้ SDK เป็น GitHub Copilot CLI SDK ตัวเดียวกับ VS Code เพือให้ได้ Feature แบบไม่ต้องรอนาน ที่จะวางแผนทำในอนาคต

Your agent, anywhere: MultiClient, MultiDevice with GitHub Copilot SDK

Speaker Kittikorn Prasertsak

Coding Agent เริ่มแรกเติบโตมาจาก Coding Agent Cloud > Copilot CLI และล่าสุดตัว Copilot SDK ที่เข้าสู่สถานะ GA ซึ่งการมี SDK ช่วยลดภาระของ Dev ในการต่อยอด Application ในส่วน

  • สมอง LLM Model - BYOK / Custom Providers
  • harness อาทิ เช่น Session Management / Permissions / Skills, Tools, Hooks & MCP
  • การทำ Custom Agents / Sub-agents
  • และส่วนอื่นพวก OpenTelemetry / Remote Sessions / Documentation / Testing / E2E
  • Citation Compliance มีให้นะ

SDK สามารถทำงานได้ตั้งแต่ในเครื่อง Local, Containers, Private VNets, Multi-tenant ไปจนถึง Air-gapped government clouds ที่มีความปลอดภัยสูงสุดได้

ตอนนี้รองรับ 6 ภาษาแล้ว TypeScript, Python, .NET, Go, Java (Preview), Rust (Preview) นอกจากนี้มี Feature เด่นที่เปิดตัวไป

  • Steering and queueing - การจัดการข้อความโดยมี 2 Mode "immediate"​ ยัดเข้าบทสนทนานี้เลย / "enqueue"​ ยัดเข้าบทสนทนาถัดไป
  • การจัดการ Environment (ไฟล์) - เพื่อป้องกันปัญหาเช่น Prompt Injection หรือการที่ Agent ทำงานผิดพลาด มันจะมี 3 Mode
    - Direct Execution
    - Per Session Container แยก Container ออกมา แต่เปลือง Resource
    - OS Managed Sandbox (Preview) - https://github.com/microsoft/mxc - Windows, macOS, Linux รองรับงาน เช่น จำกัดการเข้าถึงไฟล์หรือเครือข่าย
  • Sandbox Agent Toosl Call - กำหนดกรอบได้ว่า Agent อะไร
  • Multi Tenant Virtualization - กระจาย Load - รัน Agent หลายตัวพร้อมกันใน Session เดียวกันได้ (Parallel sessions)

Resource: https://github.com/microsoft/Build26-BRK206-your-agent-anywhere-multiclient-multidevice-with-github-copilot-sdk

สุดท้าย ถ้านึกไม่ออก Speaker มี Share Idea ในส่วน SDK ไปใช้งานด้วย

From CLI to PR: Automating the path to merged code

Speaker Sirinat Paphatsirinatthi

📌Feature ของ Copilot CLI ที่เอาสนับสนุน Flow

  • Interactive Chat
  • Code Generate
  • Build Agent - Explore (ดูว่ามีอะไรบ้าง) / Task (แตกงานย่อยให้ Sub-Agent) / General / Review
  • Multi Model Support - Cloud Model / You Own Model (API / Local LLM)
  • Automation
  • MCP Server
  • Skills - ถ้ามี Skill ก็ใช้ได้วางใน .github/skills/

📌Mode Plan / Review & Approve / Auto Pilot Mode (ควรเริ่มจาก Plan ให้มันคิดดีๆ แล้ว Auto Pilot / Feature Ready

📌Command พื้นฐาน

  • /voice (new) เสียง ยังไม่รอบรับภาษาไทย
  • /fleet run agent แบบพร้อมกัน เหมือนกองเรือ
  • /research คล้ายกับ Deep Research ของ Grok มันจะไปหาข้อมูลจากใน NET + Code GitHub
  • /pr /pr auto สร้าง pr
  • /pr fix แก้ pr แบบ auto
  • /review Code Review โดยใช้ได้หลาย Model ทั้ง Claude / Gemin / GPT
  • /every (new) Cron Job
  • /rubber-duck (new) - Deep Review

📌นอกจากนี้มีตัว Copilot TUI ค้นหาได้จาก Terminal ได้เลย

📌Demo เริ่มจาก Prompt > Plan > Review แล้ว สั่งลุย ข้อดี Agent มันเขียน Copilot Test > Human Test > ถ้า OK /pr auto เลือก Merge Strategy

📌ปกติแล้วมีปัญหาเรื่อง Token กันเยอะ Speaker เอาตัว https://github.com/rtk-ai/rtk เอามาช่วยลด Token ได้ Demo ใช้ตัวฟรี

Resource https://github.com/dmakeroam/Build26-BRK203-from-cli-to-pr-automating-the-path-to-merged-code / Slide: https://qrc-ai.com/VSCOT

From prototype to production: build and run agents at scale

Speaker Teerasej Jiraphatchandej

สำหรับอันนี้จะมาเล่าส่วนของ End to End Agentic AI Life Cycle จาก Build /Deploy / Operate บน Microsoft Agent Platform โดยเน้นส่วน Build / Deploy เนื่องจากเวลาจำกัด 25 นาทีครับ

Build

📌Foundary Toolkits in VSCode (Local)

  • Local Resource
    - เอาพวก Ollama มาเชือมได้ หรือค่ายอื่นๆ

นอกจากนี้ เอา Foundary Project มันแสดงขเึ้นมาด้วย ถ้าเรา Link เชื่อมแล้ว

  • Developer Tools
    - Toolboxes (Preview) - สร้างชุดของ Tool หลายอัน แต่ Domain เดียวกัน พวก Web IQ / Shared Point และกำหนด Guard Rail แล้วที่นี้มันจะ Sync ไปบน Foundary เอาไปใช้กับ AI Project อื่นได้
    - Skills (Preview)

📌Foundary (Cloud)

  • Voice Mode Agent - จาก Agent เดิม เราสามารถเปลี่ยนให้เป็น Voice Agent ได้ Voice mode toggle On แต่ต้องใช้หน้า UI ใหม่ของ Foundry นะ

Deploy

📌Hosted Agent

  • เราสามารภกำหนด Config จากตัว agent.yaml ได้
  • สามารถใช้ Skill เข้าไปเพิ่มได้
  • deploy ด้วยคำสั่ง azd provision

📌Routines: ให้ Agent ทำงานตามเวลาที่กำหนด ใน Demo จะตัวสอบถามสถานะ Fiber กับพวก IOT

สำหรับส่วนอื่นๆ ผมมีฟัง แล้วจดไว้ตอนงานวันที่ 3 ครับ

Claw and agent harness in Microsoft Foundry

Speaker Surasuk Oakkharaamonphong

ในช่วงเวลาตัว Model พัฒนาขึ้นมาเยอะมาก และมีทั้ง Coding Agent (Claude Code / Copilot ... ) > กลุ่ม Open Claw / Herme Agent แล้วเข้ามายุคของ Harness ให้ Agent (มาปรับจูนให้ Agent ทำง่านดีขึ้น) แต่เมื่อ 3-4 วันที่ผ่านมาคำใหม่มาอีก Loop Engineering ตอนนี้ Focus ที่ตัว Harness ก่อนมีส่วนประกอบตามนี้

  • HarnessCompoents_AgentLoop
  • HarnessCompoents_Context
  • HarnessCompoents_SkillsTools
  • HarnessCompoents_SubAgents
  • HarnessCompoents_MemorySession
  • HarnessCompoents_LifeCycleHooks
  • HarnessCompoents_PermissionHumanInLoop
  • Agent Loop: เป็นส่วนการทำงานหลักที่รับ Context/ Tools) ที่มีอยู่ จากนนั้นเป็นหน้าทีตัว LLM ที่คิดเอง หรือตัดสินเลือก Tools ให้งานสำเร็จได้
  • Context Management: เวลาเราคุยนานๆ หรือ มี Tools เต็มไปหมด มันทดไว้ใน Context Window จะบวมขึ้นเรื่อยๆ ทำให้เปลือง Token และคิดนานขึ้น ตัว Harness ใช้เทคนิคอย่าง Context Compaction เพื่อสรุปที่ และทดไว้
  • Skills and Tools: จะเพิ่มความสามารถให้ Agent ผ่าน
    - Skills - Prompt ที่ดี ที่จะถูกเพิ่มเข้าไป + Script เล็ก
    - Tools - เชื่อมต่อผ่าน Open API / MCP / Shell / Script เพื่อให้ Agent สามารถโต้ตอบกับระบบภายนอกได้
  • Sub-Agents: ในระบบที่ซับซ้อน Harness ทำหน้าที่เป็นผู้ควบคุม (Orchestrator) เพื่อจัดการ Agent เฉพาะทางหลายๆ ตัวให้ทำงานร่วมกัน เช่น ตัวหนึ่งเก่งเรื่องค้นหาเว็บ อีกตัวเก่งเรื่องสรุปเอกสาร
  • Computer Tools: เป็นการยก Env ให้ Agent ใช้งานจริง เช่น การอนุญาตให้เข้าถึง File System เพื่ออ่าน/เขียนไฟล์ หรือ Code Execution(เขียน Code และให้ Run เอาผลลัพธ์) เพื่อแก้ปัญหาทางคณิตศาสตร์ หรือจัดการข้อมูล
  • Memory and Session Persistence: ช่วยให้ Agent "จำ" สิ่งที่เคยเรียนรู้หรือความชอบของผู้ใช้ข้ามเซสชันได้ และที่สำคัญระบบเป็น Stateless เราสามารถเอาที่ทดจำไว้ ไปยัง Env ใหม่ได้ง่าย
  • Lifecycle Hooks: เป็นจุดที่ Software Dev สามารถแทรก Logic หรือ Policy ของตัวเองเข้าไปได้ในแต่ละช่วงเวลา เช่น ก่อน/หลัง Agent ทำงาน หรือ ก่อน/หลังเรียกใช้ LLM และเครื่องมือ เพื่อควบคุมความปลอดภัยหรือปรับแต่งการทำงาน
  • Permissions and HITL: เนื่องจาก Agent เริ่มทำงานที่มันเข้าถึง + มีสิทธิ์เยอะ ทำให้
    - มีความเสี่ยงสูงขึ้น เช่น การลบไฟล์ หรือ Run Code อันตราย
    - จึงต้องมีระบบ Human in the Loop (HITL) เพื่อหยุดรอการอนุมัติจากคนก่อน
    - รวมถึงการกำหนดสิทธิ์ (Permissions) ว่า Agent ตัวไหนทำอะไรได้บ้าง

หรือ ถ้าไปดูอีกค่ายอย่าง Claude Code จะมี Lifecycle Hooks ของตัวเองเหมือนกัน นอกจากคิดอย่าง Context Engineering ด้วยที่มาเสริมกัน

ลองมาดู AI Tools ที่ใช้กันอยู่อันไหนที่มี และไม่มี Harness

  • ไม่มี hardess ในตัว - n8n / dify / make
  • มี Harness ในตัว
    - Coding - Claude Code / Copilot CLI
    - End User - Cowork / Codex
    - Agent Hermes Agent / OpenCraw

แล้วถ้าอยากสร้าง Agent เอง ทำยังไง ?

📌 อันนี้มี Tools ที่สร้าง Template มาให้แล้ว โดยใช้ Foundry template

  • ตรวจก่อนว่ามี azure.ai.agents ไหม ด้วย azd ext list
  • ถ้าไม่มีลงเลย azd extension install azure.ai.agents
  • เริ่มสร้าง Agent โดยใช้ azd ai agent init มันถาม
    - ภาษาที่ใช้ C# / Python
    - Template
    - Agent Name อันนี้เอาไว้เรียกตอน Deploy ไป Cloud
    - กำหนด Foundary Project ที่ใช้งาน
    - เลือก LLM Model

📌 Test

  • Run Local
# ได้หน้าจอ Agent Insepctor
azd ai agent run 

# CLI
azd ai agent invoke --local "you prompt"
  • Run on Foundary Cloud
azd provision
azd deploy

# Test
azd ai agent invoke <agent_name> "you prompt"

Hermes Agent On Foundary

📌 อันนี้มีคุณ Glenn Condron ทำ Repo ที่พร้อมใช้งานแล้ว https://github.com/glennc/hermes-foundry-tui ถ้าดูใน Dockerfile ของ Repo เค้ายัด Hermes มาแล้ว

📌 เริ่มจาก

cd hermes-foundry-tui
./scripts/init-hermes.sh

# Local Test
azd extension install azure.ai.agents
azd auth login 
azd provision
azd ai agent run

# Test 
./scripts/run-foundry-tui.sh

# Run On Foundry
./scripts/run-foundry-tui-remote.sh

Clip Demo อจ บอล มีเอาขึ้นแล้่วนะครับ

สำหรับ Session นี้ ผมมีจด Blog ไว้่อยู่นะครับ เผื่อใครไม่อยากไปดูย่อนหลังจากงาน Build

Idea to production-ready agent in seconds on AI-native runtime

Speaker Sirasit Boonklang

ความแตกต่างระหว่าง Agent แบบ Web ธรรมดา ตัว Agent มันเก่งขึ้น และตอบได้ดีกว่า แต่ทว่า มีการคาดการณ์ว่าโครงการ Agentic AI กว่า 40% จะถูกยกเลิกภายในปี 2027 ซึ่งสาเหตุไม่ได้มาจากตัวโมเดล (LLM) แต่มาจากปัญหาของ Runtime (สภาพแวดล้อมที่ใช้รัน) เช่น

  • Runaway Loops: เปิดทิ่งไว้ มันกิน Resource และใช้ Token ที่ไม่จำเป็นด้วย
  • Security Risk: Run Code บนเครื่อง Dev โดยไม่มี Sandbox เสี่ยงต่อการโดนขโมย SSH Keys หรือคุกกี้
  • Cold Start: ถ้าปิดไปต้อรอ 10 วินาทีนั้น มันช้าเกิดไปกับเว็บที่ต้องตอบสนองทันที
  • Context Loss: เมื่อ Runtime Restart ปรากฏว่ามันลืม จำไม่ได้ ว่า Context อะไร

ทางแก้ aca sandbox (public preview) มันทำหน้าที่เป็น microVMs ให้เราเอา Agent ไปใน โดยใน Azure Container App จะรองรับ 3 แบบ

  • Standard
  • GitHub Copilot มี Copilot มาให้เพิ่ม
  • Claude - มี Claude มาให้เพิ่ม

📌 พอเป็น microVMs ถ้าอยากทำ VM ใหม่ไม่ต้อสร้าง สามารถสร้าง SnapShot มาจากตัวเดิมได้เลย

📌 Life Cycle Pollicy ถ้าไม่มีใครเรียก ให้มัน Sleep จะได้คุมค่าใช้จ่าย

📌 ตัว aca agent เราสามารถเพิ่มความสามรุผ่าน เมนู Connector เอา MCP มาเสียบ

📌 scale to zero

Demo Arch มี Agent Aria (Developer Agent) / Nova (Personal Assistant) ทำงานด้วยกัน โดยอยู่ภายใน aca sandbox เช่น การสั่งให้เขียน Code จะให้ Aria ทำขึ้นมา

Resource: https://github.com/microsoft/Build26-BRK221-idea-to-production-ready-agent-in-seconds-on-ai-native-runtime

ตอนนี้บางเว็บจะมีเตรียม prompt รอ agent เวลา Craw นะ ซึ่งมันทำได้ทั้งมุมที่ดี แนะนำของ หรือ มุมที่ไม่ดี ยัด prompt injection เข้าไป

Build secure and enterprise-ready agents with Agent 365

Speaker Saran Hansakul / Kumton Suttiraksiri

ปัญหาเวลามี Agent หลายแบบจัดการยังไง

📌 Agent 3 กลุ่ม

  • SAAS Agent - Copilot / Agent ตาม web ของ Saleforce
  • End Point Agent - ตามเครื่องต่างๆ ไม่ว่าจะใช้ของที่มี หรือ Dev เอง
  • Cloud Agent - ทำงานบน Cloud

📌 เวลามี Agent หลายแบบปัญหาการดูแล จัดการ แล้วมันทำงานถูกต้อง เข้าถึง Data ที่เหมาะสม หรือไม่ ตาม Policy เราต้องเห็นภาพรวมทั้งหมด โดยมี 5 แกน

  • Registry & Observability
  • Identity - รู้ตัวตนชัดเจน มอง Agent แบบพนักงาน
  • Threat Protection
  • Data Security - เข้าถึงข้อมูลอันไหนแล้ว ถ้ามี Solution กลุ่มนี้ เราสามารถจับได้ว่ามีการเอา Data ที่ Sensitive โยนเข้า AI แล้วหลุดไหม ?
  • Governance & Compilance

Microsoft Agent 365

📌 Observe : มองเห็น ทั้งหมดในระบบ ติดตามแนวโน้มการใช้งาน และระบุความเสี่ยง พวก Shadow AI มองเห็นด้วย

📌 Govern: การกำหนดขอบเขต (Guardrails) เพื่อให้มั่นใจว่า Agent ทุกตัว ไม่ว่าจะสร้างโดยใคร จะมีระบบป้องกันที่เหมาะสมตามระดับความเสี่ยง มองแบบคน ถ้าลาออก ถ้ายกเลิกแล้ว จ้องจัดการอย่างไร

📌 Secure (ความปลอดภัย): ปกป้องเอเจนต์จากการโจมตีสมัยใหม่ เช่น Prompt Injection หรือการรั่วไหลของข้อมูล ผ่านการบูรณาการร่วมกับ Microsoft Entra (ตัวตน), Defender (การป้องกันภัยคุกคาม) และ Purview (การดูแลข้อมูล)

ราคาซื้อตามจำนวน User ที่สร้าง Agent 18 usd / user ซึ่งเฉพาะ Use ที่ต้องใช้ Agent

Microsoft Agent 365 SDK

📌 เป็นตัว Warper ช่วยจัดการพวกส่วนของ Custom App ที่จะมาเชื่อมกับ m365 พวก OpenAI Agent SDK / MS Agent Framework / CrewAI / LlamaIndex / LangChain ถ้าเชื่อม AI เจ้าอื่นๆใช้ Registry Sync
📌 ส่วน App m365 / Agent ดีงๆ จะเป็น Native Integration อยู่แล้ว
📌 พอเชื่อมแล้ว มันจะได้ Identity / Observability / Tools / Messaging / Threat Protection / Govenrance และ Data Security รวมถึงการจัดการDeploy และกำหนด Target User ที่ใช้ได้
📌 สำหรับการต่อ AI Service เจ้าอื่นๆใช้ Registry Sync

Demo ตามนี้เลย ทำ Travelling Agent โดยมีการเรียกใช้ Skill / Tools / MCP แล้วสามารถ Deploy ใช้งานได้กลุ่ม M365 อย่างเช่น Word / MS Team โดยที่เราสามารถติดตาม Observability ได้บน Dashboard ของ m365 ได้ นอกจากนี้ เรายังสามารถเตรียม BluePrint เพื่อ Set ค่าที่ดีให้พวก Policy หรือ ทำงานในมุมไหน \

  • On-Behalf - Delegation งานให้ไปทำ อาจจะให้ Agent ทำงานนอกเวลางาน
  • User Account

ส่วน 365 Agent Admin Registry (มีใครบ้างเข้ามา) / Map คุยกันยังไง / Registry Sync (เชื่อม platform อื่นได้ไหม) / Shadows AI (มีใครใช้ AI ทำนอกเหนื่อ Policy ไหม) / Tools Managment / Agent Level เป็นต้น

Resource: Get started with Agent 365 development / Make any agent enterprise-ready with the Agent 365 SDK / microsoft/Agent365-samples

Build Apps w/ Local AI for Unmetered Intelligence on every Windows PC

Speaker Nathachai Bangkung

Unmetered Intelligence ?

📌 Unmetered Intelligence เอา AI มาไว้บนเครื่อง Session นี้จะเน้น Windows ของผู้ใช้โดยตรง เพื่อให้สามารถใช้งานได้อย่างเต็มที่โดยไม่ต้องกังวลเรื่องค่าใช้จ่ายต่อครั้ง (Token) หรือการเชื่อมต่อเครือข่าย โดยมีเหตุผลหลัก 3 ประการคือ:

  • Privacy & Security: ข้อมูล Sensitive data ไม่ต้องถูกส่งขึ้น Cloud
  • Low Latency: ลดความล่าช้าในการส่งข้อมูลข้ามเน็ตเวิร์ก ทำให้การตอบสนองเป็นแบบ Real-time
  • Cost Reduction: ประหยัดค่าบริการ LLM บน Cloud และทำงานแบบ Offline ได้

หลายๆ App ตอนนี้มีเรียกใช้ Local AI ถ้ามี

Execution Provider - EP

📌 Execution Provider - EP เลือกหน่วยประมวลผล โดยให้มีความคุ้มค่าที่สุด โดยมี HW หลายค่าไม่ว่าจะเป็น Intel, AMD หรือ Qualcomm Snapdragon หรือ ล่าสุด Nvidia เอา RTX Spark เข้ามาแจมแล้ว โดยมี

  • NPU (Neural Processing Unit): เน้นความประหยัดพลังงาน (Energy Efficient)
  • GPU: สำหรับงานที่ต้องการประมวลผลหนักและรวดเร็ว
  • CPU: เป็นตัวแบก ถ้ามันไม่มี GPU NPU

แต่ปัญหา Model หรือ Runtime มันต้องเตรียมสำหรับพวก NPU ด้วย ไม่งั้นต้องเสียเวลามี Build เอง

เครื่องมือที่ Windows มีมาให้

📌 Ready-to-use

  • Windows AI APIs: เป็น API สำเร็จรูปที่มาพร้อม Windows สำหรับงานทั่วไป เช่น Speech Recognition (แปลงเสียงเป็นข้อความ) และ Structured Output (เช่น การสรุป Text หรือ Image ออกมาเป็น JSON/CSV) มีตัวอย่างให้ดูใน https://github.com/microsoft/ai-dev-gallery
  • Foundry Local: เป็น Tools ที่ช่วย Run Model Open Source ยอดนิยม (เช่น Phi, Llama, Mistral, Qwen) ได้ง่ายเหมือนการใช้ Ollama หรือ Docker มีทั้งแบบ CLI สำหรับผู้ใช้ทั่วไป และ SDK (GA v1) สำหรับนักพัฒนาเขียนโปรแกรมควบคุม

📌 อยากเข้าจัดการเองได้มากขึ้น เช่น การ Tune Model

  • Windows ML: รองรับ ONNX Runtime ให้ Dev เข้ามาเรียกใช้ตรงๆได้เลย
  • Windows ML CLI: เครื่องมือที่ช่วยให้ Tune และBenchmark ตัว Model เพื่อให้ Run บนฮาร์ดแวร์ Windows ได้ดีที่สุด
  • WebNN (Preview) ต้องไปเปิด flag ใน Browser เพือให้ตัว webapp ดึง npu เข้ามาช่วยงานด้าน AI

Demo Foundry Local CLI + SDK (ep = execution provider พวก CUDA)

Resource: https://github.com/microsoft/Build26-BRK260-build-apps-with-local-ai-for-unmetered-intelligence-on-every-windows-pc

Local models, developer control, and the future of AI runtimes

Speaker Charunthon Limseelo / Poonpipat Changkwain

Ollama & Ollama Cloud

📌 Ollama เป็น Solution นีสำหรับการ Run Local AI Model เพื่อใช้งานภายในองค์กร โดยมีจุดเด่น

  • คำสั่งคล้าย Docker / เข้าถึง Open Model ได้หลากหลาย Llama 3, Gemma, Mistral, Qwen เป็นต้น
  • Privacy - พวก Sensitive Data จัดการได้
  • เชื่อมต่อกับ Tools อื่นได้ อย่างพวก Claw Agent พวก Open Claw, Herme / Claude Code / GitHub Copilot CL / Cursor เป็นต้น
  • นอกจาก Hugging Face (GGUF format) ตอนนี้รอบรับ Model ที่ Optimize MLX (Apple Silicon) ซึ่งทำให้มีประสิทธิภาพที่สูงขึ้น

📌 Ollama Cloud ใช้กรณีที่ อยาก Run Model ใช้ Resource เยอะๆ อย่าง Frontier Models GPT-OSS ใช้ Ollama Cloud ซึ่ง

  • Host Model เพียวๆ
  • ไม่มีพวก Harness ครอบ
  • ไม่เก็บพวก Prompt / Output ได้เทรนโมเดล (No RLF/Learning)
  • ใช้ Client / SDK เดิม ไม่ต้องเปลี่ยน

📌 นอกจากนี้ Open Model ยังเก่งขึ้นด้วยทั้งคำ Reasoning / Tools Calling / Long Running Task / Coding รวมถึงมีเทคนิคต่างๆ มาช่วยให้ Model ขนาดใหญ่ทำงานได้คุณภาพเกือบเท่าเดิม แต่ใช่ HW Resource ที่ลดลง ดังนี้

  • Knowledge Distillation: เอาไปเรียนหาสูตรลัดจาก Model ใหญ่
  • Advanced Pruning Strategies: ตัดแต่งเอา Parameter ที่ไม่จำเป็นออกไป
  • Innovative Quantization Methods: ลดความละเอียดหรือความแม่นยำ(Numerical Precision) ของแต่ละ Parameter จาก 16-bit เหลือ 8-bit หรือทำ Format ทีช่วงให้ Resource น้อยลงอย่าง GGUF
  • Instruction-Following Pruning: ทำ Feature Flag เปิด ปิด Parameter ตาม Instructions ที่เข้ามา

Real-world Use Case

📌 Open Source สามารถใช้บน Prod ได้ Stack หลักๆ Ollama + Open Web UI (ที่ปรับแต่ง Harness) และส่วนอื่นๆ เพิ่ม Data Pipeline โดยมีการใช้งานจริงที

  • Lawrence Berkeley National Labaratory
  • NASA Glenn Research Center
  • U.S. Department of Energy with Brookhaven National Laboratory

นึกถึงข่าว Passport ช่วงนี้เลย - ผมทำ AI Passport ร่วมกับ 9arm เสร็จในสี่วัน

Demo

📌 Demo Ollama + Copilot SDK Model MiniMax3 การใช้ Copilot SDK มันจะ Sync เข้า Chat ด้วยนะ

📌 Demo Ollama + Harness Enginerring

  • ถ้า Model ทำ Harness ดี ทำให้ประสิทธิภาพดีขึ้นได้ นั้นแสดงว่า เราเอา Model ถูก + Harness ได้ผลดี และ Cost ลดลงได้
  • Harness จาก Session ของ อ บอล เช่น
    - จัดการ memory custom เก็บที่สำคัญ สรุปและจัดเก็บในรูปแบบ Vector
    - subagent เช่น sandboxing หรือ แบ่งงานตาม Specfic ลงไป เพื่อลดการใช้ Context เพราะ ยิ่งถ้างานใหญ่ๆ AI มันจำแต่หัว/ท้าย ทำให้งานมันเพี้ยนได้

Resource Slide / https://github.com/PoonpipatChangkwain/mew_assistant#

Reference


Discover more from naiwaen@DebuggingSoft

Subscribe to get the latest posts sent to your email.