สรุปงาน Global Azure 2024 – Thailand

สรุปงาน Global Azure 2024 – Thailand สำหรับในปีนี้จะมี 12 หัวข้อ ในวันที่ 19 และ 20 เมษายน พ.ศ. 2567 โดยจะเน้นหลักๆไปในส่วน Service ด้วย AI ครับ

สำหรับรอบนี้ผมได้ลองไปในวัน 2 วันเลย เลยมาจดว่ามีอะไรบ้าง จดๆมาประมาณนี้ จริงลังเลเหมือนกันว่าจะแยก 2 Blog ไหม หัวข้อเยอะครับ สรุปยัดลงอันเดียวครับ 12 หัวข้อเต็มๆ

ของวันที่ 19
ของวันที่ 20 อันนี้มี Live น้า

Azure OpenAI Service Workshop

ตอนนี้ Generative AI มีหลายเจ้า แต่หลักการเดียวกัน แข่งขันกัน ออก Feature ใหม่ พร้อมเจ้าไหนลองจิ้มเข้าไปเลย อาจจะดูปัจจัยอื่น เช่น ราคา / feature ที่มี

ตรงนี้ผมตั้งคำถามไว้ก่อน แสดงว่าตอนทำ APP ต้องมาทำ Facade ให้ APP จิ้ม API กลาง แล้วไป Call แต่ละ Model หรือป่าว ?

ตัวที่ทำให้ Generative AI มันดัง ChatGPT มาจาก Model GPT ซึ่งเอาอลักอริที่ม Transformer มาปรับ ซึ่งการสร้าง Generative AI ใช้ทรัพยากรเยอะมาก ทั้ง Storage + Compute เลยเป็นที่มาของการ Azure + Open AI เลยได้อีก Azure OpenAI Service

- Azure OpenAI Service

Model ทุกตัวเป็น Generative AI (พวก Large Language Model: LLM) หมดนะ แต่ความสามารถต่างกัน โดยสรุปๆ ประมาณนี้

  • GPT-4 / GPT-4 Turbo ใหม่สุด ครอบคลุมสุด เป็น Multi-Model ทำได้หลากหลาย นอกจากถามตอบ ให้มันอ่านรูป บอกว่ามีอะไรในนั้นก็ได้นะ เป็นต้น
  • GPT-3.5 พวก ChatGPT ตอนนี้แหละ ผมใช้ Tier ฟรีอยู่ ถ้าเสียเงินน่าจะไปตัว GPT-4 และ
  • Embedding แปลง Data เป็น Vector
  • DALL-E - Text to Image
  • Whisper - Model ของ Speech to Text
  • Text to speech

Model พวกนี้มีใน OpenAI เหมือนกันนะ ชื่อเดียวกันเลย

- การเลือกใช้ Model ดู
  • Region มีไหม
  • Use-Case กับความสามารถของ Generative AI แบบต่างๆ เลือกให้ถูก จะได้ประหยัด
  • Pricing ต่อ Token ที่ใช้ ถ้าจะประมาณ Cost จะใช้ตัวนี้นับ tokenizer
  • Token Limit (ยิ่งรับได้ทีเดียวเยอะๆก็ยิ่งแพง)

สำหรับ OpenAI คล้ายกัน แต่อาจจะไม่ต้องดู Region มันเป็นต้นแบบอ่านะ

- Registration (ยังแน่ใจว่าใช้คำอะไร)

พอสมัครเสร็จ

  • Azure OpenAI
    - Create Project กำหนด Region มีผลกับการเลือก model และ Pricing Tier
    - เข้าไปที่ Project Keys and End Point เอา Access Key + End Point (Pattern คล้ายๆกับ PaaS ของ Azure)
    - ที่เหลือจะไปดูใน Azure OpenAI Studio
  • OpenAI - Get API + Secret Key
- Overview

จริงๆหน้าจอของทั้ง Azure OpenAI Studio / OpenAI ของผมใช้ Azure ส่วนตัว จะสมัครได้แค่ตัว OpenAI แต่ที่ดูจากที่สอน คล้ายๆกันนะ

ภาพจาก OpenAI นะ สมัคร Azure OpenAI Service ไม่ได้

Mode / Quotas ซื่อของ Model ทั้งสองที่เหมือนกัน มีจุดต่างดังนี้

  • OpenAI เอา model-name ไปใช้ ref ใน app
  • Azure OpenAI ตั้งชื่อเล่นให้ model ได้ (Create New Deployment ซึ่งจะกำหนด Quotas ได้ และ ref Deployment Name ใน App เอา)

Playground - เอาไว้ให้ลองเล่น Evaluate ตัว Model และปรับ Tune มีหลายส่วน Chat / Assistant / Competition

  • ยกตัวอย่าง Chat
    - System Message - อะไรที่เราจะบังคับ คุม AI ให้ตอบ
    - Assistance Message - ที่บอกว่าฝั่ง App ต้องจำ
    - User สิ่งที่เราถามไป
    Prompt Engineering : Prompt Engineering - The Art and Science of Querying AI - YouTube ฟังจบแล้ว เหลือไปลองวิชากับ ChatGPT / GitHub Copliot Chat
  • ส่วน Parameter มีเกือบทุกอันใน Playground ปรับไ้ประมาณนี้
    - Max Response - คุมค่าใช้จ่าย ไม่ให้ตอบมากเกินไป (Token) ถ้ามันเกินมันเปิดให้ AI ตอบต่อนะ แบบใน Chat GPT ที่เราเจอมันให้กด Continue อันนี้ฝั่ง OpenAI - Maximum length
    - Temperature - ตัวทำให้ AI มี Idea ในการตอบ Creative ดูจากที่มันเคย Train เอาไว้ มาตอบ แต่มันมี Prob ของแต่ละอันให้เราดูนะ
    - Top P - Control Diversity
    - Frequency penalty ให้ตอบอยู่ใน Model
    - Presence penalty ให้ไปเรื่องใหม่
- แล้ว App หละ

ระหว่างฟังไปลองค้นดู NuGet แยกกันนะ NuGet Gallery | OpenAI / NuGet Gallery | Azure.AI.OpenAI และมางคำถามเดิมอีก ถ้าต่อหลายเจ้าต้องทำยังไง

- Flow AI Orchestration

มี Flow มา Guide ให้ และคำถามที่ผมตั้งไว้ จริงๆมันมีคนคิดมาแล้ว

  • AI มี Framework ให้เลย อย่างพวก LangChain (เห็นใน Feed บ่อยๆ แต่ไม่สนใจ) / Semantic Kernel (ของ MS เอง ใช้ C# / Python) / haystack มาช่วย และทำตัว Connector ต่อกับ Service ของ Cloud อย่าง Azure OpenAI / OpenAI เลย หรือใช้ของตัวเองก็ได้
  • Chain-of-Thought Prompting ฝั่ง App ต้องจำ State ด้วยนะ เพราะ Generative AI มันคิด แต่มันจะไม่จำว่ารอบที่แล้ว หรือก่อนหน้า มันตอบอะไรนะ ทาง App ต้องช่วย remind AI
  • ตอน Deploy ระหว่าง Frontend กับ AI End Point จะมีตัว AI Orchestrator จัดการงานประเภท อะไรที่ไม่ต้องการให้ไปทางอื่น หรือ เป็นอีก Layer ในการทำ Responsible AI หัวข้อถัดไป

ลอง Code และ

  • อันนี้เริ่มจาก Project มาลอง microsoft/chat-copilot (github.com) จะเป็นตัวอย่างของ AI Framework Semantic Kernel ผมลองกับ OpenAI และ Credit หายอย่างไว 555
  • Project ใหญ่ เห็นภาพใหญ่ดี น่าจะใช้พลังแงะนิดนึง แต่เริ่มจาก 0 แบบ Sematic Kernel แบบปีที่แล้วลองตามง่ายในส่วนที่ไม่ต่อ API นะ
    ปล. ผมดู Backend นะ แงะส่วนนั้นอย่างเดียว
- Resource

Responsible AI

ปัจจุบัน AI Everywhere ตอนนี้ Generative AI มาแรงสุดๆ ซึ่งเรียกว่่าตอนนี้มีหลายกระแส เช่น เอามาช่วยงานได้แล้วนะ ลดเวลาได้ 60-70% / Prompt Engineering ดังมาก / AI มันโผล่มาใน Software ที่เราใช้กันแล้ว

AI จุดเด่น ก็มีคนค้านเหมือนกัน อารมณ์แบบ SkyNet ครอบโลก เลยเป็นที่มาของการทำ Responsible AI ลด Risk จาก AI จากนั้น มาย้อนยุค AI

  • Rule Base (สั่ง) ช่วงปี 1956-1980 : ทำตามกฏ //นั่นใส่ AI ใน product ได้แล้ว Wow เลย
  • Machine Learning ช่วงปี 1980-2000 : หา Pattern เช่น แนะนำโปรโมชั่น
  • Perceive - Deep Learning ช่วงปี 2000-2015 : พวก Computer Vision / NLP
  • Generative AI (Create) 2015-now : Multi-Purpose ทำได้หลายอย่างแทนคนได้ General Purpose AI และทำได้หลายอย่าง
- AI Potential Risk
  • Risk
    - Data Sensitivity / Privacy ข้อมูลเราให้ไป มันจะเอาไปใช้เอง หรือป่าว
    - Explainable AI ทำไม AI ตอบแบบนี้ เพราะอะไร เอามาจากไหนนะ
  • Mitigate
    - Human in the Loop มีคนเข้ามากำกับ
    - High Quality Standard มีมาตรฐานกำกับ น่าเชื่อถือ ผ่านการเจาะ เช่น iBeta

ชอบ Quote นี้

AI Won’t Replace Humans — But Humans With AI Will Replace Humans Without AI

Ref: AI Won’t Replace Humans — But Humans With AI Will Replace Humans Without AI (hbr.org)

กลับมาที่ Generative AI

  • มันทำอะไรได้บ้าง ลดมาเยอะเลย
  • ตอนนี้เราจะเอา AI มาทำอะไร Augment(ช่วยคิด) / Automate / Change (ปรับการทำงานพฤติกรรมเลย)
  • เอามาใช้ในมุมไหน
    - Human Lead + AI Copilot
    - AI Lead + Human
    - AI Autopilot ให้มันทำแทนเลย ตอนแรกผมคิดเยอะเครื่องบืน สุดท้ายหุ่นยนต์ดูดฝุ่น หุ่นส่งข้าวในร้านอาหาร
- Generative AI Risk
  • Privacy / Security / Confidentiality ของหลุด ป้องกันยังไง
    - คิดก่อนป้อน ว่าข้อมูลมันเสี่ยงไหม หรือ ถ้ามันต้องใช้ Context ทำให้ข้อมูลมัน Anonymize มาสุด
    - Secure Your Access
    - Stay Update GDPR / PDPA บราๆ
  • เข้าใจว่า AI คำตอบมัน
    - stochastics ตอบแต่ละรอบไม่เหมือนกัน
    -hallucination หลอน มโน มั่นหน้าว่ามันถูก จริงๆผิด
  • Transparency of Context
    - Transparency Note ทำ Doc ของ model นี้ทำอะไรจะได้ไม่ใช้ผิด
    - ระวังเรื่อง prompt ได้ยินว่าที่ดีต้อง 21 คำถึงชัดเจน ยากมากที่ผมเองเนี่ยจะคิดถึง 21 ปกติถาม Copilot Chat ไม่น่าจะถึง 10
    - Deepfakes
    - Report Misuse ถ้าใช้ผิดต้องแจ้งให้ผู้ที่เกี่ยวข้องทราบ
- AI Tools On Azure
  • Azure ML (https://ml.azure.com/) ทำได้ 4 แบบ
    - Notebooks - Jupyter notebook
    - Automated ML
    - Designer ลากวาง มี Template
    - Prompt Flow เหมือนมี Session พรุ่งนี้
  • Azure AI Studio รวมทุก Service ไว้ตรงนี้ ตอนแรกฟังอันแรกก็สงสัย Form Recognizer ตอนนี้ Document Intelligent มันหายไปไหน สรุปหน้านี้รวมหมดครับ Azure Cognitive Service / Azure OpenAI Service / Azure ML
- Responsible AI
  • Responsible AI มีเขียน Blog ไว้ Microsoft AI principles
  • ทำไมต้องมี เพราะมีเคสเกิดขึ้น เช่น พนักงานเอาข้อมูลส่วนตัวองค์กรไปถาม AI เกิด Data Leak หรือ ตอบผิด อย่างมั่นใจ หรือ AI นี้แหละ Automate ไปแล้วเปิด Access Public เป็นต้น
- Responsible AI Development

ทาง MS เค้ามีมาให้ ว่าเราทำยังไงให้ AI มัน ทำให้โลกเราน่าอยู่ขึ้น Responsible AI

ใน Azure ตอน Demo จะมี Dashboard ของ Responsible AI มาให้เลยนะ โดยใน Development มีหลังจากลอง Model รอบแรกๆไปและต้องมาตรวจ

  • Identify
    - Error Analysis ดูว่าที่ AI บอกว่าผิด มาจากอะไร
    - Fairness Assessment
  • Diagnose
    - Model Interpretability - Explanations ว่ามันเอาอะไรมาตอบเรา เอามาจากส่วนไหน ดูจาก Global / Local (เฉพาะกลุ่ม)
    - Perturbation Explanations What-if Analysis ลองมาแก้ค่าคิดอีกมุม
    - Exploratory Data Analysis
  • Mitigate เมื่อไล่มาจนเจอปัญหา ที่ทำให้มันไม่สอดคล้องกับ Responsible AI ต้องแก้ยังไง เช่น หา Feature มาเพิ่ม / หา Data มาเพิ่ม เช่น ทำ Model จับใบหน้า แต่ไปอิงคนผิวขาวหมด ต้องมาเพิ่มคนผิวสีอื่นๆเข้ามา / หรือ Scope Model และแยกอีกตัวมา

จากนั้นทำซ้ำ ปรับ Tune และตัดสินใจไปว่ามันไม่ขัดกับ Responsible AI และมี Demo จากน้องๆมีหลาย Idea ถามกัน อย่าง House Price Classification ถามเยอะว่ามัน Transparency / Fairness ยัง แล้วแก้ปัญหา Geo-Location ยังไง เป็นต้น รวมถึงมี Idea อื่นๆ อย่าง Summaries ปัญหา ให้มันคิดหัวข้อ และหมวดให้ (อันนี้ชอบนะ เพราะเจอบ่อย หัวข้อกับเนื้อหาที่แบบหลุดโลกไปคนละทาง 555)

Ref: Assess AI systems and make data-driven decisions with Azure Machine Learning Responsible AI dashboard - Azure Machine Learning | Microsoft Learn

- Generative AI New Harm & Challenge
  • New Harms
    - Ungrounded outputs & errors
    - Jail Break + Prompt Injection
    - Harmful Content
    - Copyright AI คิด แล้วมันของใครหล่ะ
    - Manipulation and Human-like behavior
  • 4 Layer Protect/Mitigate AI จากเล็ก > ใหญ่
    - Model ทำ Transparency ของ Model ว่ามันมาจากไหน ทำอะไร
    - Meta Prompt - Grounding ทำ RAG
    - Safety System เช่น ตัวกรองคำหยาบ System Prompt
    - UX/UI ดักที่หน้าจอ เช่น ให้เลือกหมวดที่ต้องการเลย ไม่ให้ AI เดา

การวิเคราะห์ผลจาก Dashboard เรียกว่า เอ๊ะๆ จาก AI นี้มันให้อะไรมา และ AI Model ต้องมีประกาศ Transparency Note ด้วยนะ เรียกว่า Doc / Use-Case จะได้ใช้งานได้ถูกต้อง

นอกจาก AI บน Cloud เจ้าใหญ่ๆ ลองไปดู LLM ตัวเล็กมาข่วยในงานเล็ก ก็ เช่น ช่วย Guide จาก AI จะได้ลด Cost

AI Governance เป็น Role ใหม่ที่น่าสนใจ มาช่วยให้ Responsible AI

- Tools / Resource
  • Responsible for AI Developer ของ MS
    - Responsible AI Dashboard - คนทำ ตอนทำ AI บน Azure จะมีตัว Responsible AI ให้ Initial เลย
    - Azure Content Safety for Azure OpenAI - ChatBot
    - Azure ML Prompt flow
  • Responsible AI Toolbox เอาแสดงให้เห็นว่าผลลัพธ์ต่างๆ เช่น ตัวเลข / Text / Image / Vision ได้ ว่ามันมาจากไหน

Microsoft Defender for Cloud

- Why Cloud Security
  • Expand attack surface - Hybrid / Multi-Cloud
  • Agility - มีการ release บ่นตาม Requirement ที่เปลี่ยนไป อาจจะมีหลุด
  • Expandable Growth มีการใช้ workload บน Cloud มาขึ้น จากความสะดวก / AI ทำให้ต้องมาสนใจ
    - Identities - พวก user pass โดยจะเป็นเป้าหมายของ Attacker เอามาเพื่อแผงตัว
    - Cloud Resource
    - Machine

ก่อนจะ Deploy เราต้องเข้าใจก่อน ตรงนี้ Cloud Adoption Framework / Well-Architect เข้ามาช่วยในจุดนี้ อะไรที่ต้องกันบ้าง ตาม Angle เลยเยอะ + Product ที่มา Cover มัน

- Overview Microsoft Security
- Microsoft Defender for Cloud

แอบเห็นว่า MDC นอกจากมอง multi-cloud แล้ว มันขึ้นของ DevOps (CI/CD อย่าง GitHub / GitLab / Azure DevOps) ด้วย ตอนนี้น่าจะมี 3 หมวดและ

  • Cloud Security Posture Management (CSPM)
    - บอกตอนนี้ Resource มีสถานะอย่างไร
    - Recommendation เช่น VM เปิด public IP
    - Security Posture Score
    - Microsoft Cloud Security Benchmark บอกว่าระบบเรามีคะแนนเท่าไร้ตามเกณฑ์ MS
    - Regulatory Compliance บอกได้ว่า CSPM map ตาม Standard เราเป็นอะไร ออก Report
    - ตอนนี้จะมีเพิ่มตัว Contextual Risk Assessment Engine บอกว่าควรทำอะไรก่อน เอามาจากแผนได้ ตามความเสี่ยง
    CSPM Tier: foundation CSPM ฟรี / Defender CSPM เสียเงิน (Ref: Cloud Security Posture Management (CSPM) - Microsoft Defender for Cloud | Microsoft Learn)
  • Cloud Workload Protection (CWPP) แยกตาม Workload เสียเงินเพิ่ม เช่น
    - Defender for Azure SQL
    - Defender for App Service
    - Defender for Key Vault
    - Defender for storage เป็นต้น
    มันจะจับตามลักษณะเฉพาะของ Workload เช่น หา Unauthorize Access หรือมี Content แปลกๆ โผล่มาใน storage account
  • Cloud Native Application Protection Platform (CNAPP) ตรวจ DevOps จาก Code > Cloud แสดงว่ามันความเสี่ยงจาก Code เลย

โอ๊ะมี Interactive Lab ให้ลองกดด้วย Microsoft Defender for Cloud (cloudguides.com)

และมี AI สำหรับ Security จะได้เข้าธีม 2 อันก่อนหน้า คือ ตัว Microsoft Copilot for Securityเข้ามาเสริม โดยอันจะเน้น Scope ขององค์กรเท่านั้น และจะเชี่ยวด้าน Security เหมือน GitHub Copilot สำหรับ Coding

จบและของวันแรก

ต่อไปเป็นของวันที่ 2 และ โดยจะจัดที่ SCBX NEXT TECH โดยจะเป็น Session สั้นๆ 30 นาที จะไม่เหมือนวันแรกที่จะ 2-3 ชั่วโมงครับ

Deploy that Deno as a Function on Microsoft Azure

Deno - runtime javascript / typescript แบบพวก node จุดเด่นของมันเลย มัน Native typescript ทำให้ไม่ต้องแปลงจาก ts > js แบบเดิมใน node //เออจริง สงสารเครื่อง

ที่มาของ Deno มันล้อ Node คนสร้างคนเดียวกันทั้ง 2 ตัว คุณ (Ryan Dahl) โดยทำใน Base บน Engine V8 ทุก Browser รองรับอยู่ โดย Deno มาแก้ปัญหาเดิมใน Node เช่น

  • Not sticking with Promise พวก Callback hell
  • Security
  • The Build System (GYP) ไม่เคยยุ่งเลย
  • package.json มันพาเพื่อนมากด้วย node_modules
  • require(”module”) with / without extension เจอไฟล์ชื่อเดียวกัน คนละนามสกุลมันจะงง
  • index.js เป็น main เสมอ เป็นต้น

หรือจะไปดูเต็มๆได้จาก 10 Things I Regret About Node.js - Ryan Dahl - JSConf EU (youtube.com) ก็ได้นะ

กลับมาที่ Deno มันจุดใหญ่ปรับเหมือนกัน web platform standard / secure by default มันจะขอสิทธิก่อน เช่น Access File เป็นต้น / Native TypeScript (ไม่ต้องแปลงจาก ts > js) / ยังใช้งาน npm module ได้เลย

Deno มี framework fresh ซึ่งมีจุดเด่น JIT Render / Tiny & Fast / Client Side Render Support ทำ SEO ได้ / File Base Route Like Next.js / islands architecture

กลับมาฟาก Azure บ้าง โดย Azure PaaS มีหลายตัว ที่ Deploy Web ขึ้นได้ เช่น App Service / Azure Function / AKS / ACI แต่ใน Azure Function ตอนนี้ Deno Not Support By Default ท่าเอาตัวรอด 2 ทาง

ส่วนถ้าใช้ App Service สามารถใช้ท่า Container ซึ่ง Speaker ใช่ท่านี้เหมือนกัน โดย

  • build container (Arch: amd64) //ตอนนี้ Cloud ยังมีพวก ARM ไม่เยอะ ถ้าส่งจาก Apple Silicon อาจจะแตกได้
  • Push เข้า Azure Container Registry (ACR)
  • จากนั้นใน App Service ต้องกำหนด OS Linux และเลือก Container ใน ACR มา Deploy

Resource:

Microsoft & Dell: Powering the Future with AI and Hybrid Cloud

ปกติ AI จะเน้น Train บ่อย / บน Data Set เยอะๆ เพื่อให้ตัว AI มันมี Accuracy สูงๆ ที่นี้ Infra ของ Dell จะมาช่วย Edge Computing (On-Premise) ตามรูปแบบการใช้งานว่าเน้น Compute / Storage / AI เน้น GPU เป็นต้น โดยมีตัว APEX Cloud Platform ที่ปรับมาสำหรับ Azure และ Manage จาก Azure Arc

ฟังมาอันนึงพวก Server ขยับอะไรที ยิ่ง Low Level อันตรายจริง แตกได้เสมอ ปกติพวก Server มันมี Software / Firmware เฉพาะของมัน ปรับมาเฉพาะค่าย เช่น VMware / Azure ต้องระวังในการผสมของ

ดังนั้นตัว Dell APEX มาช่วยจัดการให้ Update (ให้เข้ากันได้มากสุด นึกถึงตอน 9arm เล่าเรื่อง Super Computer) / Patch Security / Scaling / Secure / OneFS (จัดการ Storage ให้ Efficiency สุด) / CloudIQ (AIOps)

สำหรับพวกรายละเอียด HW อันนี้สามารถเข้าไปดูได้ใน Live ครับ

Chatbot Magic: An overview of Prompt Flow in Azure AI Studio

ยุคนี้ App ที่ใช้ Generative AI ปุ่มจะน้อยมาก เออจริงๆ มีช่องให้ Chat อย่างเดียวเอง

การทำ App ที่ใช้ Generative AI จะเริ่มยังไง ภาพรวมจะเป็น

prompt > LLM > Complation

Use Case ประเมิน Call Center

อะไรที่ยากสำหรับการทำ App ที่ใช้ Generative AI

  • Prompt ยังไงถึงดีสุด หรือ เอา RAG มาช่วยตอนไหน
  • เค้ามี LLM Life Cycle มันมี Step มากมาย ทำแล้ว จะทำให้ prompt มันวิ่งไปหา Backend model อันไหนที่เหมาะสม ต้องการ Filter อะไรบ้างอย่างที่ไม่ควรออก

จากปัญหา / ความยากข้างต้น เลยเป็นที่มาของ Prompt Flow เป็น Low Code AI ใน Azure AL Studio (Preview) จะมาช่วยตรงจุดนี้

  • Explore บอกว่ามันมี Model อะไรบ้างนะ
  • Build
    - สร้าง project จะเอา plain หรือ เลือกจาก Template ใช้ประจำก็ได้ เช่น chat bot / Q&A
    - connection ต่อกับ Service อื่นๆ ถ้ามี
    - จากนั้นมากำหนด Flow อารมณ์แบบ Azure Logic App พวก Flow Chart บอก Scenario ที่เกิด และปรับแก้ Prompt จาก Template ซึ่งตรงนั้นปรับ Parameter ของ Model แบบใน Playground ที่ทำได้เลย
    - บอก Action ถัดไป จะเขียน Code ก็ได้ หรือ เอา Block ที่มีอยู่แล้วมาใช้ก็ได้
    - Test บอกว่าลองแล้ว ใช้ Token เท่าไหร่ ตอบอะไร และมีสามสหาย OBS (Log/Trace/Metric) ด้วย เอามา Evaluation วัดผลของ Model ด้วย

Demo: Helloworld / Shopping Assistant มาเน้น Shopping Assistant แล้วมันฉลาดยังไง

  • Lookup ลูกค้าเก่า / ใหม่ เคยมี Action อะไร ต้องถาม DB มีข้อมูล ตอบถูกใจลูกค้า จะได้มี First Impression ที่ดี
  • แปลงคำถาม Vector แล้วค้นหาได้ เชน การหารายละเอียดสินค้า / ตรวจ stock ที่มี ก่อนจะขาย
  • ทำ Safety ได้ บอก AI ตาม Responsible AI
  • มีการ Evaluation วัดผลของ Model ด้วย

ตอนนี้ Demo Prompt Flow ยังใช้ Azure อยู่ เหมือนได้ยินว่าวันที่ 1 May 2024 จะมีแบบใช้ Local หมดเลย

Resource: teerasej | Instagram, Facebook | Linktree

Deploy an AI model on Azure Kubernetes Service with the AI toolchain operator

Kaito เป็น operator บน K8S ที่มาช่วยให้การ Deploy Open-Source Model Falcon / llama2 ได้ง่ายขึ้น มันช่วยตั้งค่า และ Scale ได้ง่ายขึ้น ตาม Architecture ตามที่เราได้กำหนด Preset เอาไว้ (ไฟล์ .yaml)

ตัว preset option จะมีหมดว่าต่อ Internet หรือ Private ลองดูได้เลย kaito/examples/inference at main · Azure/kaito (github.com

ตอนลงสิทธิ Contribute ให้กับ Service Account มันจะได้จัดการ GPU ทำ federated identity credential ใน Reference มีนะ Step นะ

ก่อน Deploy ควรจะขอ Resourceเพิ่มก่อน เพราะใช้ vGPU เยอะ ระดับนึง

Resource :

Build intelligent apps using Azure AI Services and Machine Learning with Apache Spark

Basic AI + Responsible AI อันนี้จะอยู่หัวข้อ Responsible AI ที่จดใน Blog ลองกลับไปอ่านกันได้ครับ สำหรับในหัวข้อนี้ เล่าถึงการนำ Azure Cognitive Service + Apache Spark มาใช้งาน

แล้วที่นี้มาของ Use-Case Thermal Image Classifier with Computer Vision

  • Hardware
    - เมื่อก่อน MS จะมีตัว Azure Kinect DK ผมมองอุปกรณ์แทนตาเราเลย และอาจจะเก่งกว่าด้วย จับ Thermal และมาสร้างภาพเสมือน 3 มิติ เหมือนของ pilot แสดง Idea จากนั้นส่งต่อให้ Partner //คล้ายกับ intel nuc ติดตลาด ให้เจ้่าอืนมาทำราคาจะได้ถูกลง แต่ Azure Kinect DK ลอง Search มีขายใน shopee ด้วย
    - FLUKE Thermal Imaging Camera จับ Thermal แบบละเอียด
    - Fluke iSee™ - TC01A | Fluke - ต่อมือถือ
    มีตัวแทนในไทยด้วย
  • Software จัดตาม Stack จากโจทย Thermal Image Classifier จะเป็นภาพจาก Hardware

อันนี้ ถ้าเข้าใจไม่ผิด อาจจะมีภาคต่อ

Resource: sharing_slides/07_IntelligentApp_AzureAI.pdf at main · chrnthnkmutt/sharing_slides (github.com)

Azure Data Factory for Data Workers

Evolving Approach of Data Analytics

  • Traditional: ทำ Extract Transform Load ลง Data warehouse โดยเน้นทำงานสำหรับ Data Analytics / BI Tools
  • Now: ทำ Ingest (Extract Load) จากนั้นค่อย Transform Load เพื่อให้ ML / App ใช้งาน

ตอนนี้มี Tools อะไรบ้างเทียบ 2 ตัว Azure Data Factory / Microsoft Fabric

  • Azure Data Factory (ADF) - งานเน้นไปในส่วนเตรียม Data ทำ ETL / ELT ให้ Service อื่นๆเอาไปใช้ต่อฅ
    รอบนี้ ADF มีตัว Change Data Capture มาใหม่และ
Ref: Introduction to Azure Data Factory - Azure Data Factory | Microsoft Learn
  • Microsoft Fabric - Scope มันกว้างกว่า ADF เป็น Data Analytics Solution โดยมีส่วนการทำเอาข้อมูลเข้า Fabric Data Factory มีรูปแบบเด่น
    - Data Flow Power Query - Transform Data กำหนดปลายทางได้เป็น Azure SQL / Lake House / Azure Data Explorer (KQL) / Data Warehouse
    - Pipeline - เอา Activity ต่างๆมาร้อยเรียง อันนี้สามารถกำหนดให้เขียน Code ใน Notebook เผื่อในเคส Advance ได้

จากนั้นเป็น Demo ลองเล่นข้อมูล Azure Data Factory / Microsoft Fabric Data Factory ในส่วนของการจัดการข้อมูล

RECAP: จุดที่ Azure Data Factory กับ Microsoft Fabric ต่างกัน

Building a RAG System with Azure OpenAI, Hugging Face, and MongoDB Atlas

Retrieval Augmented Generation (RAG) - แนวคิดเอา Model ไปใช้กับ Data ภายนอก เอาสมองไปตอบกับข้อมูลใหม่ๆ มี

  • Query Processing - user chat
  • Document Retrieval - ดึงข้อมูล Data ภายนอก
  • Information Integration
  • Response Generation

RAG Use Case: ตัว Assistance เอาข้อมูลจาก Local ที่มี เช่น การท่องเที่ยวมองลองตอบแนะนำ User

Atlas Vector Search

  • Vector Search แปลงที่เราสื่อสาร มาเป็นตัวเลข Vector เพือเอาไป Search ต่อ โดยใช้ Engine ของ Apache Lucene ซึ่งคำตอบที่ได้จาก Vector Search จะเป็นตัว similarity (%ความคล้าย)
  • similarity มี 3 อัลกอริทึมให้เลือก พวก Cosine / Euclidean / dotProduct (นึงถึงตอนเรียน information retrieval เลย)
  • ขนาด Vector ที่รับ 4096 ตัว ถ้าใช้เยอะ มันใช้ Compute สูง พยายามกำหนดให้พอดีกับ Search Term

Azure OpenAI Service - ในหัวข้อแรกมีจดละเอียดไว้ครับ แต่มีภาพสรุปแปะไว้

Demo มาดูว่าร้อยเรียงยังไง

  • Data Set Hugging Face เอาข้อมูลตัวอย่างมา
  • Azure Open AI Service + Code ingest_data มาแปลง Data Set มาเป็น Vector ใข้ตัว AzureOpenAIEmbeddings แล้วเอามาเก็บลง MongoDB Atlas
  • จากนั้นลองใช้ Feature Vector Search + Chatbot Lib gradio + AzureChatOpenAI + AzureOpenAIEmbeddings ในการลองหาข้อมูล และตอบออกมา
  • Deploy ทำเอา Container ขึ้น Azure App Service ขึ้นมา

Resource: ninefyi/glob-az-th-24: Global Azure Thailand 2024 (github.com) //แอบไปส่องระหว่าง Talk เลย

AI & LLM Queries with Databricks SQL on Microsoft Azure

Generative AI มีหลาย use-case เลยนะ สามารถดูจากหัวข้อ Azure OpenAI Service + Responsible AI ได้เลย

AI Maturity ไล่ระดับความยากขึ้นไปเรื่อยๆ ที่มาคู่กับตัว Data มันก็สำคัญ เช่นพวก Excel จากเล็กๆ ไปถึง Data warehouse ซึ่ง AI Maturity มี 4 อัน ได้แก่

  • Prompt Engineering
  • RAG
  • Fine Tune Open-Source GenAI Models
  • Pre-Train your Own Model - From Scratch

Data Modeling For the Lake House - การสกัดออกมาให้ดีในแต่ละ Level

แล้ว Databrick คือ อะไร ?

Databricks บริษัทด้าน Data, Analytics และล่าสุด AI โดยเจ้าเดียวกับที่ Contribute Apache Spark / DBRX / ML FLow / Delta Lake นอกจากนี้ยังมีการนำ Product ของตัวเองเป็น First Level Service ของ Cloud เจ้าดังต่างๆได้เลย Deploy ได้ตรงไม่ยุ่งยาก และสามารถเชื่อมกับ Source Data ของ Cloud ได้สะดวก ทำหน้าที่ได้ทั้ง Transform / Query Process / Serve

ที่นีจะ Focus Databrick SQL มันเน้นใช้ SQL เป็นหลัก โดยมี Feature AI เจ๋งๆ

  • AI_Query เป็น Build Function ให้เราลองทำ และมี Playground ให้เราลองเทียบผลของแต่ละ Model SQL ยิงไปหา Model
  • ai_analyze_sentiment ถามได้เลยเว้ยย
  • ai_gen โหดเกิ้นนนน Gen Response ตาม Prompt ได้เลย

Demo Sentimental Analysis from user prompt จากนั้นตอบใช้ AI ช่วยแนะนำให้ User Happy

  • Scenario
  • Implement

Resource: AI & LLM Queries with Databricks SQL on Microsoft Azure - Fukiat Julnual - Medium

Microsoft Sentinel Simplified: Content Hub Spree & "Incident Tasks" like a Boss

Microsoft Sentinel - Free Trial 1 month และมีรูปแบบการคิดเงินที่หลายหลาย มันดีไม่ดีเนี่ย 45555

Microsoft Sentinel ก่อนใช่รวมทุกอย่างที่ Log Analytic Workspace แล้วเอาข้อมูลใน Lake Process ในด้านต่างๆ Sentinel 1 ในนั้นแหละ

ใน Sentinel จากมี Content Hub รวม Template ในด้านต่างๆ เตรียมจากหลายๆ use-case ที่ azure เคยเจอ เป็น Out-Of-The-Box เช่น พวก workbook / analytic rule / query อีกหลายอัน

(ของใหม่) ถ้าทดสอบ Incident มาให้ซ้อมรับมือทำยังไง > เสกมาเองเลย เพื่อให้ซ้อมเรียนรู้ Demo แต่เราต้องตั้ง Rule ให้มันก่อนนะ บางอันมี Default ไว้นะ

จากนั้นเห็น Alert ต้องคัดกรอง Triage) อาจจะทำ Play Book มาแก้ หรือ Assign ให้ทีมอื่นๆ ซึ่งการ Assign

  • เมื่อก่อน Comment
  • ตอนนี้ มี Workflow Assign ทำ Task ระบุคนให้ชัดเจนเลย คุย MS Team เลย

Content Lab: SC-200 Lab Simulation - Connect data to Microsoft Sentinel using data connectors (cloudguides.com)

Resource: Slide

Recap ปีนี้เรียกว่าจะเขียนหัวข้อผิด จาก Global Azure เป็น Globla Azure AI ได้เลย 555 และสังขยาอร่อยม๊ากกกกกกก ลองหาพี่กัดมาและ [รีวิว] ร้าน ดีเค เบเกอรี่ (wongnai.com)

Live Day 2

Blog ท่านอื่นๆ

Reference

Discover more from naiwaen@DebuggingSoft

Subscribe to get the latest posts to your email.

Tags

Related Posts