Prepare to develop AI solutions on Azure
- Define artificial intelligence
- Visual perception - The ability to use computer vision
- Text analysis and conversation - The ability to use natural language processing (NLP)
- Speech AI agents (usually referred to as bots)
- Decision making ex. recognizing anomalies in sensor
- Understand AI-related terms
AI Engineers
- Model training and inferencing (เอา Model ไปลองใช้งาน โดยเอา Data ที่มี feature value ใส่เข้าไป และรอผลตอบกลับมา)
- Probability and confidence scores
- Responsible AI and ethics
responsible AI: Fairness / Reliability and safety / Privacy and security / Inclusiveness / Transparency / Accountability
Product Azure Machine Learning (Data scientists / SW Eng.- ใช้ Automate ML / SDK / Endpoint)
- Automated machine learning - เสียเงินเยอะ ลองหลาย Model ให้เลือกตัวที่ดีสุดให้
- Azure Machine Learning designer - no-code development
- Data and compute management - Cloud-based data storage and compute resources
- Pipelines - define pipelines to orchestrate model training, deployment, and management tasks.
Capabilities of Azure AI Services
| Natural language processing | Knowledge mining and document intelligence | Computer vision | Decision support | Generative AI |
|---|---|---|---|---|
| Text analysis | AI Search | Image analysis | Content safety | Azure OpenAI Service |
| Question answering | Document Intelligence | Video analysis | Content moderation | DALL-E image generation |
| Language understanding | Custom Document Intelligence | Image classification | ||
| Translation | Custom skills | Object detection | ||
| Named entity recognition | Facial analysis | |||
| Custom text classification | Optical character recognition | |||
| Speech | Azure AI Video Indexer | |||
| Speech Translation |
Azure OpenAI Service is an Azure AI service for deploying, utilizing, and fine-tuning models developed by OpenAI.
Azure AI Search is an Applied AI Service that enables you to ingest and index data from various sources, and search the index to find, filter, and sort information extracted from the source data.
insights extracted by your enrichment pipeline can be persisted in a knowledge store for further analysis or integration
Create and consume Azure AI services
AI Service ตามประสาทสัมผัสมุนษย์ จะมีดังนนี้
| Language | Speech | Vision | Decision |
|---|---|---|---|
| Azure AI Language | Azure AI Speech | Azure AI Computer Vision | Azure AI Anomaly Detector |
| Azure AI Translator | Azure AI Custom Vision | Azure AI Content Moderator | |
| Azure AI Face | Azure AI Personalizer |
นอกจากนี้ยังมี Service ที่เราใช้งานประจำ เช่น
- Azure AI Document Intelligence - ตัวเก่า Form Recognizers เอามาช่วย Extract ข้อมูลจาก PDF
- Azure AI Immersive Reader - ตัวช่วยอ่านจอ
- Azure Cognitive Search - Service for extract insights from data and documents.
- Azure OpenAI
Provision an Azure AI services resource
- Multi-service resource - รวมทุก Resource
- Single-service resource - สร้างได้ที่ละอัน แต่มี Tier Free ให้บาง Service
ควรแยก Resource สำหรับ Training / Prediction ออกจากกันจะได้แยกบิล
Azure AI services provide REST API มาให้ ตอนใช้ใส่
- The endpoint URI
- A subscription key - ปกติตอนสร้าง Resource มันจะสร้างมาให้ 2 Key เลย สำหรับ Access ถ้าหลุดไป Regenerate ให้ และใช้อีกอัน จะได้ไม่ down
- The resource location - determines the Azure data center
ถ้าไม่อยากสร้าง JSON Request เราสามารถใช้ SDK มาช่วยได้ มี C# / Java / Go / JavaScript / Python
Lab: Exercise - Use Azure AI services - Training | Microsoft Learn
Knowledge check Knowledge check - Training | Microsoft Learn
Secure Azure AI services
- Consider authentication
- Regenerate keys มี 2 key กันหลุด
- Protect keys with Azure Key Vault
- Token-based authentication แล้วแต่ AI Service มีให้ ถ้าใช้ SDK จะมี Handle ตรงนี้
- Authenticate using service principals
- create a custom subdomain
- สร้าง AI Resource บน Subdomain นั้นๆ
- Assign a role to a service principal** - Managed identities มีแบบ System / User
ดูเพิ่มเติม Consider authentication - Training | Microsoft Learn
- Implement network security
บาง AI Service ในเมนู Network จะมีกำหนด IP ให้คุมการเข้าถึงได้ อารมณ์แบบ NSG
Lab: Exercise - Manage Azure AI Services Security - Training | Microsoft Learn
Knowledge check : Knowledge check - Training | Microsoft Learn
Monitor Azure AI services
Monitor cost
- Plan costs using the Azure Pricing Calculator
- View costs - ดูจาก subscription by selecting the Cost analysis
filter > a service name of Cognitive Services.
Plan and manage costs for Azure AI Studio - Azure AI Studio | Microsoft Learn
Create alerts
- AI Resource Monitoring > Alert แล้วตั้ง Alert Rule (scope/condition/actions)
View metrics
- AI Resource Monitoring > Metric และสามารถเพิ่ม Chart ลงใน Dashboard
Manage diagnostic logging
- resource Azure Log Analytic / Azure Storage (For Archive)
- diagnostic settings ของ AI Resource เอาไว้คุมว่า จะส่งอะไรบ้าง Retention เท่าไหร่ collect telemetry setting
- View log data in Azure Log Analytics - KQL
Exercise: Exercise - Monitor Azure AI services - Training | Microsoft Learn
Knowledge check : Knowledge check - Training | Microsoft Learn
Deploy Azure AI services in containers
Understand containers
- container ช่วยให้ app isolate ได้ง่ายขึ้น + different configuration
- Container deployment ตอนนี้ Docker Server / ACI / AKS
Azure AI services container images
- พวก Container ของแต่ละ Service ตามนี้ Use Azure AI services containers - Training | Microsoft Learn
- Azure AI services container configuration
When you deploy an Azure AI services container image to a host, you must specify three settings.
| Setting | Description |
|---|---|
| ApiKey | Key from your deployed Azure AI service; used for billing. |
| Billing | Endpoint URI from your deployed Azure AI service; used for billing. |
| Eula | Value of accept to state you accept the license for the container. |
Lab Exercise - Use a container อันนี้น่าเล่น
Reference
Discover more from naiwaen@DebuggingSoft
Subscribe to get the latest posts sent to your email.
