จดๆจาก Talk ถอดรหัสเอไอผ่านมุมมอง F1 กับพี่ชัยผู้อยู่ในทีมวิจัยที่สร้างโมเดล Phi-3 และ AI ใน Windows

สำหรับงานนี้ผมมาสายครับ ติดเคส เลยไปสายประมาณ 20 นาทีครับ สำหรับที่จุดมาแยกเป็นหัวข้อย่อยๆได้ประมาณนี้ครับ

คำถามแรก งานที่ speaker ทำ

มีหลายส่วนเลย ตั้งแต่ดู Product CodeName Chicago ดูแลเรื่องการ Support ภาษาไทยในนั้นด้วยนะ ใช่แล้วครับตัวนั้น Windows 95 แหละ และดูตัว Windows มาเรื่อยๆ พวก HW SW บราๆ

ต่อมาอีกงานทำ AI Platform โดย GPU มันมี Graphic Block (Math + Render) / Compute Block (สำหรับคำนวณ Math) ดังนั้นคนทั่วไปที่ใช้งาน พวก Game / Graphic Designer จะไปในส่วน graphic block

ที่ทำ platform ขึ้นมา ทีม f1 เพราะตอนนั้นด้าน AI มีตัวเดวนะ tensor flow ซึ่งตอนที่เริ่ม AI ใน Microsoft มี 3 คนเองนะ ทำ platform มีด้าน Low Level HW + AI และก็มีการตกลงสร้าง Open Standard กลางสำหรับ AI อย่างตัว onnx กับทาง Meta (Facebook) โดยทำมา 6 ปี จนมีรูปร่าง ถึงจุดที่ scale

Key Success: ใน Microsoft ใช้หลัก growth mindset นะ เรียนรู้ และยอมรับความล้มเหลว และทำงานกับเป็นทีม

10x programmer คนที่ทำได้เทพๆ มี แต่น้อย เราทำไมได้ ต้องหาทีมมาร่วมสร้างนนวัตกรรม

สายงานด้าน IT อยากไปทำงาน ตปท. แล้วไปซิลิคอนวัลเลย์ มันยากไหม แล้วจำเป็นต้องใช้ทุนรัฐไหม

ทุนมีทุกแบบนะ ไม่ได้จำกัดเฉพาะของรัฐบาล ตอนผมฟังแล้วนึกถึง Clip ของ 9Arm ทุนรัฐบาล (ดูก่อนเซ็น) (youtube.com) //ผมเองไม่ค่อยรู้ เพิ่งรู้จาก 9arm นี่แหละ เสียดายเหมือนกัน

นอกจากนี้หาทุนไปเรียนโท และทุนจากมหาวิทยาลัยที่เราเรียน เป็น TA + ทำงานงาน Dev / Consult และต่อ ป. เอกได้ครับ

ก่อนจะไป โดยเราต้องมั่นใจว่า

• ว่าเราอยากทำอะไร ชอบไหมนะ ในสายที่ได้ทุน เช่น รับทุนจบมาต้องเป็น อาจารย์ อย่าฝืนตัวเอง
• ข้อผูกมัดของทุนนั้นๆ
• อย่าฝืนตัวเอง เช่น ถ้าชอบ เราต้องมากกว่าชอบ เข้าใจมัน และ ทำได้ด้วยนะ
• ฝึก Skill พัฒนาตัวเอง ตามเส้นทางฝัน และเงื่อนไข เช่น ภาษา / Tech บราๆ
• ทำแล้ว อย่าลืมบันทึกสิ่งที่ทำด้วยนะ เช่นใน GitHub ทำ profile นะ คนสัมภาษณ์เห็นว่าเรามีของ จน Blog

Why do you want this job - มันต้องมองมากกว่า coding หาว่าเราทำอะไรได้นะ เสริมกับ job desc โลกไม่ได้ง่าย คุณต้องเตรียมตัว

เรื่องของ remote work ?

Remote work เป็นประเด็นที่เค้าถกเถียงกัน ว่าควรไหม ตอนโควิตมันเป็น fight บังคับ เลี่ยงไม่ได้ แต่จะมีปัญหาการมีปฏิสัมพันธ์การภายในทีม และคนที่ต้อง Deal ด้วย

ดังนั้น อะไรจะ Remote work ขึ้นกับเนิ้องาน และความเชี่ยวชาญของเรา โดยการมีปฏิสัมพันธ์ จะดีกว่านะ เพื่อให้เข้าขาในการทำงานนะ หาที่จะไปแนวๆ Hybrid Work และอีกประเด็นของงาน Remote ที่ต้องตกลงให้ชัดแต่แรก เรื่อง timezone จะได้ประชุมได้ / ตกลงกัน ปรึกษากันได้

อยากไปทำงานกับฝ่าย F1 ต้องมีความสามารถยังไง ?

AI ใน Microsoft มีหลายแแบบ

• Research - ทำ model มีคุณภาพ
• Platform - เอา model กระจายให้ใช้ได้ ทุก hw เช่น windows มี hw ยิบย่อย มันไม่มี lib ให้ใช้ ถัดลงไปพวก hw ต้องมา optimize ส่วนนี้
• Applied

Skill

• System level programming เช่น c / c++ งานเรามันจะเป็น Low Level อีกนิด HW แล้ว
• Hardware Architecture
• มีสติ เพราะงานเรามันส่วน Core OS / Platform ถ้ามีข้อผิดพลาดขึ้นมาจะกระทบรุนแรง

อะไรที่ยาก ?

รับมือกับ requirementที่เปลี่ยนไป ai เปลี่ยนไปไวด้วย แต่ต้องเก็บ km / learn ที่ได้สะสมไว้ แล้วเอามาใช้ในเวลาที่ต้องการ

ทุก Tech Company ไม่ว่าวันใดวันนึง ต้องมีความผิดพลาด แต่เราต้องทำต่อไปได้ ทุกความสำเร็จ เราต้องล้มลุกมามากกว่า 1 รอบ อาจจะ 10 แล้วสำเร็จ 1 รอบ

อย่าง chatGPT ver แรก คนข้างใน มองว่าไม่พร้อม แต่น้อวมี v1 และนำ feedback มาให้เกิด continuous development

Microsoft มีจุดเด่น เราโตได้เองนะ Specialist ก็ไปทาง Specialist เลย สำหรับ CEO 3 คน style ไม่เหมือนกันนะ

• Bill Gate - Founder Engineer
• Steve Ballmer - Business
• satya nadella - Engineer + Buinesss (โท)+ เข้าใจ culture องค์กร

ไม่จำเป็นต้อง Top U มาสมัคร เคสนี้คุณชัยได้ ยกตัวอย่างว่าเด็กจากมหาวิทยาลัยที่ไม่ใช่อย่าง digipen (แยกมาจาก Lab ของ Nintendo) มีเด็กเก่งๆเข้ามานะ

Phi3 ทำไมต้องมี ?

ทีม research ดู LLM มองว่า Quality ของ Data สำคัญกว่าปริมาณข้อมูลนะ AI เหมือนเด็ก ถ้าเทรนไม่ดี รู้เยอะ แต่อาจะไม่ถูกได้ เลยมองว่า เอา Model LLM มาแหละ เน้นเทรน domain เล็กได้ลดขนาด Parameter ลง ตอนนี้จะ Parameter 7B 16-bit Floating Point weight

ทีม platform ทำ quantization โดยที่ quantization เป็นคำกลางๆ แนวคิดแบบเดียวจาก Analog > Digital หา Path ของ Graph / Param แล้ว Optimize มัน ซึ่งมี Algorithm หลายแบบทำงานนี้ เพื่อบีบจาก 16-bit Floating Point เหลือ 4-bit Floating Point แต่ประสิทธิภาพเท่าเดิม และใช้ ram น้อยลง เดิม 7 GBi เหลือ 2 GBi ที่เหมาะสมกับ Edge / Local มากขึ้น

Local AI Microsoft ก็คิดไว้นะ ผมฟังแล้วแสดงว่านำเสนอได้แย่กว่า AI อีกค่าย มันตอบ scenario ที่อยากให้ทำงาน Local เน้นงานส่วน privacy / critical (self driving car ให้ไปถาม cloud อาจจะตัดสินใจไม่ทันนะ หรือ ถ้าเนตหลุดไป แล้วรถจะทำยังไง)

ตอนนี้มาตรฐาน pc ใหม่ให้เพิ่ม npu จาก copilot + pc แยกงาน math (ai) และตัวมันเองกินไฟน้อยกว่า gpu ด้วยนะ แต่มีเงื่อนไขตัว npu รับ แล้วต้องเอางานออกมานะ ถ้างาน Scale ใหญ่ๆ พวก Env รอบข้างนี้แหละตัวกินไฟ แบบมีข่าวว่า Meta จะสร้างโรงไฟฟ้านิวเคลียร์ให้กับ AI Server

Quantization มีเทคนิคอื่นๆไหม

ยังมีนะ จริงแล้ว quantization เป็นคำกลาง กลุ่มของ Algorithm คล้ายพวก Zip มันมีหลายแบบ อาทิ เช่น Activation-Aware Quantization (AWQ) / Generalized Post-Training Quantization (GPTQ) / GPT-Generated Unified Format  (GGUF) อันนี้เหมือนมาแต่ Code เลยใน llama.cpp หลาย Tools มีเอาไป Apply ใช้

นอกจากนี้ปัญหานึงของ LLM ตัว Matrix มันเยอะ ยิ่งซ้อนกันเยอะ ตัวข้างใน Data มันเยอะ เลยทำให้ใหญ่ และช้า ตอนนี้เลยเป็น Idea ลดปริมาณข้อมัลที่วิ่งในนั้น Quantization เป็นแบบนั้น นอกจากนี้แล้วยังมีปัญหาในส่วนของ HW ตัว LLM ชอบ Memory ที่ Bandwidth เยอะๆ ซึ่งตอนนี้ยังคอขวดอยู่ รวมถึง storage ด้วย

Ref: Quantization with DirectML helps you scale further on Windows - Windows Developer Blog / Quantization (huggingface.co)

ทำไม paper ทุกอันไม่ออกมาเป็น product

มันลองมาหมด แต่มันยังไม่ Support ในทุกเคส เลยไม่ได้สร้างออกมาจริง มุมมองของ Research + มุมมอง Business ต้องมา Apply กันได้ ผมเข้าใจแบบนี้นะ อย่างงานที่คุณชัยทำบางส่วนมีลงมาใช้จริงในตัว Windows Copilot Runtime (WCR) นะ แต่มันมีอีกทีม เลือก Shift Feature เข้ามา

Programming on NPU เป็นอย่างไร มีอะไรที่ท้าทาย

การ program GPU ง่ายกว่า NPU ถ้าใช้ NPU ตัว platform ต้องมา slice เตรียม data ให้เหมาะสม เพราะมันใช้ตัว Internal Memory ของ NPU เองได้ มาแล้วต้องเตรียมตัวรับด้วย ว่าจะเอาไปทำอะไรต่อ อ๋อที่บอกว่าคอขวด NPU ไวกว่า Memory

Prompt Engineering ยัง work ไหม กับงานและอนาคต

ยังมีอยู่ แต่ปรับเปลี่ยนไปตามเวลา อนาคต LLM มันเรียกว่า จะเป็น Gateway ไปคุย model ย่อยๆ ทำงาน และให้มันตัดสินให้ LLM มองเป็นคนสั่งการตัดสินใจอีกที ระหว่างนั้นถ้าข้อมูลรอการตัดสินใจจะพัก vector db

Prompt Engineering = Programming ของ LLM ภาษาคน Natural Language

AI จะครองโลกไหม

ยัง ขนาดคนที่คิด Transformer Model ยังรู้สึกว่ายังไม่ไปถึง Artificial General Intelligence (AGI) AI ที่คิดได้เหมือนมนุษย์ จริงๆเค้าอยากตัว Google Transalate มันทำงานได้ดีขึ้น แต่ถ้า HW ไปถึงแนวคิด LLM ยังไปได้นะ

LLM เรียกว่า เกิด จาก transformer + HW (GPU/ NPU) มาพอดี

แต่อยากให้มีแนวคิดอื่นๆมาเสริมด้วย ตอนนี้เราอยู่ Tranformer มานานพอแล้ว

ทำไมชิป AI มีหลายค่าย

OpenAI มีทำ Triton - high level languae compile เป็น intermediate representation (IR) ได้กับเครื่อง a100 (nvidia) ที่เดิมต้องใช้ CUDA พอมีภาษากลางทุกค่ายเลยมาทำตัว adapter ให้เค้ากับ HW ตัวเองได้

เคส Pytouch - เป็น lib แบบ tensor ของ Google แต่ขอ Feature แล้วได้ช้า OpenAI เลือก Pytouch + แก้ พอ Feed กลับไปต้นน้ำ Community เลยเติบโต

AI เราต้องกลัวไหม มันจะมาแย่งานเราไหม

คล้ายกับทุก Talk

• AI เราหนีไม่พ้น อยู่ที่เรียนรู้ ยอมรับมัน AI มาแบบยุค internet
• AI ช่วยเติม productivity มากขึ้นนะ speaker ยกเคส law firm ที่เอา ai ไปใช้ ไม่ได้ลดคนออก

พอมีเครื่องมีช่วย แต่เราต้องตรวจได้ ในมุม coding เหมือนกัน

ตอนนี้ไม่ให้ AI เอารูปภาพไป Gen ทำได้ไหม

มีนะ เช่น ทำ label บอกไม่ให้มันเอาไปเรียนรู้

มี Idea app ที่เอา AI แนะนำไหม

• AI Gen ภาพลวดลายได้นะ ช่วยที่มัน hallucination แต่คนตรวจสอบ ก่อนเอาไปใช้จริง
• Netflix ใช้ AI recommendation มานานแล้ว แต่เราไม่รู้

AI ทำให้เกิด challeger เยอะ อย่าง adobe เจ้าตลาด ก็โดนหลายๆเจ้าขึ้นมาแข่งขันได้นะ อย่าง Figma เลยต้องมาปรับตัว

• AI อนาคตจะเป็นยุค agent มากกว่าแค่ถามตอบ มันทำให้เลย พวก robotic มาแน่ๆนะ แนวคิดนี้ Agentice AI + Digital twin
  - เดิม AI ทำจริง เช่น ขึ้นบันได ต้องพาขึ้นจริง
  - ตอนนี้แบบ simulation ใน HW โผล่มาหุ่น เดินได้เลยกับ env จริง คุณชัยแกเล่าว่า Nvidia โชคเคสนี้ ใน Hall ให้มันเรียน simulation พร้อมแล้วก็ปล่อยเดินเลย
• ส่วนที่ยาก reinforcement learning - reward function ให้ gpt เขียน เอา AI มาสร้าง AI อันนี้เป็นตัวอย่างอีกงานของ AI

Prompt Hacking ตอนนี้มีการป้องกันแล้วยัง

มันไม่มีจบ ปรับตามเทคนิคใหม่ๆ จาก chat-gpt ช่วงแรกๆ มีรูโหว่นะ เช่น มันตอบครองโลก (จริงๆมันไปเรียนจากนิยายต่างๆมาตอบ) หรือ สร้าง vm

ทำไม AI ไทยพัฒนาได้ช้า

จากคุย disscussion ในงานเสวนา เราเน้นซื้อ และเป็น user ไม่ใช้แนวสร้างสรรค์ research ทำใช้เองนะ

AI มีเอาใช้ด้าน security ไหม เช่น หา แก้ zero day

มีอยู่นะ ผมเห็นใน Blognone มีข่าวด้วยนะ Project Zero โชว์เฟรมเวิร์ค Naptime ปล่อยให้ LLM หาช่องโหว่ซอฟต์แวร์ระหว่างนักวิจัยหนีไปงีบ

ทำไม tech ดังๆ ต้องเกิดที่ อเมริกา

• ไม่เชิงอเมริกานะ ที่ EU / Canada มีเหมือนกันนะ อย่าง
  - Open AI อยู่อเมริกา แต่ทำร่วมจาก lab หลายๆที่นะ
  - Paper Tranformaer Model คนคิดมาจากหลายชาติ ไม่ใช้อเมริกา
• ที่อเมริกา ซิลิคอนวัลเลย์ เมืองปกตินะ เรียกว่ามีกฏของแรวดึงดูดนะ คนที่ทำ domain เดียวกัน อยู่ด้วยกัน dev / AI Researcher/ investor พอคนมาเยอะ พอมีคนทำสำเร็จมีแรงดึงดูดนะ หลายเมืองก็เป็น Seattle Montreal Redmond แบบนั้น

องค์กรต้องเริ่มก่อนด้วย รู้ก่อน customer แบบเคส AI + Cloud ที่คุณ satya nadella ไม่มีใครรู้นะว่าจัดไว้แบบนี้จะ work ไหม ?

ส่วน Idea มาจาก ผบห ระดับกลางๆนะ แต่ ผบห ระดับสูงต้องรับฟัง ต้องลงเงินใน R&D ด้วย หลายองค์กรในไทยไม่ได้เน้นจุดนี้ ไม่เกิดด้วย ยอมเจ็บ ทำแบบไม่รู้ใครใช้ อย่างเคสนี้ AI Microsoft ทำ Platform มาสักพักใหญ่ จนมีลูกค้า adobe มาถามมีไหม เลยขายเลย

Reference