The Software Factory + The Future
အဓိက ဦးတည်ချက်အလိုအလျောက် လည်ပတ်ပြီး ကိုယ့်ကိုယ်ကိုယ် ပြန်လည်ကောင်းမွန်အောင် လုပ်ဆောင်နိုင်တဲ့ software factory System များ။ Deployment ပြုလုပ်ပြီးနောက်ပိုင်း agents များကို စောင့်ကြည့်ခြင်းနှင့် လုံခြုံရေး ထိန်းသိမ်းခြင်း။ AI software engineering ရဲ့ အနာဂတ် ဦးတည်ရာများ။
လက်တွေ့ တည်ဆောက်ရန်Eval suite တစ်ခုနဲ့ စနစ်တကျ ထိန်းချုပ်ထားတဲ့ improvement loop ပါဝင်တဲ့ traced end-to-end factory System တစ်ခု တည်ဆောက်ရပါမယ်။
အဓိက လေ့လာစရာများ (Core)≈ 3 h 30 min
- Dex HorthyHarness Engineering Is Not Enough: Why Software Factories Fail19 min
Brownfield System တွေမှာ ထိန်းသိမ်းရခက်ခဲမှု၊ အားနည်းတဲ့ review များ၊ agent တွေ ထုတ်ပေးတဲ့ Code အမြောက်အမြားကြောင့် architecture ပျက်စီးယိုယွင်းလာမှုများ။
- ဗီဒီယို25 min) နှင့် [Google SRE: Postmortem Culture](https://sre.google/sre-book/postmortem-culture/) (30 minAlways-on agents run production without the on-call tax
Agent တွေ အသုံးပြုတဲ့ System တွေမှာ မရှိမဖြစ် လိုအပ်တဲ့ စည်းကမ်းချက်များ။
- Arize AI & [Phoenix](https://arize.com/docs/phoenix/tracing/tutorial/your-first-traces)How to Debug AI Agents: Tracing, Observability & Evals49 min
- OpenAISymphony Specification20 min
Factory build ကို စိတ်ထဲထားပြီး Symphony ရဲ့ system design ကို ပြန်လည်လေ့လာပါ။
Tools, References & အပိုဆောင်း Video များ
- DeepLearning.AI ≈ 2 hEvaluating AI Agents
Tracing၊ trajectory evaluation၊ LLM judges နဲ့ production monitoring။
- Langfuse & OpenTelemetry GenAI Conventions
Phoenix အစား သုံးနိုင်တဲ့ open-source စောင့်ကြည့်ရေး System ။
- DSPy
Prompts တွေကို လက်နဲ့ လိုက်မပြင်ဘဲ eval set အပေါ် မူတည်ပြီး အလိုအလျောက် optimize လုပ်ပေးတဲ့ System ။
- Benchmarks. SWE-bench နဲ့ Terminal-Bench။
- Google SRE: Introduction
agent တွေနဲ့ လည်ပတ်တဲ့ system တွေမှာ မရှိမဖြစ် လိုအပ်နေဆဲဖြစ်တဲ့ လုပ်ငန်းလည်ပတ်မှုဆိုင်ရာ စည်းကမ်းများ။
- ဗီဒီယို1 h 46 minWhy AI evals are the hottest new skill for product buildersHamel Husain & Shreya Shankar
- ဗီဒီယို2 h 26 min“We're summoning ghosts, not building animals”Andrej Karpathy with Dwarkesh Patel
Agent တွေမှာ လက်ရှိအချိန်အထိ ဘာကြောင့် အစီအစဉ်ချနိုင်စွမ်းနဲ့ မှတ်ဉာဏ် မရှိသေးတာလဲ၊ နောက် 10 နှစ်မှာ ဘာတွေ ဖြစ်လာမလဲ ဆိုတာ။
လက်တွေ့ တည်ဆောက်ရန် (Build)
အရင်အပတ်တွေက တည်ဆောက်ခဲ့တဲ့ အစိတ်အပိုင်းတွေကို စုစည်းပြီး အခြေခံ software factory တစ်ခုအဖြစ် ချိတ်ဆက်ပါ -
issue → aligned spec → isolated agent run → tests/checks → independent review → human merge- Run တိုင်းကို trace လိုက်ပါ (Phoenix သို့မဟုတ် Langfuse သုံးပါ)။
- ကိုယ်စားပြု task 10 ခုမှ 20 ခုပါဝင်တဲ့ ပုံသေ evaluation set တစ်ခု ဖန်တီးပါ။ အောင်မြင်မှုနှုန်း၊ regressions၊ စရိတ်၊ ကြာချိန်၊ retries နဲ့ လူဝင်ပါရတဲ့ အကြိမ်ရေတို့ကို မှတ်တမ်းတင်ပါ။
- Prompts၊ skills သို့မဟုတ် tools တွေကို ပြင်ဆင်ဖို့ အကြံပြုနိုင်တဲ့ controlled improvement loop တစ်ခု ထည့်ပါ။ သို့သော်လည်း အကဲဖြတ်စစ်ဆေးမှု (evaluation) နဲ့ လူကိုယ်တိုင် ခွင့်ပြုချက် (human approval) မပါဘဲ အဲဒီ အပြောင်းအလဲတွေကို deploy လုပ်ခွင့် မရှိစေရပါဘူး။ (“ကိုယ့်ကိုယ်ကိုယ် တိုးတက်စေခြင်း” ဆိုတာ “ကိုယ့်ရဲ့ ထိန်းချုပ်မှု ဘောင်တွေကို တိတ်တဆိတ် ပြန်ပြင်ခွင့်ပေးခြင်း” မဟုတ်ပါ)။
- ဒီ 10 ပတ်အတွင်း အဲဒီ factory ကနေ ကြုံတွေ့ခဲ့ရတဲ့ အဆိုးရွားဆုံး failure အတွက် အပြစ်တင်မှုမပါတဲ့ blameless postmortem တစ်ခု ရေးသားပါ။