A fekete dobozból átlátható rendszer
Az ügynök éles környezetbe állítása azt jelenti, hogy a fekete dobozként viselkedő rendszert átláthatóvá és kezelhetővé tesszük. Megfigyelhetőség nélkül az ügynök belső állapota és gondolkodása átláthatatlan marad, ami megnehezíti a hibák diagnózisát és a teljesítmény javítását. A kurzus négy összefüggő elemet emel ki az éles működéshez, a megfigyelhetőséget és monitorozást, a kiértékelést, a költségkezelést, valamint a biztonságot és megfelelést. Ezek együtt teszik lehetővé, hogy az ügynök ne csak működjön, hanem karbantartható és megbízható is legyen.
Megfigyelhetőség traceökkel és spanökkel
A megfigyelhetőség (observability) betekintést ad az ügynök működésébe. Ehhez két alapfogalom tartozik. A trace az ügynök egy teljes feladatát fedi le, a span pedig egy traceön belüli egyetlen lépést. Ezekre épül a mért adatok sora. A késleltetés (latency) a válasz sebessége és az egyes lépések ideje. A költség (cost) az egy futásra jutó ráfordítás a modellhívásokból és az API használatból. A kérési hibák a sikertelen hívások vagy eszközfuttatások. A pontosság (accuracy) a kimenet helyessége a meghatározott sikerkritériumokhoz mérve. Végül a felhasználói visszajelzés, amely lehet explicit értékelés vagy implicit viselkedési jel, például a kérdés újrafogalmazása.
Offline és online kiértékelés
A kiértékelés (evaluation) a megfigyelt adatokat elemzi, hogy megítélje az ügynök teljesítményét, és két, egymást kiegészítő módja van. Az offline kiértékelés előre összeállított tesztadatokat használ ismert helyes válaszokkal, így fejlesztés közben ismételhető pontosságméréseket tesz lehetővé. Az online kiértékelés a valós, éles teljesítményt figyeli, elkapja a váratlan kérdéseket és a modell elsodródását (model drift). A kettő együtt ad teljes képet, az egyik a laboratóriumi kontrollt, a másik a valóság visszajelzését adja.
A megfigyelés-értékelés-javítás hurok
Az éles ügynök karbantartása egy ismétlődő ciklusra épül. A csapat offline kiértékel, telepít, online monitoroz, összegyűjti az új hibás eseteket, hozzáadja őket az offline adathalmazhoz, finomítja az ügynököt, majd elölről kezdi. Ez a hurok teszi lehetővé, hogy az ügynök ne romoljon el csendben az idő múlásával, hanem a valós használatból tanulva folyamatosan javuljon. A megfigyelhetőség adja azt a nyersanyagot, amelyből a kiértékelés dolgozik, a kiértékelés eredménye pedig a javítás irányát mutatja.
- Offline kiértékelésTesztadatokon, ismert helyes válaszokkal méred a pontosságot fejlesztés közben.
- Telepítés és online monitorozásÉlesbe teszed, és figyeled a valós teljesítményt, a késleltetést, a költséget, a hibákat.
- Hibás esetek gyűjtéseAz éles működésből összeszeded az új, váratlan hibákat, és hozzáadod az offline adathalmazhoz.
- Finomítás és ismétlésAz ügynökön javítasz, majd a hurok elölről indul, így a rendszer folyamatosan tanul.
Költségkezelés és biztonság
A költségek kordában tartására a kurzus több stratégiát ad. Kisebb nyelvi modelleket lehet bevetni az egyszerűbb feladatokra, a kéréseket a megfelelő méretű modellhez lehet irányítani, és a gyakori válaszokat gyorsítótárazni lehet, hogy csökkenjen az API hívások száma. A biztonság és megfelelés terén a megfigyelhetőség egy auditnyomot ad az ügynök cselekvéseiről és döntéseiről, amely segít felismerni a promptbefecskendezést, a káros tartalmat és a személyes adatok helytelen kezelését. Ez az auditnyom alapozza meg a megbízható éles működést, és köti össze ezt a leckét a hatodik leckében tárgyalt megbízhatósággal.
Forrás
A Microsoft AI Agents for Beginners nyílt kurzus (12 leckés, MIT licencű) fogalmai alapján, magyar feldolgozásban. Elérhető a github.com/microsoft/ai-agents-for-beginners és a microsoft.github.io/ai-agents-for-beginners címen.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →