Workflow és ügynök, két különböző dolog
Az Anthropic építési útmutatója élesen elkülöníti a két fogalmat. A workflow olyan rendszer, amelyben a modellt és az eszközöket előre megírt kódutakon vezéreljük, tehát a lépések sorrendje rögzített. Az ügynök ezzel szemben olyan rendszer, amelyben a modell maga irányítja a saját folyamatát és eszközhasználatát, tehát menet közben dönti el, milyen lépéseket tesz. A különbség nem apró. A workflow kiszámítható és jól tesztelhető, az ügynök rugalmas, de kevésbé jósolható. Az Anthropic ajánlása, hogy induljunk a legegyszerűbb megoldásból, és sok alkalmazáshoz elég egyetlen jól felépített modellhívás visszakereséssel és jó példákkal. Ügynököt akkor érdemes építeni, ha a feladat nyílt végű, és nem lehet előre megmondani, hány lépésből fog állni.
Workflow
- Előre megírt kódutak vezérlik
- A lépések sorrendje rögzített
- Kiszámítható és jól tesztelhető
- Jól definiált feladatokhoz
Ügynök
- A modell irányítja a saját folyamatát
- Menet közben dönt a következő lépésről
- Rugalmas, de késleltetést és költséget cserél teljesítményért
- Nyílt végű, előre nem tervezhető feladatokhoz
Az eszközhívás mechanikája
Az eszközhasználat alapja, hogy a modellnek megadjuk egy eszköz nevét, leírását és a paramétereinek a sémáját. A modell, ha úgy ítéli, hogy szüksége van rá, nem szöveggel válaszol, hanem egy strukturált eszközhívást ad vissza, amely megnevezi az eszközt és a paramétereket. Ezt a hívást nem a modell hajtja végre, hanem a te futtatókörnyezeted. Te futtatod le a tényleges műveletet, például egy adatbázis lekérdezést, majd az eredményt visszaadod a modellnek egy következő hívásban. A modell ezután az eredmény birtokában folytatja. Fontos, hogy az eszköz leírása és dokumentációja legyen világos, mert a modell ebből érti meg, mikor és hogyan használja. Az Anthropic külön kiemeli, hogy az eszközkészlet és a dokumentációja gondos megtervezése kulcsfontosságú.
Az ügynöki hurok és a talaj-igazság
Az Anthropic megfogalmazásában az ügynök nem más, mint a modell, amely eszközöket használ egy hurokban, a környezetből kapott visszajelzés alapján. A hurok minden körében fontos, hogy a modell valós visszajelzést, talaj-igazságot kapjon a környezetből, ne csak a saját feltételezéseiből dolgozzon. Ezért az ügynöki rendszernél a környezet és az eszközök jelentik a valóságérzéket. Ha az eszköz hibát ad vissza, azt a modellnek látnia kell, hogy korrigálhasson. A hurok addig fut, amíg a modell úgy nem dönt, hogy a feladat kész, vagy amíg egy előre megszabott lépéskorlátot el nem ér. Ez a lépéskorlát nem formalitás, hanem védelem a végtelen körök és az elszabaduló költség ellen.
Tervezés, ReAct és az olvasó meg író műveletek
Chip Huyen kerete szerint az ügynök sikere két dolgon múlik, a rendelkezésre álló eszközökön és a modell tervezési képességén. Hasznos a tervezést és a végrehajtást szétválasztani. A modell először tervet készít, azt egy heurisztika vagy egy másik modell ellenőrzi, és csak a jóváhagyott terv fut le. A ReAct minta a gondolkodást és a cselekvést fűzi össze, tehát a modell felváltva gondolkodik és cselekszik, és minden lépés után értékeli, jó irányba halad-e. Huyen az eszközöket is csoportosítja. Az olvasó műveletek csak megfigyelik a környezetet, például visszakeresnek vagy lekérdeznek, az író műveletek viszont megváltoztatják, például adatot módosítanak vagy levelet küldenek. Az író műveletek lényegesen kockázatosabbak, mert visszafordíthatatlan hatásuk lehet, ezért ezeknél gyakran emberi jóváhagyást iktatunk be.
- GondolatA modell megfogalmazza, mi a következő lépés és miért, a ReAct minta szerint.
- CselekvésA modell eszközt hív, olvasó vagy író műveletet indít a környezetben.
- MegfigyelésA környezet valós eredményt ad vissza, ez a talaj-igazság a következő döntéshez.
- ÉrtékelésA modell eldönti, kész a feladat, vagy új körben folytatja a hurkot.
Több ügynök és az orkesztrátor minta
Összetett feladatoknál egyetlen ügynök helyett többet is használhatunk. Az Anthropic orkesztrátor és munkás mintájában egy központi modell bontja fel a feladatot, és osztja ki a részeket az egyes munkás ügynököknek, majd összefésüli az eredményeiket. Ez akkor hasznos, ha nem lehet előre megmondani, milyen részfeladatok kellenek. A több ügynök azonban nem ingyen van, mert minden ügynök további hívásokat, késleltetést és költséget jelent, és a rendszer nehezebben követhető. Az általános tanács ezért itt is a fokozatosság. Először próbáljuk meg a lehető legegyszerűbb felépítéssel, egyetlen modellhívással vagy egy jól definiált workflow-val, és csak akkor lépjünk az ügynöki, majd a több ügynökös irányba, ha a feladat összetettsége ezt valóban indokolja. Az ügynök mindig késleltetést és költséget cserél jobb feladatteljesítményért, és ezt a cserét tudatosan kell megkötni.
Négy fék az ügynökön. Lépéskorlát a végtelen hurok ellen, emberi jóváhagyás az író műveleteknél, világos eszközdokumentáció a téves hívások ellen, és a legegyszerűbb működő felépítés választása. Ez a négy tartja kordában az ügynök költségét és kockázatát.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →