Megfigyelhetőség

Miért buknak el az ágensek

Anthropic termelési nyomkövetése feltárta, hogy az ágensek elbukásának leggyakoribb okai jól azonosítható mintákba rendeződnek. A rossz keresési lekérdezés, a gyenge forrásválasztás és az eszközhiba a leggyakoribb okok, és ha ezek nem láthatók a rendszer működése közben, a hibák megismétlődnek anélkül, hogy bárki észrevenné a mintát.

A megfigyelhetőség célja nem az, hogy utólag megpróbáljuk kitalálni, mi történt, hanem hogy folyamatosan lássuk, milyen döntéseket hoz az ágens, milyen eszközöket választ, és hol térnek el a várt lépésektől.

Adatvédelem és megfigyelhetőség együtt

Sokan azt feltételezik, hogy egy jól megfigyelt rendszerhez hozzá kell férni a felhasználói beszélgetések tartalmához. Anthropic gyakorlata ennek az ellenkezőjét mutatja. A rendszer az ágens döntési mintáit és interakciós struktúráit figyeli anélkül, hogy a beszélgetés tartalmához hozzáférne, így a felhasználói adatvédelem és a rendszer átláthatósága nem zárja ki egymást.

Mit érdemes bevezetni egy vállalati rendszerben

Egy induló AI ágensrendszernél már az is óriási előrelépés, ha loggoljuk, melyik eszközt mikor hívta meg az ágens, mennyi ideig futott egy lépés, és hol lépett ki hibával. Ezekből az adatokból derül ki, hol érdemes a rendszert finomítani, mielőtt a probléma nagyobb léptékben, sok felhasználónál jelentkezne.

Forrás

Anthropic "How we built our multi-agent research system", "Writing effective tools for AI agents" és a hivatalos Claude Code best practices dokumentáció magyar feldolgozása.