Prompt engineering többügynökös rendszerekben

Hibamódok azonosítása szimulációkkal

Az Anthropic csapata a Console környezetben futtatott szimulációk segítségével azonosította, hol viselkedik a rendszer másképp, mint elvárnák. Ez a módszer lehetővé tette, hogy még a valós felhasználók elé kerülés előtt felszínre kerüljenek azok a mintázatok, amelyek felesleges munkához, hibás delegáláshoz vagy pontatlan válaszokhoz vezettek.

Korai hibák, amikből tanultak

Az egyik jellemző korai hiba az volt, hogy a rendszer egy egyszerű kérdésre akár 50 subagentet is indított, jóval többet, mint amennyi indokolt lett volna. Egy másik hiba a szekvenciális keresés volt, amikor a subagentek egymás után, nem pedig párhuzamosan futottak, feleslegesen megnövelve a teljes futásidőt. Ezeket a mintázatokat csak úgy lehetett kijavítani, hogy explicit szabályokat írtak a lead agent promptjába.

A tiszta eszközleírás és a párhuzamosítás előírása

Két konkrét javítás bizonyult különösen hatásosnak. Az egyik a tiszta, félreérthetetlen eszközleírás, amely pontosan megmondja a subagentnek, mikor melyik eszközt érdemes használnia. A másik annak explicit előírása, hogy a subagent párhuzamosan hívja meg az egymástól független eszközöket ahelyett, hogy egyesével, szekvenciálisan futtatná őket. Emellett az extended thinking mint vezérelhető jegyzettömb is segített abban, hogy az ügynök gondolatmenete követhető és javítható legyen.

A gondos promptolás mérhető eredménye

A Claude Opus 4 lead ügynökből és Claude Sonnet 4 subagentekből álló rendszer belső kiértékeléseken 90.2%-kal jobban teljesített, mint egy egyágenses Claude Opus 4. Ugyanakkor ennek ára is van, a token-felhasználás önmagában a teljesítménybeli eltérések (variancia) 80%-át magyarázza, egy ügynök körülbelül négyszer annyi tokent használ mint egy sima chat beszélgetés, egy teljes multi-agent rendszer pedig körülbelül tizenötször annyit.

Forrás

Anthropic "How we built our multi-agent research system" (anthropic.com/engineering/multi-agent-research-system) és "Building Effective AI Agents" (anthropic.com/research/building-effective-agents) című cikkeinek magyar feldolgozása.