Eszköztervezés és példák

Milyen egy jó eszköz

Az ágensi rendszerekben az eszközök jelentik a modell és a külvilág közötti interfészt. A jó eszköz önmagában zárt, tehát nem igényel más eszközök ismeretét a helyes használatához. Hibatűrő, tehát váratlan bemenetre sem omlik össze értelmetlenül. Egyértelmű rendeltetésű, és minimális az átfedése más eszközökkel.

Ha egy tapasztalt mérnök is bizonytalan abban, hogy két hasonló eszköz közül melyiket kellene használnia egy adott helyzetben, az AI ágens is bizonytalan lesz, és rosszul fog dönteni. Az eszközök közti egyértelmű határvonal ezért nem apró részlet, hanem alapvető tervezési szempont.

Token hatékony visszatérési értékek

Az eszközök válaszai közvetlenül a kontextusablakba kerülnek, így ezek is fogyasztják a figyelem büdzsét. Egy jól tervezett eszköz tömören, a feladat szempontjából releváns információra szorítkozva ad választ, nem önti ki a teljes nyers adatot, ha arra nincs szükség.

Miért ér egy példa ezer szót

A modell számára egy jól megválasztott, konkrét példa gyakran hatékonyabb tanítóeszköz, mint egy hosszú szabálylista. Ahelyett, hogy minden lehetséges él-esetet külön dokumentálnánk, érdemes diverz, kanonikus példákat kurálni, amik hatékonyan bemutatják az elvárt viselkedést. Ez a few-shot megközelítés jelentősen csökkenti a szükséges instrukció hosszát, miközben pontosabb irányt ad a modellnek.

Forrás

Anthropic "Effective context engineering for AI agents" és "Demystifying evals for AI agents" című cikkeinek magyar feldolgozása.