Mi számít eszköznek
Az eszközhasználat tervezési minta (tool use design pattern) arról szól, hogy a nyelvi modell külső eszközökkel léphet kapcsolatba, hogy konkrét célt érjen el. Az eszközök futtatható kódrészletek. Lehet egyszerű függvény, például egy számológép, vagy lehet egy API hívás, például egy időjárás lekérdezés vagy egy tőzsdei árfolyam lekérés. A kurzus az eszköz és a függvény szót ebben a kontextusban felváltva használja. A függvények, tehát az újrahasznosítható kódrészletek, azok az eszközök, amelyeket az ügynök bevet egy feladat elvégzéséhez.
A függvényhívás mint mechanizmus
A modell nem közvetlenül futtatja a kódot. Ehelyett a függvényhívás (function calling) az elsődleges mód, amellyel a nyelvi modellt eszközök használatára tesszük képessé. A modell egy sémát (schema) kap, amely tartalmazza az összes elérhető függvény leírását. A séma megadja a függvény nevét, a célját, a szükséges paramétereket és a várt kimenetet. Ez teszi lehetővé, hogy a modell megértse, milyen eszközök állnak rendelkezésre, és hogyan kell érvényes kérést összeállítania hozzájuk.
Hogyan választ eszközt a modell
A döntés menete néhány lépésből áll. Először a modell összeveti a felhasználó kérését az összes elérhető függvény leírásával. Ezután kiválasztja a feladathoz legmegfelelőbb függvényt, és visszaadja a nevét és az argumentumait. Fontos, hogy ekkor a modell nem futtatja a kódot, csak megmondja, melyik függvényt hívná és milyen paraméterekkel. A tényleges végrehajtást az ügynök végzi, majd a függvény kimenete visszakerül a modellhez, amely ezt az információt használja fel a felhasználónak adott végső válasz megformálásához.
- A modell megkapja a kérést és a sémákatA felhasználói kérés mellé odakerül az összes elérhető függvény leírása.
- Kiválasztja a függvénytA modell összeveti a kérést a leírásokkal, és visszaadja a megfelelő függvény nevét és argumentumait.
- Az ügynök végrehajtjaA kiválasztott függvény lefut, például meghív egy API-t vagy elvégez egy számítást.
- Az eredmény visszatérA kimenet visszakerül a modellhez, amely ennek alapján formálja meg a végső választ.
Miért erős ez a minta
Az eszközhasználat oldja fel a nyelvi modell legnagyobb korlátját. Egy modell önmagában csak a betanított tudásából dolgozik, nem lát friss adatot, nem tud számolni pontosan, és nem tud a világban cselekedni. Egy jól megírt sémával az ügynök viszont pontosan akkor és úgy fér hozzá egy külső képességhez, amikor arra szükség van. A séma minősége itt kulcskérdés. Ha a leírás világos, a modell megbízhatóan választ, ha viszont a leírás pontatlan, a modell rossz eszközt hívhat vagy hibás argumentumokat adhat.
A séma négy dolgot ír le. A függvény nevét, a célját, a szükséges paramétereket és a várt kimenetet. Ez a négy elem együtt teszi lehetővé, hogy a modell megértse, mit tud az eszköz, és hogyan állítson össze hozzá érvényes hívást.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →