A rendszerüzenet felépítése
A megbízható ügynök alapja egy jól felépített rendszerüzenet (system message), amely megadja, mi az ügynök szerepe és hogyan viselkedjen. A kurzus egy négylépéses megközelítést ír le ennek elkészítésére. Először hozz létre egy metarendszerüzenetet (meta system message), amely egyfajta sablon a nyelvi modell számára. Másodszor írj egy alap promptot, amely leírja az ügynök szerepét és feladatait. Harmadszor add át ezt az alap rendszerüzenetet a modellnek finomításra. Negyedszer iterálj és javíts az üzeneten idővel. Ez a strukturált módszer teszi lehetővé, hogy az ügynökök skálázhatóan, finomított utasításokkal épüljenek fel.
- MetarendszerüzenetEgy sablon a modellnek, amely megadja, hogyan épüljön fel egy jó rendszerüzenet.
- Alap promptLeírod az ügynök szerepét és a feladatait, tömören és egyértelműen.
- Átadás finomításraAz alap rendszerüzenetet a modell segítségével csiszolod pontosabbra.
- IterálásIdővel javítasz az üzeneten a tapasztalatok alapján, hogy egyre pontosabb legyen.
Ember a hurokban
A megbízhatóság másik pillére az ember a hurokban (human-in-the-loop) megközelítés. Ez ellenőrzési pontokat visz be a folyamatba, ahol a felhasználó visszajelzést adhat az ügynöknek futás közben, tehát jóváhagyhatja vagy elutasíthatja az ügynök egy tervezett cselekvését, mielőtt az végrehajtódna. A keretbe így beépül az emberi felügyelet mint ellenőrző mechanizmus. Ez különösen fontos ott, ahol a cselekvés visszafordíthatatlan vagy kockázatos, mert egy emberi jóváhagyás megelőzheti a hibás lépést.
Négy fő fenyegetés
A kurzus négy fő sebezhetőséget nevez meg. Az első a feladat- és utasításbefecskendezés (task and instruction injection), amikor a támadó megpróbálja megváltoztatni az ügynök utasításait vagy céljait promptmanipulációval. A második a kritikus rendszerekhez való hozzáférés kockázata, amikor az ügynök és a rendszer közötti, érzékeny adatot tartalmazó kommunikáció kompromittálódik. A harmadik az erőforrás túlterhelés, amikor a támadó az ügynök eszközhozzáférését kihasználva nagy mennyiségű kérést küld, hogy szolgáltatáskiesést okozzon. A negyedik a tudásbázis mérgezés (knowledge base poisoning), amikor az ügynök által használt adatforrásokat rontják el.
Fenyegetés
- Utasításbefecskendezés
- Hozzáférés kritikus rendszerekhez
- Erőforrás túlterhelés
- Tudásbázis mérgezés
Védekezés
- Bemenet ellenőrzése, körök számának korlátozása
- Legszűkebb hozzáférés, hitelesítés
- Kérések sebességének korlátozása
- Adatok rendszeres ellenőrzése, írás korlátozása
Amit a védekezés jelent a gyakorlatban
Minden fenyegetéshez tartozik konkrét ellenintézkedés. Az utasításbefecskendezés ellen a bemenet ellenőrzése és a beszélgetési körök számának korlátozása véd. A kritikus rendszereknél az ügynök hozzáférését csak a feltétlenül szükséges erőforrásokra kell korlátozni, és hitelesítést kell alkalmazni. A túlterhelés ellen a kérések sebességének korlátozása segít. A tudásbázis mérgezés ellen az adatok rendszeres ellenőrzése és a módosítási jogosultság szűkítése véd. A kurzus összegzése szerint a megbízható ügynök gondos tervezést, erős biztonsági intézkedéseket és folyamatos iterációt kíván, nem egyszeri beállítás kérdése.
Négy fenyegetés, négy válasz. A megbízhatóság nem egyetlen kapcsoló, hanem rétegek összessége. A bemenet ellenőrzése, a legszűkebb hozzáférés elve, a sebességkorlátozás és az adatforrások védelme együtt adja azt a keretet, amelyben az ügynök biztonságosan cselekedhet.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →