Amiről az informatika nem tud
A shadow IT fogalmát a legtöbb vezető ismeri. Valaki feltesz a céges laptopra egy ingyenes fájlmegosztót, mert a hivatalos rendszer lassú, és az informatika csak hónapokkal később veszi észre. A shadow AI ugyanez, csak AI eszközökkel. A munkatárs bemásol egy ügyfélszerződést egy ingyenes chatbotba, hogy összefoglalja, vagy egy böngészőkiegészítővel íratja a leveleit, és erről a központi informatika semmit nem tud.
Az első leckékben láttuk, hogy a behatolások gyökéroka ritkán a technika, sokkal gyakrabban az ember és a folyamat. A shadow AI itt kapcsolódik be. Senki nem rosszindulatból csinálja, hanem azért, mert gyorsabban akar dolgozni, és a cég nem adott neki hivatalos utat.
Egy kétszáz biztonsági vezetőt megkérdező felmérésben a válaszadók 63 százaléka azt nevezte a legnagyobb kiberbiztonsági kockázatnak, hogy a munkatársak nem megfelelő adat és hitelesítő hozzáférést adnak AI rendszereknek és ügynököknek. Ebben a listában a zsarolóvírus és az adathalászat hátrébb került, az első helyen a saját kollégák jó szándékú kattintásai állnak.
Leltár a tiltás helyett
A reflexszerű válasz a tiltás. Letiltjuk a chatbotok címét a céges hálózaton, kiadunk egy körlevelet, és úgy érezzük, kezeltük a problémát. A használat ettől nem szűnik meg, csak átköltözik a saját telefonra és az otthoni gépre, ahonnan már látni sem fogjuk. A tiltás elhallgattatja a használatot, és közben elveszítjük az egyetlen dolgot, ami segítene, a rálátást.
Ezért az első lépés mindig a leltár. Amiről nem tudunk, azt nem lehet megvédeni. Fel kell mérni, ki milyen AI eszközt használ, milyen adatot ad neki, és milyen hozzáférést kapott az eszköz. Ehhez a kollégák együttműködése kell, azt pedig büntetéssel nem lehet kiváltani, csak azzal, hogy a bevallásnak nincs következménye. Egy jó leltár nemcsak eszközneveket tartalmaz, hanem azt is, melyik folyamatban, milyen adattípussal és milyen gyakorisággal használják az adott eszközt, mert a kockázat ebből a három tényezőből áll össze.
A második lépés a hivatalos út kialakítása, és ennek kell a leggyorsabbnak lennie. Ha a jóváhagyott eszköz három kattintással elérhető, és ugyanazt tudja, mint az ingyenes, a munkatárs azt fogja használni. Ha egyhetes engedélyeztetés előzi meg, megkerüli, és a saját szempontjából igaza lesz, mert a határidő nem vár.
Jailbreak, a szabályok kijátszása
A nagy nyelvi modellek köré a gyártó és az üzemeltető szabályokat épít. Nem adhat ki bizalmas adatot, nem segít fegyvert készíteni, a céges asszisztens csak a termékről beszél. A jailbreak ezeknek a szabályoknak a kijátszása, és a módszerei meglepően egyszerűek.
A leggyakoribb technika a szerepjáték. A kérdést történetbe csomagolják, a modell egy regény szereplőjeként vagy egy színdarab karaktereként válaszol, és a karakter már elmondja azt, amit az asszisztens nem mondana. Gyakori az elutasítás elnyomása is. Ilyenkor a prompt arra utasítja a modellt, hogy előbb mondja ki a szokásos elutasítást, majd egy elválasztó jel után adja meg a szűretlen választ. Végül ott van a kérés elrejtése, kódolással, idegen nyelvvel, vagy úgy, hogy a tiltott kérést apró, önmagában ártalmatlan darabokra vágják.
A gyártók folyamatosan javítanak ezeken a réseken, de a játék nem ér véget. Vezetőként azt kell tudni, hogy a modellbe épített szabály önmagában nem védelem, hanem csak egy réteg a sok közül.
Prompt injekció, közvetlen és közvetett
A prompt injekció a jailbreak rokona, de az alkalmazást támadja, nem a modellt. Két fajtáját különböztetem meg. A közvetlen injekciónál a felhasználó által beírt szöveg tartalmaz utasítást, és ez az alkalmazás saját promptjával egyetlen szöveggé olvad össze. A modell nem látja, hol ér véget a fejlesztő utasítása és hol kezdődik a felhasználó mondata, ezért a beszúrt parancsot ugyanúgy teljesíti.
A közvetett injekció veszélyesebb, mert nem a felhasználó követi el. Az utasítás olyan tartalomba van rejtve, amit az ügynök menet közben elolvas. Egy weboldal fehér betűkkel írt sora, egy PDF lábjegyzete, egy beérkező levél aláírása. Az ügynök összefoglalja a dokumentumot, közben elolvassa a benne rejlő parancsot, és végrehajtja. Onnantól az irányítja az ügynököt, aki a dokumentumot küldte.
Vezetői szemmel a közvetett injekció azért fontos, mert az ügynökök éppen azt a munkát veszik át, ahol a legtöbb külső tartalommal találkoznak. Beérkező leveleket olvasnak, pályázati anyagokat dolgoznak fel, weboldalakról gyűjtenek adatot. Minden ilyen forrás potenciális támadási felület, és minél több jogosultsága van az ügynöknek, annál nagyobb a kár, amit egy rejtett utasítás okozhat. Egy csak olvasni képes ügynök legfeljebb rossz összefoglalót ad. Egy olyan, ami levelet is küldhet és fájlt is törölhet, komoly incidenst okoz.
A közös gyökérok és a védekezés iránya
A jailbreak és a prompt injekció mögött ugyanaz a hiba áll. A modell nem tudja megkülönböztetni az adatot az utasítástól. Számára egy szerződés szövege és a szerződésbe rejtett parancs egyformán szöveg, és mindkettőre reagál. A hagyományos szoftverben ezt a különbséget a programozó rögzíti, a nyelvi modellben erre nincs beépített mechanizmus.
Ha ezt megértjük, a védekezés iránya is adott. Nem azt várjuk, hogy a modell egyszer majd tökéletesen szűr, hanem a modell köré építjük a védelmet. Az ügynök jogosultsága legyen a lehető legszűkebb, csak azt érje el, amire a feladathoz szükség van. A nem megbízható tartalom kapjon jelölést, hogy a rendszer tudja, honnan jött. A visszafordíthatatlan lépés előtt, legyen az utalás, törlés vagy kiküldött levél, álljon emberi jóváhagyás. A házirendet pedig egy külön réteg döntse el, ne az a modell, amit éppen támadnak.
Ez a négy elv nem igényel új technológiát. Ugyanazok a jogosultságkezelési és jóváhagyási szokások, amiket a pénzügyi folyamatokban évtizedek óta alkalmazunk, csak most az AI ügynökre is kiterjesztve.
Leltár, szűk jogosultság, emberi jóváhagyás A shadow AI ellen a leltár az első lépés, és a hivatalos út legyen gyorsabb a megkerülésnél. A jailbreak és a prompt injekció ellen a kiindulópont az, hogy a modell az adatot és az utasítást nem tudja szétválasztani, ezért a védelem a modellen kívül épül. Szűk jogosultság, megjelölt külső tartalom, emberi jóváhagyás a visszafordíthatatlan lépés előtt, és külön rétegben eldöntött házirend.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →