Támadások AI ellen és AI-jal

Célpont és fegyver egyszerre

Az AI kettős használatú technológia. Ugyanaz a modell, ami a cég ügyfélszolgálatát futtatja, a támadó kezében anyanyelvi szintű adathalász leveleket ír. Ebben a leckében mindkét oldalt végignézem. Előbb azt, hogyan támadnak az AI rendszer ellen, utána azt, hogyan támadnak vele.

A korábbi leckékben az AI három szintjét különböztettük meg, és a generatív kockázatokat is sorra vettük. Most ezekre a kategóriákra ülnek rá a valós esetek. Vezetőként a technikai részlet kevésbé fontos, a minta felismerése viszont igen, mert ugyanez a minta a saját cégünknél is megjelenhet.

A két oldal egy ponton összeér. A támadó ugyanazokat a tulajdonságokat használja ki, amik miatt az AI hasznos, a gyorsaságot, a skálázhatóságot és azt, hogy a modell szívesen válaszol. Ezért a védelem sem technikai trükk, hanem annak a megértése, hol enged túl sokat a rendszer, és ki tud ebből hasznot húzni.

Modellkinyerés és desztilláció

A modellkinyerésnél a támadó nem tör be sehová. Egyszerűen kérdez, nagyon sokszor, és a válaszokból rekonstruálja a modell működését. Ha elég bemenetet és kimenetet gyűjt össze, saját modellt tanít, ami a mienket utánozza. Egy nagy modell tanítása tíz vagy százmillió dolláros nagyságrend, tehát komoly szellemi tulajdon megy ki az ajtón, miközben a naplóban csak sok API hívás látszik. A védekezés itt a forgalom figyelése, a feltűnően sok és rendszeres lekérdezés észlelése, és a hívások számának korlátozása felhasználónként.

Ugyanennek a technikának van legitim változata is, a desztilláció. Egy kisebb modellt tanítunk a nagyobb kimenetéből, hogy olcsóbban és gyorsabban fusson. A módszer azonos, a különbséget a felhatalmazás és a dokumentáció adja. Ha a modell tulajdonosa engedélyezte, és a folyamat le van írva, desztilláció. Ha nem, támadás. Ez a szerződésekben és a felhasználási feltételekben dől el, nem a kódban.

Amikor a modell egyszerűen kisétál

A modellszivárgás a legegyszerűbb eset. Valaki lemásolja a súlyokat, vagyis a modell tanult paramétereit, és onnantól bárhol futtathatja. Nem kell hozzá kifinomult támadás, elég egy figyelmetlen átadás.

Előfordult, hogy egy cég pendrive-on adta át a modelljét néhány ügyfelének. Az egyik ügyfél feltöltötte egy nyilvános modelltárba, és onnantól bárki letölthette. Semmilyen rendszert nem törtek fel. A kár egy üzleti döntésből jött, ami a fizikai adathordozót biztonságosnak gondolta, és nem szabályozta, mit tehet vele az átvevő.

A tanulság a szerződésekre mutat. Ha egy modell elhagyja a céget, akár ügyfélnek, akár alvállalkozónak, írásban kell rögzíteni, mit tehet vele az átvevő, hol tárolhatja, és mi történik a szerződés végén. A technikai védelem, például a titkosítás vagy a licenckulcs, csak lassítja a szivárgást, a jogi keret nélkül nem akadályozza meg.

A nagy incidens, ami nem AI hiba volt

2023 márciusában a ChatGPT-t órákra le kellett állítani. A felhasználók egymás beszélgetéscímeit látták, néhányan mások promptjait is. A sajtó AI incidensként írta meg, és joggal, mert egy AI szolgáltatásban történt.

A gyökérok viszont nem AI sebezhetőség volt. Egy memóriában futó adatbázis kapcsolatkezelési hibája keverte össze a felhasználók munkameneteit. Hagyományos szoftverhiba, amilyen bármelyik webáruházban előfordulhat. A tanulság az első leckékhez vezet vissza. Az AI rendszer legnagyobb incidensei gyakran hagyományos szoftverhibából jönnek, ezért az AI biztonság a klasszikus informatikai biztonságra épül, nem helyette van.

Ebből két gyakorlati következtetés adódik. A szolgáltatóválasztásnál az AI képességek mellett a hagyományos üzemeltetési fegyelem is számít, a hibakezelés, a terheléskezelés, az incidenskommunikáció. Belül pedig az AI projekt nem kerülhet a megszokott szoftverfejlesztési szabályok alól, a kódátnézés, a tesztelés és a verziókezelés ugyanúgy vonatkozik rá.

Ügynök a támadó kezében

Egy CRM rendszer webes űrlapján beérkező szöveget AI ügynök dolgozott fel. Az űrlapban az adat és az utasítás nem vált szét, így a támadó az űrlapba írt parancsokkal irányíthatta az ügynököt, és ügyféladatot szivárogtatott ki. Ez az előző leckében tárgyalt közvetett prompt injekció éles példája.

A történet második fele tanulságosabb. A kiszivárogtatás azért sikerült, mert a kimenő forgalom engedélyezőlistáján maradt egy domain, amit a cég már nem tartott regisztrálva. A támadó megszerezte a domaint, és oda küldte ki az adatot a cég saját, jóváhagyott csatornáján. Két hiba kellett, egy az AI rétegben, egy a hagyományos hálózati házirendben. Bármelyik hiányában a támadás elakadt volna.

Ugyanez a kettősség látszik a ChatGPT esetnél is. Az AI incidens ritkán tiszta AI hiba, és a régi kontrollok elhanyagolása legalább annyi kárt okoz, mint az új technológia.

Támadás AI-jal

A másik oldalon az AI a támadó szerszáma. Egy brit mérnöki cég pénzügyes munkatársát hamis videohívásba csalták. A hívásban a cég pénzügyi vezetőjének deepfake mása ült, és jóváhagyta az utalást. A kár 25 millió dollár. A munkatárs betartotta a belső szabályokat, felettesi jóváhagyást kért, csak a felettes nem volt valódi. A jóváhagyás egyetlen csatornán ma már nem elég, a pénzmozgás előtt egy másik, független úton is meg kell erősíteni a kérést.

Egy 2025 novemberi gyártói jelentés egy lépéssel továbbmegy. Egy állami támadó AI ügynökkel automatizálta a támadás 80-90 százalékát, a felderítéstől a kihasználásig. A harminc célpontból négynél járt sikerrel, miközben emberi döntésre csak néhány alkalommal volt szükség. A támadás ára zuhan, a sebessége nő, és a védekezésnek ehhez a tempóhoz kell igazodnia.

A deepfake eset és az automatizált támadás egy irányba mutat. A támadó oldalán az AI az emberi erőforrást helyettesíti, ami eddig a legdrágább láncszem volt. A védekező oldalon ezért az emberi jóváhagyásnak kell drágábbnak és nehezebben hamisíthatónak lennie, és a gépi észlelésnek kell átvennie a monoton figyelést, amire az ember már nem lesz elég gyors.