Miért értsen egy vezető ahhoz, hogyan működik egy nyelvi modell

A csalódás

Amikor egy jó eszköz rossz benyomást kelt

Az egyik ügyfelem egy dunántúli gyártó középvállalat ügyvezetője. Amikor először leültünk beszélni, már túl volt egy csalódáson. A cége kipróbált egy nyelvi modellt, megkérték, hogy foglalja össze az egyik szállítói szerződésüket, és a modell magabiztosan leírt egy szállítási határidőt, ami sehol nem szerepelt a dokumentumban. A vezető ebből azt a következtetést vonta le, hogy az egész technológia megbízhatatlan, és jobb, ha a cég egyelőre távol tartja magát tőle.

Én ezt a reakciót teljesen érthetőnek tartom. Ha valaki bemutat egy eszközt, ami magabiztosan mond valótlant, akkor az első ösztön a bizalmatlanság. A baj csak az, hogy ez a bizalmatlanság rossz helyre irányul. Nem az eszköz haszontalan, hanem a róla alkotott kép hibás. Ez a vezető úgy nézett egy nyelvi modellre, mintha az egy kereshető adatbázis lenne, ami vagy pontosan visszaadja a tényt, vagy hibát jelez. Egy nyelvi modell viszont nem így épül fel, és amint ezt megértette, teljesen megváltozott, ahogy használta.

Az alapmechanizmus

A modell a következő szót találja ki

Amikor egy nyelvi modell választ ad, valójában egyetlen dolgot csinál újra és újra. Megjósolja, hogy az eddig leírt szöveg után mi a legvalószínűbb következő szórészlet. Utána ezt hozzáfűzi, és megint ugyanezt teszi. A teljes válasz ilyen apró jóslatok egymásutánjából áll össze, szóról szóra. Nincs mögötte egy előre kész mondat, amit a modell csak felolvas. Minden lépésben eldönti, mi következzen, a mögötte álló hatalmas mennyiségű szöveg mintázatai alapján.

Ezt a jósló képességet úgy szerezte meg, hogy elképesztő mennyiségű emberi szöveget dolgozott fel a tanítás során. Könyvek, cikkek, fórumok, dokumentációk. Nem megtanulta ezeket kívülről, hanem elsajátította a nyelv szerkezetét, azt, hogy milyen szavak szoktak együtt járni, hogyan épül fel egy érvelés, milyen a magyar és az angol mondat ritmusa. Innen jön a képessége, hogy folyékonyan és értelmesen fogalmaz szinte bármilyen témában.

Amikor ezt elmagyaráztam az ügyvezetőnek, az volt az első reakciója, hogy akkor ez tulajdonképpen egy nagyon fejlett szövegkiegészítés. Ez a hasonlat nem tökéletes, de közelebb visz az igazsághoz, mint a kereshető adatbázis képe. A modell nem tudást tárol és hív elő, hanem a nyelv mintázataiból állít elő valószínű folytatást.

A gyakori félreértés

Miért nem adatbázisból keres

A legtöbb vezető, akivel dolgozom, ösztönösen egy keresőmotorra gondol, amikor egy nyelvi modellt lát működni. Beírsz valamit, és a rendszer kikeresi a tárolt válaszok közül a helyeset. Ez a kép azért is csábító, mert a modell gyakran tényleg pontos, és ilyenkor úgy tűnik, mintha valahonnan előhúzta volna a jó választ. Csakhogy nem ez történik.

A modell nem lapoz vissza egy tárolt szövegtárba, amikor válaszol. Nincs benne egy elkülönített hely, ahol a szállítói szerződés szövege vagy egy adott jogszabály pontos betűje ott ülne, készen a visszakeresésre. Ehelyett a nyelvről szerzett mintázatokból generálja a választ. Amikor egy tényt eltalál, az azért van, mert az adott állítás annyiszor és annyi helyen szerepelt a tanítóanyagban hasonló formában, hogy a legvalószínűbb folytatás történetesen egybeesik a valósággal. A pontosság tehát a valószínűség mellékterméke, nem egy garantált visszakeresés eredménye.

Ez a különbség első hallásra apróságnak tűnik, a következményei viszont nagyok. Egy keresőtől joggal várjuk el, hogy vagy megtalálja a pontos adatot, vagy azt mondja, nincs találat. Egy nyelvi modelltől ezt nem várhatjuk el ugyanígy, mert ő mindig ad egy folytatást, akkor is, ha a valósághoz nincs elég támpontja. Amikor a vezető ezt megértette, azonnal más szemmel nézett a szerződéses esetre.

A hallucináció

Miért ír le valótlant magabiztosan

A szakma azt a jelenséget hívja hallucinációnak, amikor a modell magabiztosan állít valamit, ami nem igaz. A szerződéses példa pontosan ez volt. A modellnek kellett egy szállítási határidő, mert a szerződések nyelvében ez a mező szinte mindig ott van, és a legvalószínűbb folytatás egy konkrét dátum volt. Így hát írt egyet, annak ellenére, hogy az adott dokumentumban nem talált rá támpontot. Nem hazudni akart, egyszerűen a mintázat azt diktálta, hogy oda egy dátum kerül.

A hallucináció tehát nem hiba a rendszerben, hanem a működés természetes velejárója. Ugyanaz a mechanizmus, ami lehetővé teszi, hogy a modell folyékonyan és kreatívan fogalmazzon, felelős azért is, hogy néha kitalál dolgokat. A kettő ugyanannak az éremnek a két oldala. Egy olyan rendszer, ami mindig csak biztos tényt mondana, sokkal merevebb és használhatatlanabb lenne a mindennapi munkára.

Ez a felismerés a vezető számára felszabadító volt. Addig úgy gondolta, ha egyszer hibázott a modell, akkor bármikor bármit elronthat, tehát semmiben nem lehet rábízni. Ehelyett megtanulta, hol számíthat hallucinációra. Pontos tények, számok, dátumok, idézetek, jogszabályi hivatkozások esetén nagy az esély rá, ezeket mindig ellenőrizni kell. Fogalmazás, ötletelés, szövegátírás, összegzés esetén viszont sokkal ritkább, mert ott a folyékony nyelv maga a feladat.

A kontextus határa

Amit a modell egyszerre képes látni

Van egy másik fogalom, aminek a megértése rengeteg félreértést old fel, ez a kontextus határa. A modell egy beszélgetés vagy egy feladat során csak egy adott mennyiségű szöveget képes egyszerre figyelembe venni. Van egy ablak, amibe belefér a kérdés, a hozzá adott dokumentumok és az eddigi beszélgetés, és ami ezen kívül esik, azt a modell nem látja. Ha egy hosszú beszélgetés elején mondtál valamit, egy idő után az kicsúszhat ebből az ablakból, és a modell úgy viselkedik, mintha sosem hangzott volna el.

Ennek a gyakorlati következménye sok bosszúságot okoz azoknak, akik nem tudnak róla. A vezető panaszkodott, hogy a modell a hosszú dokumentumok végén már mintha figyelmetlenné vált volna, elrontott dolgokat, amiket az elején még tudott. Ez nem figyelmetlenség, hanem az ablak korlátja. Amikor túl sok mindent zsúfolunk be egyszerre, a modellnek nem marad elég kapacitása, hogy mindent egyformán számításba vegyen.

A megoldás egyszerű, ha érti az ember az okot. Nagy anyagot érdemes kisebb, kezelhető darabokra bontani, és külön feladatként odaadni. Egy jól körülhatárolt kérdés egy rövidebb szövegre sokkal megbízhatóbb választ ad, mint egy általános kérés egy száz oldalas dokumentumra. A vezető, miután ezt megértette, teljesen átalakította, ahogyan az irodája a szerződéseket feldolgoztatta a modellel, és a hibák nagy része eltűnt.

A magabiztosság csapdája

Miért nincs a hangnemnek köze az igazsághoz

A legveszélyesebb tulajdonság, amit egy vezetőnek ismernie kell, hogy a modell ugyanolyan magabiztos hangnemben mondja a valótlant, mint az igazat. Az emberi kommunikációban megszoktuk, hogy a bizonytalanság megjelenik a hangban, a fogalmazásban, a testbeszédben. Ha egy kolléga nem biztos valamiben, azt általában érezzük. A modellnél ez a jelzés hiányzik. A stílusa mindig gördülékeny és határozott, függetlenül attól, hogy tényt közöl vagy éppen kitalál valamit.

Ez azért csapda, mert az ember hajlamos a magabiztosságot a hozzáértés jelének venni. Amikor a modell egy szép, kerek, jól fogalmazott bekezdésben leír egy hamis adatot, a forma elhiteti velünk a tartalmat. A vezető pontosan ezért csalódott az elején. A hamis határidő olyan meggyőzően volt tálalva, hogy fel sem merült benne, hogy ellenőrizni kellene. A forma minősége elfedte a tartalom hibáját.

Amióta ezt tudja, más a viszonya az eszközhöz. Nem a hangnem alapján dönti el, mit fogadjon el, hanem a feladat típusa alapján. Ha a válasz olyasmit tartalmaz, ami tényszerűen igaz vagy hamis lehet, akkor ellenőrzi, bármilyen meggyőzően is hangzik. Ez az egyetlen szokás önmagában megvédi a legtöbb komoly hibától.

A döntési haszon

Milyen hibákat előz meg a reális kép

Ez a tudás vezetői szinten nem elméleti kérdés, hanem konkrét döntéseket ment meg. Amikor egy döntéshozó úgy gondolja, a mai AI egy tévedhetetlen tudásgép, két irányba is elronthatja a döntést. Vagy túl sokat bíz rá, és kritikus folyamatokat automatizál emberi ellenőrzés nélkül, ami előbb utóbb egy magabiztosan előadott hibába fut. Vagy éppen az ellenkezőjét teszi, egyetlen rossz élmény után teljesen elzárkózik, és lemarad egy valós előnyről, amit a versenytársai kihasználnak.

A gyártó cég ügyvezetője mindkét csapdát elkerülte, miután megértette a működést. A szerződések tényszerű adatait továbbra is ember ellenőrzi, itt a modell csak előkészít, nem dönt. A fogalmazási, összegző, előkészítő munkát viszont bátran rábízza, mert tudja, hogy ott játszik a modell a saját erősségével. A csapata nem az eszközzel harcol, hanem a megfelelő feladatokra irányítja. A csalódásból így lett egy tiszta, működő munkamegosztás.

Amit a legfontosabbnak tartok ebben, az a beruházási döntés minősége. Egy vezető, aki reálisan látja, mit tud és mit nem a mai nyelvi modell, jobban méri fel, hova érdemes pénzt és időt tenni. Nem vár csodát ott, ahol a technológia még nem tart, és nem hagy ki lehetőséget ott, ahol már ma is komoly értéket ad. Ez a különbség sok millió forintos döntéseknél mutatkozik meg, egy bevezetési projekt sikere vagy kudarca gyakran ezen a reális képen múlik.

A tanulság

A megértés mint vezetői eszköz

Nem gondolom, hogy egy vezetőnek a modell matematikáját kellene ismernie, vagy hogy kódot kellene írnia. Erre semmi szükség. Amire szükség van, az egy pontos mentális kép arról, milyen természetű az eszköz, amivel a cége dolgozik. Hogy a nyelv mintázataiból generál, hogy a következő szót jósolja, hogy a pontosság nála valószínűség és nem garancia, hogy van egy ablak, amin túl nem lát, és hogy a magabiztos hangnem nem bizonyíték semmire.

Ez a néhány gondolat együtt éppen elég ahhoz, hogy egy döntéshozó ne essen a szélsőségekbe. A gyártó cégnél nem a technológia változott meg a két beszélgetésünk között, hanem a vezető képe róla. Ugyanaz az eszköz, ami korábban csalódást okozott, néhány hét alatt a napi munka hasznos részévé vált, egyszerűen azért, mert a jó helyre irányították. A működés megértése tette lehetővé, hogy ne az érzelmei, hanem a valós képességek alapján döntsön arról, mire használja.