Egyszerre csak egy lépés
A nagy nyelvi modell, angol rövidítéssel LLM, egyetlen dolgot csinál igazán jól. A korábbi szöveg alapján megjósolja, mi következik. Amikor kérdezünk tőle valamit, nem egyben rakja össze a teljes választ, mint egy kész gondolatot. Ehelyett kis darabonként építi fel. Megnézi az eddigi szöveget, és eldönti, mi a legvalószínűbb következő darab. Aztán ezt a darabot hozzáfűzi, és az egészre újra megnézi, mi jön ezután. Így halad előre, lépésről lépésre, amíg a válasz elkészül.
Ez az egyszerű ismétlődő lépés adja a folyékony szöveg látszatát. A modell nem tudja előre, hova fog kilyukadni. Csak a következő darabra összpontosít, és a sok jó következő darab összeáll értelmes mondattá. Olyan ez, mint amikor valaki gondolkodás közben, spontán fűzi tovább a mondatot, ahelyett, hogy előre megírt szöveget olvasna fel.
Nem szavak, hanem tokenek
A modell valójában nem egész szavakban gondolkodik, hanem tokenekben. A token egy szórészlet, néha egy egész rövid szó, néha csak egy szótag vagy néhány betű. A hosszabb vagy ritkább szavak több tokenből állnak össze. Ez a felbontás praktikus okból hasznos. Így a modell a ragozott, összetett vagy ismeretlen szavakat is kezelni tudja, mert a részekből fel tudja építeni őket. A magyar nyelv gazdag toldalékrendszere miatt ez különösen fontos, hiszen egy szótő sokféle végződést kaphat.
Amikor tehát azt mondjuk, a modell a következő szót jósolja, valójában a következő tokent jósolja. A gondolat ugyanaz, csak a részletekben pontosabb. A lényeg, hogy a modell mindig a soron következő apró darabra tippel, és ezekből az apró darabokból épül fel a teljes válasz. Az egész folyamat egy hosszú láncnyi apró előrejelzés.
Honnan tudja, mi a valószínű folytatás
A modell azért tud jól tippelni, mert a tanulása során rengeteg szöveget dolgozott fel. Könyveket, cikkeket, beszélgetéseket, sokféle írást. Ebből a hatalmas mennyiségből tanulta meg, milyen szórészletek szoktak együtt járni, hogyan épülnek fel a mondatok, milyen kérdésre milyen válasz illik. Nem egy szótárat vagy szabálygyűjteményt tárol, hanem a nyelv statisztikai mintázatait, súlyok formájában, ahogy azt az előző leckében láttuk. Amikor tippel, ezt a beépült tudást használja.
Fontos, hogy ez a tudás a tanulás pillanatában rögzült. A modell a betanítás után egy kész állapotban van, és alapból ebből a belső tudásból dolgozik. Nem néz utána frissen semminek, amikor válaszol. Ezért van, hogy a modell a betanítása utáni eseményekről nem tud, hacsak külön nem kap hozzá friss információt.
Nem böngészi az internetet minden válasznál
Ez az egyik leggyakoribb félreértés. Sokan azt hiszik, a modell minden kérdésnél lekérdezi az internetet, mint egy keresőmotor. Alapesetben nem ez történik. A modell a saját, betanult tudásából válaszol, abból, ami a súlyaiban rögzült. Ettől gyors, de ettől korlátos is, mert csak azt tudja, amit a tanulás során látott. Ha kérünk tőle valamit egy tegnapi hírről, amiről nem tanult, akkor vagy azt mondja, hogy nem tudja, vagy ami rosszabb, valószínűnek tűnő, de kitalált választ ad.
Sok mai eszköz ezért kiegészíti a modellt kereséssel vagy külső adatforrással. Ilyenkor a rendszer először megkeresi a friss információt, beteszi a modell elé olvasnivalóként, és a modell már ennek fényében fogalmazza meg a választ. De ez egy külön ráépített képesség, nem a nyelvi modell alaptermészete. Érdemes tudni, hogy éppen böngésző módban dolgozik-e a rendszer, vagy csak a betanult tudásából válaszol, mert ez dönti el, mennyire lehet friss és ellenőrzött a felelet. A következő leckében megnézzük, milyen belső felépítés tette lehetővé, hogy a modell ilyen jól kezelje a szöveg összefüggéseit.
Miért más minden alkalommal a válasz
Sokan meglepődnek, hogy ha kétszer teszik fel ugyanazt a kérdést, gyakran kissé más választ kapnak. Ez nem hiba, hanem a működés része. Emlékezzünk, hogy a modell minden lépésben nem egyetlen biztos folytatást ismer, hanem több lehetségeset, mindegyikhez egy valószínűséggel. Ha mindig csak a legvalószínűbbet választaná, a válaszai egyhangúak és merevek lennének. Ezért a rendszerek szándékosan engednek egy kis véletlent a választásba, hogy a szöveg természetesebb és változatosabb legyen. Ennek a véletlennek a mértéke állítható, és ez dönti el, mennyire kiszámítható vagy mennyire szabad szárnyalású a válasz.
Van egy másik fontos korlát is, amellyel érdemes tisztában lenni. A modell csak arra tud figyelni, ami az adott beszélgetés látókörébe fér. Ezt a látókört hívják kontextusablaknak. Ami kicsúszik belőle, például egy nagyon hosszú beszélgetés eleje, azt a modell elveszíti, mintha sosem hallotta volna. Ezért fordulhat elő, hogy egy hosszabb párbeszéd során a rendszer megfeledkezik egy korábban közölt részletről. A gyakorlati tanulság egyszerű. A lényeges információt érdemes újra megadni, amikor számít, és nem feltételezni, hogy a modell mindent végig fejben tart.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →