Mi a nyelvi modell és a következő token jóslása

Egy modell, egy feladat

A nyelvi modell (language model) a magját tekintve meglepően egyszerű dolgot csinál. Kap egy szövegrészletet, és megbecsli, mi jön utána. Pontosabban valószínűséget rendel ahhoz, hogy a folytatás mindegyik lehetséges darabja mennyire illik oda. A modell nem egyetlen szót ad vissza magabiztosan, hanem az összes szóba jöhető folytatásra kiszámolja, mennyire valószínű. A „ma reggel megittam egy csésze" szövegre a „kávét" nagyon valószínű, a „követ" gyakorlatilag lehetetlen, és minden más lehetőség valahol a kettő között helyezkedik el.

Ez a lecke a modern nyelvi modellek közös alapját mutatja be. A későbbi leckékben rétegenként rakjuk össze, hogyan lesz ebből az egyszerű alapelvből valóban működő rendszer, de az egész építmény ezen a jóslási feladaton nyugszik.

Miért token és nem szó

A leckék során végig tokenről beszélünk, nem szóról. A token a szöveg apró egysége, amivel a modell dolgozik. Lehet egy egész szó, egy szódarab vagy akár egy írásjel. Hogy pontosan miből lesz token, azt a következő lecke bontja ki, most elég annyi, hogy a modell a szöveget tokenek sorozataként látja, és mindig a következő tokenre ad becslést. A valószínűséget tehát nem a szavak, hanem a rögzített szókészlet (vocabulary) minden eleme fölött számolja ki, egyszerre az összesre.

Így lesz a jóslásból folyamatos szöveg

Ha a modell egyszerre csak egyetlen következő tokenre ad becslést, felmerül a kérdés, hogyan ír egész bekezdéseket. A válasz az autoregresszív generálás. A modell megjósolja a következő tokent, kiválaszt egyet a valószínűségi eloszlásból, hozzáfűzi a szöveghez, és az így meghosszabbított szöveget adja vissza saját magának bemenetként. Ez a ciklus ismétlődik, tokenről tokenre, amíg a szöveg el nem készül. Minden lépésben ugyanaz a jóslási művelet fut le, csak egyre hosszabb szövegkörnyezetre.

A determinisztikus és a változatos kimenet

A kiválasztás módja dönti el, mennyire kiszámítható a kimenet. Ha a modell mindig a legvalószínűbb tokent veszi, ugyanarra a bemenetre nagyjából ugyanazt a szöveget adja. Ha viszont a valószínűségek arányában mintavételez, akkor néha a második vagy harmadik legvalószínűbb folytatást is választja, és így változatosabb, kevésbé sablonos szöveg keletkezik. Ezt a szabadságot egy hőmérsékletnek (temperature) nevezett beállítás szabályozza. Alacsony érték a magabiztos, ismételhető kimenet felé húz, magasabb érték a változatosság felé.

Miért fér bele szinte minden feladat

Első ránézésre a fordítás, az összefoglalás és a kérdésmegválaszolás különböző feladatnak tűnik. A nyelvi modellben viszont mindegyik ugyanarra a jóslásra egyszerűsödik. Ha a bemenet egy angol mondat és egy felszólítás a fordításra, akkor a legvalószínűbb folytatás maga a magyar fordítás. Ha a bemenet egy hosszú cikk és egy kérés az összefoglalásra, a legvalószínűbb folytatás a rövid összefoglaló. A feladat magába a szövegkörnyezetbe van kódolva, a modell pedig egyszerűen folytatja azt, ami elébe kerül.