Kiértékelés, korlátok és hallucináció

Hogyan mérjük a jóslás pontosságát

A legalapvetőbb mérőszám arra épül, amit a modell csinál, vagyis a következő token jóslására. Ha félreteszünk olyan szöveget, amit a modell a tanítás során nem látott, és megnézzük, mennyire jól jósolja meg annak a folytatását, akkor tiszta képet kapunk a képességéről. Ezt gyakran a perplexitás (perplexity) nevű számmal fejezik ki, amely lazán fogalmazva azt méri, mennyire volt meglepve a modell a valódi folytatástól. Az alacsonyabb érték a jobb, mert azt jelenti, hogy a modell magabiztosan és pontosan jósolt. A kulcs mindig az, hogy a mérés olyan szövegen történjen, amit a modell korábban nem látott.

Feladatok és benchmarkok

A perplexitás jó a nyers nyelvi képesség mérésére, de nem árulja el, mennyire hasznos a modell konkrét feladatokban. Ezért a modelleket úgynevezett benchmarkokon is tesztelik, amelyek sok, előre összeállított kérdésből és feladatból állnak. Van, amelyik olvasásértést mér, van, amelyik logikai gondolkodást, matematikát vagy szakmai tudást. Egy fontos csapda, hogy ha a benchmark kérdései véletlenül bekerültek a tanítóadatba, akkor a modell nem a képességét, hanem a memóriáját mutatja. Ezt a jelenséget adatszennyezésnek nevezik, és a becsületes kiértékelés egyik legnagyobb kihívása.

Miért hallucinál a modell

A nyelvi modellek egyik legfontosabb korlátja a hallucináció, vagyis amikor a modell magabiztosan olyasmit állít, ami nem igaz. Ez nem hiba a szó megszokott értelmében, hanem magának a működésnek a következménye. Idézzük fel az első leckét. A modell a legvalószínűbb folytatást keresi, nem az igazságot. Ha egy kérdésre nyelvileg meggyőzően hangzik egy válasz, a modell akkor is előállíthatja, ha annak nincs valóságalapja. Nincs benne külön ellenőrző lépés, amely megnézné, hogy az állítás megfelel-e a tényeknek. Ami hihetően folytatja a szöveget, azt a modell kimondja, függetlenül attól, hogy igaz-e.

Ami a tudásból hiányzik

A hallucináció mellett több szerkezeti korlát is jellemzi a modelleket. A tudásuk egy adott időpontban lezárul, mert azt tanulták, ami a tanítóadatban volt, és az azóta történt eseményekről önmagukban nem tudnak. Az adatból örökölt torzítások (bias) is beépülnek, hiszen a modell azt tükrözi, ami a szövegekben gyakori volt, beleértve az emberi előítéleteket is. Emellett egyszerre csak korlátozott mennyiségű szöveget képesek figyelembe venni, ez a szövegkörnyezet ablaka (context window). Ami ezen kívül esik, azt a modell nem látja, így egy nagyon hosszú dokumentum eleje kieshet a képből.

Hogyan használjuk felelősen

A korlátok ismerete nem a modell ellen szól, hanem a helyes használat feltétele. A fontos, ellenőrizhető tényeket érdemes független forrásból visszaigazolni, különösen nevek, számok, dátumok és hivatkozások esetén. A friss információt igénylő feladatoknál számolni kell a tudás lezárásával. Ahol a döntésnek súlya van, ott az ember marad a felelős, a modell pedig segédeszköz. Így összeáll a teljes kép. A nyelvi modell a következő token jóslására épül, ebből nő ki minden képessége, és ugyanebből fakadnak a korlátai is. Aki érti ezt az alapot, az reálisan tudja megítélni, mire számíthat tőle és mire nem.

Forrás

A Stanford CS336 Language Modeling from Scratch és a Stanford CS224n Natural Language Processing with Deep Learning kurzusok nyilvános anyagai alapján, magyar feldolgozásban.