A meglepő szabályszerűség
Amikor a kutatók egyre nagyobb modelleket tanítottak, egy meglepő mintát figyeltek meg. A modell teljesítménye nem ugrásszerűen, hanem egyenletesen, jól követhető görbe mentén javult, ahogy nőtt a mérete és a rendelkezésre álló adat. A veszteség, vagyis az az érték, ami azt méri, mennyit téved a modell a következő token jóslásában, kiszámíthatóan csökkent, ahogy egyre több erőforrást fektettek a tanításba. Ez a szabályszerűség a skálázási törvény (scaling law). Jelentősége abban áll, hogy előre megjósolhatóvá teszi, mennyivel lesz jobb egy nagyobb modell, mielőtt egyáltalán megépítenék.
Három tengely, amin skálázni lehet
A skálázásnak három egymással összefüggő tengelye van. Az első a paraméterek száma, vagyis a modell mérete, azok a belső, tanítható értékek, amelyekben a tudás tárolódik. A második a tanítóadat mennyisége, hány tokent lát a modell a tanítás során. A harmadik a számítási kapacitás, vagyis a tanításra fordított összes számítási munka. Ez a három nem független egymástól. Egy nagyobb modellhez több adat és több számítás kell, hogy az előnye tényleg megmutatkozzon. Ha csak az egyik tengelyen növelünk, a másik kettő hamar korlátot szab.
A számításilag optimális arány
Ha adott mennyiségű számítási kapacitás áll rendelkezésre, felmerül egy fontos kérdés. Érdemesebb egy nagyon nagy modellt kevesebb adaton tanítani, vagy egy kisebbet több adaton? A skálázási kutatás egyik fő eredménye éppen az, hogy erre nem tetszőleges a válasz. Létezik egy számításilag optimális arány a modell mérete és a tanítóadat mennyisége között. Ha a modell túl nagy a rendelkezésre álló adathoz képest, a kapacitás egy része kihasználatlan marad. Ha túl kicsi, akkor nem képes beépíteni mindazt, amit az adat kínálna. A jó arány megtalálása komoly gyakorlati előnyt jelent.
A kis kísérlettől a nagy modellig
A skálázási törvények gyakorlati haszna óriási. Mivel a javulás kiszámítható görbét követ, a kutatók néhány kisebb, olcsóbb modellt tanítanak be, felrajzolják a görbét, és abból megbecsülik, hol lesz egy sokkal nagyobb modell teljesítménye. Így elkerülhető, hogy egy hatalmas, drága tanítás után derüljön ki, hogy a beállítások rosszak voltak. A skálázás tehát nem csak azt magyarázza, miért lettek jobbak a modellek az évek során, hanem tervezhető mérnöki eszközzé is teszi a méret növelését.
Ahol a törvény határa van
Fontos látni, hogy a skálázás nem mindenható. A görbe kiszámítható, de a javulás üteme lassul, egyre több erőforrás kell ugyanakkora előrelépéshez. A tanítóadat sem végtelen, a valóban jó minőségű szöveg mennyisége korlátos. A skálázás önmagában azt sem oldja meg, hogy a modell kövesse az utasításokat, vagy hogy ne mondjon valótlanságot magabiztosan. Ezek a képességek nem egyszerűen a méretből fakadnak, hanem külön lépéseket igényelnek, amelyekkel a finomhangolásról szóló következő lecke foglalkozik.
Kiszámítható, de nem ingyen. A skálázási törvények megjósolhatóvá teszik, mennyivel lesz jobb egy nagyobb modell, ami tervezhetővé teszi a fejlesztést. A javulás azonban lassuló ütemben jön, és nem old meg minden problémát, csak a nyers jóslási pontosságot javítja.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →