Miért skálázódik, és mi lett belőle

Miért skálázódik jól

A transzformer skálázhatóságának két gyökere van, és mindkettőt az eddigi leckékben már láttuk. Az első a párhuzamosíthatóság. Mivel nincs soros függés a pozíciók között, a teljes sorozatot egyszerre lehet feldolgozni, így a modern gyorsítókártyák teljes erejét ki lehet használni a tanításnál. A második a közvetlen kapcsolat. A figyelem minden pozíciót minden másikkal összeköt, ezért a hosszú összefüggések nem gyengülnek el. Ez a két tulajdonság együtt teszi lehetővé, hogy a transzformert egyre nagyobb adatra és egyre több paraméterre lehessen skálázni, és az eredmény továbbra is javuljon.

Két irány, egy alap

Az eredeti transzformer két félből állt, enkóderből és dekóderből. A későbbi modellek ezt a két félt gyakran külön is használják, és ebből két nagy irány alakult ki. Az egyik az enkóder alapú megközelítés, amely a teljes szöveget egyszerre, mindkét irányból nézi, ezért az egész szöveg megértését igénylő feladatokban erős. Ennek jól ismert képviselője a BERT, amelynek neve a Bidirectional Encoder Representations from Transformers kifejezésből ered, tehát kétirányú, enkóder alapú megjelenítés. A másik a dekóder alapú megközelítés, amely balról jobbra, szóról szóra generál, ahogy a 07. leckében a maszkolt figyelemnél láttuk.

Az enkóder és a dekóder ág

A dekóder alapú irány legismertebb családja a GPT, amelynek neve a Generative Pre-trained Transformer kifejezésből származik, tehát generatív, előre tanított transzformer. Ez a család a következő szó jóslására épül, ezért kiválóan alkalmas szöveg folytatására és előállítására. A mai nagy nyelvi modellek jelentős része ezt a dekóder alapú, generatív mintát követi. A lényeg, hogy mindkét irány ugyanarra az alapra épül, a figyelem mechanizmusra és a transzformer rétegeire, amelyeket az előző leckékben felépítettünk. A különbség elsősorban abban van, hogy melyik felét használják, és hogyan tanítják.

Amit a nyolc leckében felépítettünk

Végigmentünk a transzformer teljes útján. Láttuk, miért váltotta le a visszacsatolt hálót, hogyan lesz a szövegből token és beágyazás, és mi a figyelem alapötlete a query, key és value hármassal. Kiszámoltuk az önfigyelmet lépésről lépésre, a skálázott ponttermékes figyelem képletével. Megnéztük, miért futtat a modell több figyelmet párhuzamosan, hogyan kap sorrend információt a pozíciókódolással, és mi tartja stabilan a mély hálót. Összeraktuk a teljes enkóder-dekóder architektúrát, végül megnéztük, miért skálázódik, és milyen két nagy irány nőtt ki belőle. Ez az alap, amelyre a mai nyelvi modellek épülnek.

Forrás

A tananyag az Attention Is All You Need tanulmány (Vaswani és társai, 2017, arxiv 1706.03762) és a Stanford CS224n kurzus anyagai alapján készült, magyar feldolgozásban. A képletek, a dimenziók és a felépítés az eredeti tanulmányból származnak. A BERT és a GPT az enkóder alapú és a dekóder alapú irány ismert példái, amelyek ugyanerre a transzformer alapra épülnek.