Hogyan dolgozott a visszacsatolt háló
A visszacsatolt háló egy sorozatot lépésről lépésre olvas be. Beveszi az első szót, kiszámol egy belső állapotot (rejtett állapot, hidden state), majd a második szóhoz ezt a rejtett állapotot is felhasználja, és így tovább. A rejtett állapot hordozza az addig látott szöveg összefoglalóját. Ez elegáns ötlet, de van egy fontos következménye. Minden lépés az előző lépés eredményére épül, ezért a számítás szigorúan sorosan halad. A tizedik szó feldolgozásához előbb végig kell menni az első kilencen.
Az első korlát. Nem lehet párhuzamosítani
Mivel minden lépés az előzőre épül, a visszacsatolt háló nem tudja a szavakat egyszerre feldolgozni. A mai gyorsítókártyák (GPU) ereje éppen a párhuzamosításban van, ezt viszont a soros feldolgozás nem engedi kihasználni. A hosszú sorozatok tanítása így lassú, és a modell mérete is nehezen skálázható. Az Attention Is All You Need tanulmány pontosan ezt a korlátot célozza meg, amikor teljesen elhagyja a visszacsatolást és a konvolúciót, és kizárólag a figyelem mechanizmusra épít. A szerzők azt írják, hogy az így kapott modell jobban párhuzamosítható, és jelentősen kevesebb idő alatt tanítható.
A második korlát. A távoli összefüggések
A nyelvben gyakran egy szó jelentése egy tőle távoli szótól függ. Egy hosszú mondatban a rejtett állapotnak nagyon sok lépésen keresztül kell átvinnie egy korai szó információját, hogy egy késői szónál még számítson. Minél nagyobb a távolság, annál nehezebb ezt az információt megőrizni, mert a rejtett állapot közben sok új szót is felvesz. A figyelem mechanizmus ezt a problémát gyökeresen másképp kezeli. Nem lépésről lépésre továbbít, hanem minden pozíció közvetlenül hozzáfér minden másik pozícióhoz, függetlenül a távolságtól.
Visszacsatolt háló (RNN)
- Soros feldolgozás, szó szó után
- Nem használja ki a párhuzamosítást
- A távoli összefüggés sok lépésen át gyengül
- Hosszú sorozatnál lassú a tanítás
Transzformer (figyelem)
- Minden pozíciót egyszerre dolgoz fel
- Kihasználja a gyorsítókártyák erejét
- Minden pozíció közvetlenül összeköt minden másikkal
- Gyorsabb, jobban skálázható tanítás
Két korlátot old fel egyszerre. A figyelem mechanizmus párhuzamosíthatóvá teszi a feldolgozást, és közvetlen utat ad minden pozíció között. Ez a két tulajdonság együtt tette lehetővé, hogy a transzformer sokkal nagyobb modellekre és sokkal több adatra skálázódjon, mint a korábbi visszacsatolt hálók.
Mit nyertünk vele
A transzformerrel a nyelvi feldolgozás két régi akadálya megszűnt. A gépi fordításban a tanulmány szerint a modell erős eredményt ért el, az angol német irányban 28,4 BLEU pontot, angol francia irányban 41,8 pontot, miközben a tanítás lényegesen rövidebb volt, mint a korábbi rendszereknél. A lényeg azonban nem egyetlen mérőszám. A fontos üzenet az, hogy a figyelem mechanizmus egy skálázható alapot adott, amelyre a mai nagy nyelvi modellek is épülnek. A következő leckékben lépésről lépésre felépítjük, hogyan is működik ez a mechanizmus, kezdve azzal, hogyan lesz a szövegből szám.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →