A transformer architektúra érthetően

A távoli összefüggések problémája

A nyelv tele van olyan kapcsolatokkal, amelyek messze esnek egymástól a mondatban. Vegyük ezt a mondatot. A kulcsot, amelyet tegnap a fiókban hagytam, ma megtaláltam. Ahhoz, hogy értsük, mit találtam meg, a mondat végén vissza kell nyúlni egészen az elejére, a kulcshoz. A közéjük ékelődő rész elterelheti a figyelmet, de az emberi olvasó könnyen összeköti a távoli részeket. A gépnek ez sokáig nehéz volt.

A korábbi nyelvi rendszerek a szöveget sorban, szóról szóra dolgozták fel, és menet közben egyre nehezebben tartották fejben a régebbi részeket. Minél távolabb esett két összetartozó szó, annál könnyebben elveszett a kapcsolatuk. Ez komoly korlát volt, mert a hosszabb, összetettebb szövegek éppen a távoli összefüggésekből nyerik az értelmüket. A megoldás egy másféle feldolgozási mód volt.

A figyelmi mechanizmus

A transformer kulcsötlete a figyelem, angolul attention. A lényege, hogy amikor a modell egy adott szót dolgoz fel, egyszerre az egész addigi szövegre rálát, és minden korábbi szónál eldönti, mennyire fontos most éppen. A fontos szavakra jobban figyel, a lényegtelenekre kevésbé. A figyelem tehát nem egyenletes, hanem célzott. A modell mintegy súlyozza, mely korábbi szavak számítanak a mostani szó megértéséhez.

Térjünk vissza a kulcsos mondatra. Amikor a modell a megtaláltam szóhoz ér, a figyelmi mechanizmus segít neki erősen a kulcs szóra összpontosítani, függetlenül attól, milyen messze van. A közbeékelt részekre kevésbé figyel. Így a modell képes összekötni a távoli, de összetartozó részeket, méghozzá anélkül, hogy sorban végig kellene cipelnie az egész korábbi szöveget. Egyszerre látja az egészet, és maga választja ki, mi releváns.

Miért lett ebből áttörés

A figyelmi megközelítésnek két nagy előnye van. Az egyik, hogy jól kezeli a távoli összefüggéseket, ahogy láttuk. A másik, hogy a szöveget nem kell szigorúan egyesével, sorban feldolgozni. A transformer sok részt párhuzamosan képes átnézni, egyszerre. Ez a párhuzamosság óriási gyakorlati előny, mert lehetővé teszi, hogy hatalmas szövegmennyiségen, elfogadható idő alatt tanítsuk be a modellt. A korábbi, szigorúan sorban dolgozó megközelítések ehhez túl lassúak voltak.

Éppen ez a kombináció nyitotta meg az utat a mai nagy nyelvi modellek előtt. A jobb összefüggéskezelés jobb megértést hozott, a párhuzamosság pedig lehetővé tette a korábban elképzelhetetlen méretű tanítást. Amikor tehát a transformer architektúráról halljuk, hogy megváltoztatta a területet, akkor nem egy apró technikai finomításról van szó, hanem arról a felépítésről, amely a nyelvi modellek egész mostani nemzedékét lehetővé tette.

A figyelem előnye a hétköznapi használatban is tetten érhető. A modell hosszú szövegben is nyomon tudja követni, ki kicsoda, mire vonatkozik egy visszautaló szó, és melyik korábbi állításra épül egy következtetés. Amikor egy több bekezdéses szöveget foglaltatunk össze vele, éppen ez a képessége teszi lehetővé, hogy a lényeget kiemelje, és a távoli részeket összekösse. A régebbi rendszerek pont ebben botlottak el, mert a szöveg elejét addigra elveszítették. A transformer nem varázslat, hanem egy jól megválasztott felépítés, amely a nyelv természetes szerkezetéhez igazodik.

Amit ebből érdemes megjegyezni

Nem kell a matematikai részleteket ismerni ahhoz, hogy hasznos képünk legyen a transformerről. Elég annyi, hogy a modell egy szó feldolgozásakor egyszerre látja az egész eddigi szöveget, és maga súlyozza, mi fontos most. Ez a képessége teszi lehetővé, hogy hosszú szövegben is összekösse a távoli, de összetartozó részeket. Ez a magyarázata annak is, miért érdemes a promptban közel tartani a lényeget és világosan fogalmazni, hiszen a modell arra figyel, amit kap.

Az is fontos, hogy a modell figyelme az adott beszélgetés vagy szöveg keretén belül működik. Amit egyszerre lát, azt össze tudja kötni, ami viszont kicsúszik a látóköréből, az elveszik számára. Ezt a látókört hívják kontextusablaknak, és ennek a mérete határozza meg, mennyi szöveget képes a modell egyszerre figyelembe venni. A következő leckében ott folytatjuk, hogy hogyan tudjuk mi magunk jól irányítani ezt a figyelmet, amikor promptot írunk.

Előbb a nyelv, aztán a viselkedés

Érdemes megérteni, hogyan lesz a puszta szövegjósló gépből az a segítőkész asszisztens, amellyel beszélgetünk. Ez két nagy szakaszban történik. Az elsőben a modell hatalmas mennyiségű szövegen gyakorolja a következő szórészlet előrejelzését. Ekkor tanulja meg magát a nyelvet, a tényeket, a fogalmak közti összefüggéseket, mindazt, ami a szövegekben benne volt. Ennek a szakasznak a végén a modell rendkívül jól folytat szöveget, de még nem feltétlenül úgy viselkedik, ahogy egy jó asszisztenstől elvárnánk.

A második szakaszban a modellt ráhangolják a kívánt viselkedésre. Emberi visszajelzés alapján megtanulja, milyen válaszok hasznosak, udvariasak és biztonságosak, és melyeket érdemes kerülnie. Ez az a lépés, amely a nyers szövegjóslóból beszélgetőpartnert farag. A transformer felépítése mindkét szakaszt lehetővé teszi, ugyanaz a gép tanulja meg a nyelvet, majd a helyes viselkedést. Ha ezt a két lépést fejben tartjuk, jobban értjük, miért tud a modell egyszerre óriási tudásról tanúskodni, és mégis egy adott stílusban, keretek között válaszolni. A tudás az első szakaszból jön, a modor a másodikból.