Neurális hálók, a mai AI motorja

A mesterséges neuron

Egy mesterséges neuron több számot kap bemenetként, mindegyiket megszorozza egy súllyal, összeadja őket, és az eredményt egy aktivációs függvényen engedi át, amely eldönti, mekkora jelet ad tovább. A súlyok tárolják a tudást. Tanuláskor a hálózat ezeket hangolja apró lépésekben úgy, hogy a kimenet egyre közelebb kerüljön a helyes válaszhoz. Frank Rosenblatt 1958-ban leírt perceptronja ilyen egyetlen neuronból álló, tanulni képes gép volt, és már akkor nagy várakozásokat keltett.

Egyetlen neuron csak egyenes határvonallal elválasztható mintázatokat tud megkülönböztetni. Marvin Minsky és Seymour Papert 1969-ben megjelent Perceptrons című könyve ezt a korlátot mutatta ki, és a terület egy időre háttérbe szorult. A megoldást a rétegek egymásra építése hozta, a tanításukhoz pedig a hibavisszaterjesztés módszere adta meg a kulcsot. David Rumelhart, Geoffrey Hinton és Ronald Williams 1986-os Nature cikke tette ezt széles körben ismertté.

Miért most robbant be

A neurális hálók ötlete évtizedekkel idősebb a mai sikereknél. Az áttöréshez három dolognak kellett találkoznia, a nagy mennyiségű digitális adatnak, a grafikus processzorok olcsó párhuzamos számítási kapacitásának és a jobb tanítási fogásoknak. 2012-ben Alex Krizhevsky, Ilya Sutskever és Geoffrey Hinton mély konvolúciós hálója, az AlexNet, az ImageNet képfelismerő versenyen 15,3 százalékos hibaaránnyal nyert, miközben a második helyezett 26,2 százalékot ért el. Ettől az évtől számítjuk a mélytanulás korszakát.

A nyelvi modellekig vezető út

2017-ben a Google kutatói Attention Is All You Need című cikkükben bemutatták a transzformer felépítést, amely a figyelem mechanizmusával egy szöveg minden szavát egyszerre, egymáshoz viszonyítva dolgozza fel. Ez tette lehetővé, hogy a hálókat óriási szövegmennyiségen, párhuzamosan tanítsák. A mai nyelvi modellek ilyen transzformer hálók, amelyeknek a feladata első hallásra kiábrándítóan egyszerű, megjósolni a következő szórészletet.

Egy nyíregyházi élelmiszeripari cégnél a minőségügyi vezető azt kérdezte tőlem, miért tud verset írni a nyelvi modell, ha egy egyszerű táblázat összesítésénél eltéved. A válasz a felépítésben rejlik. Nyelvi mintázatokat tanult meg a háló, nem a számolás szabályait, ezért a számolást akkor végzi megbízhatóan, ha egy külső eszközt, például egy táblázatkezelőt vagy egy kódfuttatót hív meg hozzá. Aki ezt érti, az a modellt ott használja, ahol erős, és a többihez eszközt ad mellé.

Források és további olvasnivaló

University of Helsinki és MinnaLearn, Elements of AI, 5. fejezet, Neural network basics, How neural networks are built és Advanced neural network techniques. Frank Rosenblatt, The Perceptron, Psychological Review, 1958. Alex Krizhevsky, Ilya Sutskever és Geoffrey Hinton, ImageNet Classification with Deep Convolutional Neural Networks, NeurIPS, 2012. Ashish Vaswani és társai, Attention Is All You Need, NeurIPS, 2017. A következő szó jóslásáról ebben a cikkemben írtam vezetőknek.