A perceptron és a mesterséges neuron

A perceptron mint elemi egység

A perceptron a mélytanulás legkisebb építőeleme, egyetlen mesterséges neuron. Több bemenetet kap, ezeket számokként kezeli, és egyetlen kimenetet állít elő. A működése három lépésre bontható. Először minden bemenetet megszoroz a hozzá tartozó súllyal (weight). A súly azt fejezi ki, mennyire fontos az adott bemenet. Utána összeadja a súlyozott bemeneteket, és hozzáad egy torzítást (bias), amely a küszöböt tolja el. Végül az így kapott összeget átengedi egy aktivációs függvényen, amely megadja a végső kimenetet.

Az előreterjesztés

Azt a folyamatot, amikor a bemenetből a fenti lépéseken keresztül eljutunk a kimenetig, előreterjesztésnek (forward propagation) nevezzük. Fontos, hogy a súlyok és a torzítás azok a számok, amelyeket a háló a tanulás során állít be. A perceptron maga a számítási recept, a súlyok pedig az a tudás, amit a modell megtanul. Kezdetben ezek véletlenszerű értékek, tanítás után viszont pontosan úgy állnak be, hogy a háló a kívánt kimenetet adja.

Miért kell az aktivációs függvény

Az aktivációs függvény szerepe, hogy nemlinearitást vigyen a hálóba. Ez nem díszítés, hanem a lényeg. A világ legtöbb összefüggése nemlineáris, egy egyenes nem tudja jól leírni. Ha nem lenne aktivációs függvény, akkor bármilyen sok réteget is kötnénk egymás után, az egész háló összeomlana egyetlen lineáris modellé, és nem tudna görbe határvonalakat megtanulni. A nemlineáris aktivációval viszont a rétegek egymásra épülve tetszőlegesen összetett összefüggéseket képesek közelíteni.

A gyakorlatban több aktivációs függvény használatos. A szigmoid (sigmoid) a bemenetet nulla és egy közé nyomja össze, ezért valószínűségként értelmezhető kimenetet ad. A ReLU a negatív értékeket nullára vágja, a pozitívakat változatlanul átengedi, és éppen az egyszerűsége miatt lett a mély hálók egyik legelterjedtebb választása. A hiperbolikus tangens (tanh) a szigmoidhoz hasonló, de mínusz egy és egy közé képez.

Egy neurontól a mély hálóig

Egyetlen perceptron önmagában keveset tud. Az erő ott jelenik meg, amikor sok neuront egymás mellé teszünk egy rétegbe, majd sok réteget egymás mögé. Amikor egy réteg minden neuronja az előző réteg minden kimenetéhez kapcsolódik, azt teljesen kapcsolt vagy sűrű rétegnek (dense layer) nevezzük. Ha több ilyen réteget fűzünk össze, mély neurális hálót kapunk. A bemeneti és a kimeneti réteg között lévő rétegeket rejtett rétegeknek hívjuk, mert az értékeik nem közvetlenül megfigyelhetők, hanem a háló belső köztes reprezentációját hordozzák.