Megerősítéses tanulás és a mélytanulás határai

Tanulás próbálkozásból

Az eddigi leckékben a modell kész példákból tanult, akár címkékkel, akár azok nélkül. A megerősítéses tanulás (reinforcement learning) más helyzetből indul. Itt egy ágens (agent) cselekszik egy környezetben, és a tetteiért jutalmat vagy büntetést kap. Nincs előre megadott helyes válasz minden helyzetre, az ágensnek magának kell kikísérleteznie, mely cselekvések vezetnek hosszú távon jó eredményre. Ez a keret jól illik olyan feladatokra, ahol a döntések egymásra épülnek, például játékokra vagy robotok vezérlésére.

Az alapfogalmak

A megerősítéses tanulásnak néhány visszatérő fogalma van. Az ágens az, aki dönt és cselekszik. A környezet (environment) az, amiben az ágens működik, és amire a tettei hatnak. Az állapot (state) a környezet pillanatnyi helyzete, amit az ágens érzékel. A cselekvés (action) az, amit az ágens az adott állapotban tehet. A jutalom (reward) az a visszajelzés, amit a környezet a cselekvésre ad, és amit az ágens maximalizálni próbál, méghozzá nem egyetlen lépésre, hanem hosszú távon összegezve. A házirend vagy stratégia (policy) pedig az a szabály, amely megmondja, az ágens melyik állapotban milyen cselekvést válasszon.

Érték és házirend tanulása

Két fő megközelítés létezik arra, hogyan találja meg az ágens a jó viselkedést. Az egyik az érték tanulása. Itt a modell azt tanulja meg, mennyire értékes egy adott állapotban egy adott cselekvés, vagyis mennyi jövőbeli jutalom várható tőle. Ezt fejezi ki a Q-függvény, és a mélytanulással kombinált változata a mély Q-háló (deep Q-network). Ha ismerjük minden cselekvés értékét, a döntés egyszerű, mindig a legértékesebbet választjuk. A másik út a házirend közvetlen tanulása. Itt nem az értéket becsüljük, hanem magát a döntési szabályt hangoljuk úgy, hogy a várható jutalom nőjön. Ezt hívjuk házirend gradiens (policy gradient) módszernek.

Hol tart és hol nem

A megerősítéses tanulás látványos eredményeket ért el olyan zárt, jól definiált világokban, mint a társasjátékok vagy a videojátékok, ahol a szabályok pontosak és a jutalom egyértelmű. A valós, nyitott környezetekben azonban nehezebb dolga van, mert ott a jutalom ritka és késleltetett, a próbálkozás pedig költséges vagy veszélyes lehet. Ez jó átvezetés a tananyag záró gondolatához, ahhoz, hogy a mélytanulás minden erejével együtt is vannak világos korlátai.

A mélytanulás határai

Fontos józanul látni, mit nem tud a mélytanulás. Először is sok adatot és jelentős számítási kapacitást igényel, ami nem minden feladatnál áll rendelkezésre. Másodszor gyengén általánosít a tanításától távol eső helyzetekre, könnyen elbizonytalanodik olyan bemeneten, amilyet nem látott. Harmadszor sérülékeny az ellenséges példákkal (adversarial example) szemben, amikor a bemenet apró, szemmel alig észrevehető megváltoztatása is teljesen téves választ csalhat ki a modellből. Negyedszer a tanítóadat torzításait átveszi és felerősíti, így az adatban rejlő elfogultság a modell döntéseiben is megjelenik. Végül a mély hálók nehezen átláthatók, gyakran nem adnak világos magyarázatot arra, miért döntöttek úgy, ahogy.

Forrás

A tananyag a MIT 6.S191 Introduction to Deep Learning kurzus szerkezetét és fogalmait követi (Alexander Amini, Ava Soleimany, introtodeeplearning.com), magyar feldolgozásban.