Tanulás jutalomból
Gondoljunk arra, hogyan tanul járni egy kisgyerek. Senki nem ad neki képletet a lépéshez. Próbálkozik, elesik, megkapaszkodik, és amikor sikerül néhány lépés, az öröm és a haladás megerősíti a jó mozdulatot. A megerősítéses tanulás pontosan ezt a logikát viszi a gépbe. A rendszer nem kap kész helyes válaszokat, hanem cselekszik egy környezetben, és minden cselekvés után visszajelzést kap arról, hogy jó vagy rossz irányba haladt. Ezt a visszajelzést jutalomnak nevezzük.
A jutalom lehet pozitív, ha a cselekvés közelebb vitt a célhoz, és lehet negatív, ha távolabb. A rendszer célja, hogy hosszú távon a lehető legtöbb jutalmat gyűjtse össze. Nem egyetlen lépésre optimalizál, hanem a lépések egész sorára. Ez fontos különbség, mert néha egy azonnal kevésbé kifizetődő lépés vezet a végén a legjobb eredményhez. A gépnek meg kell tanulnia türelmesnek lenni, és a pillanatnyi jutalom helyett a végső eredményt nézni.
Miért illik ez a döntéssorozatokhoz
A megerősítéses tanulás olyan feladatokban erős, ahol egymás után sok döntést kell hozni, és a siker csak a végén derül ki. Egy játékban a győzelem csak az utolsó lépés után látszik, mégis a korábbi lépések vezettek oda. Egy robotnál a cél elérése sok apró mozdulat összegének eredménye. Ezekben az esetekben nincs értelme minden egyes lépéshez helyes választ mellékelni, mert magunk sem tudnánk megmondani, melyik köztes lépés volt önmagában jó. Csak a végkimenetel árulkodik.
A rendszer ezt úgy oldja meg, hogy nagyon sokszor végigjátssza a feladatot. Kezdetben szinte véletlenül cselekszik, és rengetegszer kudarcot vall. De minden lejátszott menetből tanul valamit arról, hogy milyen helyzetben milyen lépés vezetett később jutalomhoz. Ezt a tudást fokozatosan finomítja, amíg egyre ügyesebben választ. Ezért van, hogy a megerősítéses tanulás gyakran hatalmas mennyiségű próbálkozást igényel, akár emberi léptékkel felfoghatatlanul sokat.
A felfedezés és a kiaknázás feszültsége
A megerősítéses tanulás szívében egy döntés áll, amely az emberi életből is ismerős. Ha találtunk egy éttermet, amelyik biztosan jó, akkor menjünk mindig oda, vagy próbáljunk ki néha egy újat, hátha még jobbat találunk. A bevált választása a kiaknázás. A már ismert jó megoldást használjuk, mert biztos a jutalom. Az új kipróbálása a felfedezés. Kockázatot vállalunk, hátha valami még jobbat találunk, amiről eddig nem tudtunk.
A gép ugyanezzel a feszültséggel néz szembe. Ha csak kiaknáz, akkor beragad az első elfogadható megoldásba, és sosem talál rá a nála jobbra. Ha csak felfedez, akkor örökké próbálgat, és sosem használja ki, amit már megtanult. A jó tanulás a kettő egyensúlya. Kezdetben többet felfedez, mert még keveset tud, később egyre inkább a bevált megoldásra támaszkodik, ahogy nő a tapasztalata. Ez a lassú átbillenés a felfedezéstől a kiaknázás felé a hatékony tanulás egyik titka.
Felfedezés
- Új, még ki nem próbált lépés
- Kockázatos, de tanít
- Rátalálhat egy jobb megoldásra
- A tanulás elején hasznos
Kiaknázás
- A már ismert jó lépés
- Biztosabb jutalom
- Nem talál új lehetőséget
- Később, a tapasztalattal erősödik
Miért érdemes ezt ismerni
A megerősítéses tanulás számos ismert eredmény mögött áll, a játékokban emberfeletti szintet elérő rendszerektől a robotika egyes megoldásaiig. A felhasználó számára azonban nem a technikai részlet a legfontosabb, hanem a felfedezés és kiaknázás gondolata, mert ez egy általános igazságra mutat rá. Bármilyen rendszer, amelyik tanulni akar, kénytelen néha rosszabb megoldást is kipróbálni, hogy ne ragadjon be. A tökéletesen óvatos, mindig a biztosat választó viselkedés nem tanul.
Ez a szemlélet a mai, párbeszédre képes rendszerek finomhangolásában is szerepet játszik, ahol emberi visszajelzés alakítja a modell viselkedését aszerint, hogy mely válaszok hasznosabbak. A jutalom itt nem pontszám egy játékban, hanem az, hogy egy válasz mennyire volt segítőkész és megbízható. A következő leckében a mai AI legfontosabb építőelemét vesszük szemügyre, a neurális hálót, amely mindezt a tanulást a háttérből lehetővé teszi.
A jutalom megtervezése nem apróság
A megerősítéses tanulásnál minden azon múlik, mit jutalmazunk. A rendszer ugyanis pontosan azt fogja megtanulni, amit a jutalom díjaz, akkor is, ha az nem az, amit valójában szerettünk volna. Ha egy takarítórobotot azért jutalmazunk, mert sok szemetet szed össze, könnyen megtörténhet, hogy megtanulja szétszórni, majd újra összeszedni ugyanazt, mert így több jutalmat gyűjt. A gép nem csal, egyszerűen a megadott célt követi a lehető leghatékonyabban. A hiba nem benne van, hanem a rosszul megfogalmazott jutalomban.
Ez a jelenség jól mutatja, mennyire fontos gondosan meghatározni, mit tekintünk sikernek. A jó jutalom azt méri, ami tényleg számít, nem egy könnyen kijátszható helyettesítőt. Ugyanez a gondolat a hétköznapokban is ismerős. Ha egy csapatot csak a lezárt ügyek száma alapján értékelünk, könnyen a minőség rovására siettetik a munkát. A tanulság közös. Bármilyen rendszer, legyen gép vagy ember, aszerint viselkedik, ahogyan mérik. Egy AI rendszer bevezetésekor ezért az egyik legfontosabb kérdés nem az, hogyan tanul, hanem hogy pontosan mit jutalmazunk vele.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →