A dilemma
Képzeljük el, hogy egy új városban keresünk éttermet. Elmehetünk ahhoz, amelyikről tudjuk, hogy jó, ez a kiaknázás (exploitation). Vagy kipróbálhatunk egy ismeretlent, amely lehet, hogy csalódás lesz, de lehet, hogy jobb az eddigi kedvencnél, ez a felfedezés (exploration). A megerősítéses tanulásban az ágens ugyanezzel a feszültséggel néz szembe minden döntésnél. Ha mindig csak azt teszi, amiről már tudja, hogy jutalmat hoz, sosem talál rá egy esetleg jobb megoldásra. Ha viszont folyton új dolgokat próbál, elveszti a már megszerzett jutalmakat.
A többkarú rabló
A dilemma legtisztább példája a többkarú rabló (multi-armed bandit) probléma. Több karú játékgépet képzelünk el, amelyek mindegyike más, előre nem ismert eséllyel fizet. A cél, hogy sok húzás alatt a lehető legtöbbet nyerjük. Ha csak azt a kart húzogatjuk, amelyik eddig a legjobbnak tűnt, könnyen lemaradhatunk egy másik, valójában jobb karról, amelyet nem próbáltunk ki eleget. Ha viszont folyton váltogatunk, elpazaroljuk a húzásokat gyenge karokra. A jó stratégia egyensúlyt tart a kettő között, eleget kísérletezik ahhoz, hogy megbízható becslést kapjon, de közben ki is használja a jónak bizonyult karokat.
Túl sok kiaknázás
- Hamar beragad egy középszerű megoldásba
- Nem talál rá a jobb lehetőségekre
- A becslése egyoldalú marad
- Rövid távon jó, hosszú távon veszít
Kiegyensúlyozott stratégia
- Eleget próbálgat a megbízható becsléshez
- Kihasználja a jónak bizonyult lépéseket
- Idővel a felfedezés aránya csökken
- Hosszú távon több jutalmat gyűjt
Az epszilon-mohó stratégia
Az egyik legegyszerűbb és legelterjedtebb megoldás az epszilon-mohó (epsilon-greedy) stratégia. Az ötlet egyszerű. Az esetek nagy részében az ágens a jelenleg legjobbnak becsült cselekvést választja, ez a mohó rész. Egy kis eséllyel, amelyet epszilonnal jelölünk, viszont véletlenszerűen próbál valami mást, ez a felfedezés. Ha epszilon értéke például kicsi, akkor az ágens többnyire kiaknáz, de időnként kísérletezik. Ezzel garantálja, hogy minden cselekvést előbb vagy utóbb kipróbál, így a becslései sem maradnak vakfoltosak.
- Dobás egy véletlen számmalAz ágens minden lépés előtt eldönti, most felfedez vagy kiaknáz.
- Nagy eséllyel a legjobb lépésA mohó ágban a jelenleg legmagasabbra becsült cselekvést választja.
- Kis eséllyel véletlen lépésAz epszilon valószínűséggel valami mást próbál, hogy új tapasztalatot gyűjtsön.
- A becslés frissülA tapasztalt jutalom alapján pontosabbá válik, mennyit ér az adott lépés.
A felfedezés csökkenése az idővel
A gyakorlatban gyakran érdemes eleinte többet felfedezni, majd fokozatosan egyre inkább kiaknázni. A tanulás elején az ágens keveset tud, ezért megéri sokat kísérletezni. Ahogy megbízhatóbb becslései lesznek, egyre inkább támaszkodhat a tudására. Ezt sokszor úgy valósítják meg, hogy az epszilon értékét idővel csökkentik. Az alábbi ábra ezt a fokozatos átmenetet mutatja, a kezdeti erős felfedezéstől a késői, magabiztos kiaknázásig.
Az epszilon a felfedezés adagja. Egy kis, gyakran idővel csökkenő valószínűség, amellyel az ágens a legjobbnak hitt helyett véletlen lépést tesz. Ez tartja nyitva az utat a jobb megoldások felé, miközben a legtöbb lépésben már a tudását használja.
Miért kulcskérdés ez
A felfedezés és kiaknázás egyensúlya nem elméleti apróság, hanem gyakran a tanulás sikerén dönt. Egy rosszul beállított ágens vagy beragad egy gyenge megoldásba, mert sosem próbál eleget, vagy sosem konvergál, mert folyton véletlenszerűen viselkedik. A következő leckében megnézzük az egyik legismertebb konkrét tanulási módszert, a Q-tanulást, ahol ez az egyensúly közvetlenül megjelenik a cselekvésértékek tanulása közben.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →