Reinforcement learning és RLHF · Lecke 05

Politika gradiens módszerek

Az előző leckében az értékalapú megközelítést láttuk, ahol az ágens az értékekből vezeti le a politikát. Most a másik nagy családot nézzük meg. A politika gradiens (policy gradient) módszerek közvetlenül a politikát javítják, a jól sikerült lépések valószínűségét növelve.

Vissza a tananyaghoz

Két út ugyanahhoz a célhoz

A megerősítéses tanulás módszereit nagyjából két családba sorolhatjuk. Az értékalapú (value-based) módszerek, mint a Q-tanulás, előbb az értékeket becslik meg, és ezekből olvassák ki a legjobb lépést. A politikaalapú (policy-based) módszerek ezzel szemben nem kerülnek az értékek megbecslésén, hanem magát a politikát paraméterezik, és közvetlenül azt hangolják. Ilyenkor a politika egy modell, gyakran egy neurális háló, amely a bemeneti állapotból közvetlenül a cselekvések valószínűségeit adja ki.

Állapot state Politika háló policy π valószínűségek fel 0,70 le 0,20 bal 0,10 A politika háló közvetlenül a cselekvések valószínűségeit adja ki.
A politikaalapú megközelítésben a modell a bemeneti állapotból közvetlenül a lehetséges cselekvések valószínűségeit számítja ki, és ebből mintavételez.

Az alapötlet

A politika gradiens gondolata meglepően intuitív. Az ágens lejátszik egy vagy több teljes menetet a jelenlegi politikájával, és megnézi, mennyi hozamot ért el. Ezután úgy módosítja a politika paramétereit, hogy a magas hozamhoz vezető cselekvések valószínűsége nőjön, a gyenge hozamhoz vezetőké pedig csökkenjen. Ha egy lépéssorozat jól sült el, a rendszer megerősíti az abban szereplő döntéseket, ha rosszul, gyengíti azokat. Ezt a módosítást a gradiens iránya adja meg, innen a módszer neve. Sok ilyen kis igazítás után a politika egyre nagyobb valószínűséggel választja a jó lépéseket.

  1. Menet lejátszásaAz ágens a jelenlegi politikájával végigjátszik egy vagy több epizódot.
  2. Hozam méréseKiszámolja, mennyi jutalmat gyűjtött összesen az adott menetben.
  3. Cselekvések súlyozásaA jó hozamhoz vezető lépéseket megerősíti, a gyengéket gyengíti.
  4. Paraméterek frissítéseA politika paramétereit a gradiens irányába lépteti, majd új menet indul.

Miért éri meg a közvetlen út

A politikaalapú megközelítésnek van néhány fontos előnye. Természetesen kezeli a folytonos cselekvéseket, például egy kormányzási szöget vagy egy nyomatékot, ahol az összes lehetséges lépés végigpróbálgatása nem lenne értelmezhető. Emellett képes valódi sztochasztikus politikát tanulni, ahol a jó viselkedés maga is valamennyi véletlent tartalmaz, ami sok feladatban hasznos. A hátránya, hogy a hozam nagy változékonysága miatt a tanulás zajos lehet, és a frissítések bizonytalanok. Éppen ezt a problémát enyhítik a fejlettebb változatok.

Értékalapú

  • Előbb az értékeket becsli
  • Ebből vezeti le a legjobb lépést
  • Jól illik véges cselekvéshalmazhoz
  • Példa, a Q-tanulás és a DQN

Politikaalapú

  • Közvetlenül a politikát hangolja
  • Természetesen kezel folytonos cselekvést
  • Sztochasztikus politikát is tanul
  • Alapja a későbbi PPO módszernek

Színész és kritikus

A gyakorlatban gyakran ötvözik a két megközelítést. A színész-kritikus (actor-critic) elrendezésben két rész dolgozik együtt. A színész a politika, amely a lépéseket választja. A kritikus egy értékbecslő, amely megmondja, mennyire volt jó a helyzet, amelybe a színész került. A kritikus visszajelzése stabilabbá és kevésbé zajossá teszi a politika frissítését, mint ha csak a nyers hozamra támaszkodnánk. Ez a felépítés adja számos modern módszer vázát, köztük annak is, amelyet a hetedik leckében a nyelvi modellek finomhangolásánál látunk viszont.

Színész a politika, lépéseket választ Kritikus értékbecslő, jelzést ad a választott lépés mennyire volt jó a helyzet A kritikus jelzése stabilabbá teszi a politika frissítését a nyers hozam zaja helyett irányítottabb tanulás
A színész-kritikus felépítésben a politika és egy értékbecslő együtt dolgozik. A kritikus visszajelzése kevésbé zajos irányt ad a politika javításához.

Ahová ez mutat

A politika gradiens a megerősítéses tanulás egyik legrugalmasabb eszközcsaládja, és ez a híd a kurzus második feléhez. A nyelvi modellek finomhangolásánál ugyanis pontosan egy politika gradiens módszert, a PPO-t használják. Mielőtt odaérnénk, a következő leckében megnézzük, miért van egyáltalán szükség megerősítéses tanulásra a nyelvi modelleknél, és mit jelent az RLHF.

← Előző lecke Következő lecke →

Workshop

AI Transformation Day

Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.

Érdekel a program →