Reinforcement learning és RLHF · Lecke 01

Mi a megerősítéses tanulás

A megerősítéses tanulás (reinforcement learning) az a terület, ahol egy ágens próbálgatással tanul meg jól dönteni egy környezetben, a kapott jutalom alapján. Ebben a leckében tisztázzuk az ágens, a környezet és a jutalom hármasát, és megnézzük, miben tér el ez a felügyelt és a nem felügyelt tanulástól.

Vissza a tananyaghoz

Tanulás cselekvésből, nem címkékből

A gépi tanulás legtöbb formájában egy kész adathalmazból dolgozunk. A felügyelt tanulásnál minden példához adott a helyes válasz, a modell ezt utánozza. A megerősítéses tanulás más logikát követ. Itt nincs előre megadott helyes válasz minden helyzetre. Ehelyett egy ágens (agent) cselekszik egy környezetben (environment), és a döntéseiért időnként jutalmat (reward) kap, ami egy egyszerű szám. A cél az, hogy az ágens olyan viselkedést tanuljon meg, amely hosszú távon a lehető legtöbb jutalmat gyűjti össze.

Ez a keret jól illeszkedik azokhoz a feladatokhoz, ahol a döntéseknek következményük van, és a következmény csak később derül ki. Egy sakkjátszmában egy lépés jósága gyakran csak sok lépéssel később mutatkozik meg. Egy robotnál egy mozdulat akkor jó, ha a teljes mozgássorozat célt ér. A megerősítéses tanulás pontosan ezt a próbálgatásos, következményekre épülő tanulást formalizálja.

Ágens agent Környezet environment cselekvés action állapot + jutalom state + reward A kör újra és újra lefut, minden fordulóban egy döntés és egy visszajelzés.
A megerősítéses tanulás alapköre. Az ágens cselekszik, a környezet új állapottal és egy jutalomszámmal válaszol, majd a folyamat kezdődik elölről.

A három szereplő

Az egész keret három fogalomra épül. Az ágens az, aki dönt, ez a tanuló rendszer. A környezet minden más, amivel az ágens kölcsönhat, és ami a döntésekre reagál. A jutalom egy szám, amelyet a környezet ad minden lépés után, és amely megmondja, mennyire volt kedvező az adott helyzet vagy döntés. Az ágens nem kapja meg, hogy mi lett volna a helyes lépés. Csak azt tapasztalja meg, hogy amit tett, az mennyi jutalmat hozott, és ebből kell következtetnie a jó viselkedésre.

  1. Az ágens megfigyeli az állapototA környezet aktuális helyzetét egy állapot (state) írja le, ezt látja az ágens.
  2. Az ágens cselekszikA látott állapot alapján kiválaszt egy cselekvést a lehetséges lépések közül.
  3. A környezet reagálÚj állapotba kerül, és visszaad egy jutalomszámot, amely a lépés kedvezőségét jelzi.
  4. Az ágens tanulA tapasztalt jutalom alapján finomítja, hogy a jövőben hasonló helyzetben mit tegyen.

Miben más, mint a felügyelt tanulás

A különbség nem apró technikai részlet, hanem a tanulás egész természetét érinti. A felügyelt tanulás statikus adathalmazból dolgozik, ahol minden bemenethez adott a helyes kimenet. A megerősítéses tanulás ezzel szemben nem kap kész helyes válaszokat. Az ágens maga hozza létre a tapasztalatait azzal, hogy cselekszik, és csak egy értékelő jelet, a jutalmat kapja vissza. Ráadásul a döntései befolyásolják, milyen helyzetekbe kerül a jövőben, tehát az adat, amiből tanul, függ attól, hogyan viselkedik.

Felügyelt tanulás

  • Kész adathalmaz címkékkel
  • Minden példához adott a helyes válasz
  • A modell a helyes választ utánozza
  • A tanulóadat rögzített, nem változik

Megerősítéses tanulás

  • Nincs kész helyes válasz
  • Csak jutalomjel érkezik a döntésekre
  • Próbálgatással alakul ki a viselkedés
  • Az ágens maga hozza létre a tapasztalatát

A jutalom nem azonnali

A megerősítéses tanulás egyik legfontosabb sajátossága a késleltetett jutalom. Egy döntés jó vagy rossz volta gyakran nem derül ki azonnal. Egy társasjátékban a nyerés vagy vesztés csak a végén jelenik meg, mégis a korábbi lépések vezettek oda. Ezért az ágens nem egyetlen lépés azonnali jutalmát próbálja maximalizálni, hanem a jövőbeli jutalmak összegét, amelyet gyakran hozamnak (return) nevezünk. Ez a hosszú távú szemlélet teszi a feladatot igazán nehézzé, mert a jelen döntéseit a jövőbeli következményekhez kell kötni.

Σ

A cél a jutalmak összege. Az ágens nem az azonnali jutalmat, hanem a jövőben megszerezhető jutalmak összegét igyekszik maximalizálni. Ezért egy pillanatnyilag kisebb jutalmat is választhat, ha az hosszú távon jobb helyzetbe vezet.

Hol találkozunk vele

A megerősítéses tanulás sikeresen oldott meg olyan feladatokat, ahol a jó viselkedést nehéz előre leírni, de a végeredmény értékelhető. Ide tartozik a játékok mesteri szintű megtanulása, a robotmozgás vezérlése és számos vezérlési feladat. Ebben a kurzusban végigvezetjük az alapokat, majd a hatodik leckétől megnézzük, hogyan alkalmazzák ugyanezt a keretet a nagy nyelvi modellek emberi visszajelzéshez igazítására, ez az RLHF. A következő leckében a keret pontos fogalmait vesszük sorra, az állapottól a politikán át az értékfüggvényig.

Következő lecke →

Workshop

AI Transformation Day

Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.

Érdekel a program →