Állapot és cselekvés
Az állapot azt írja le, milyen helyzetben van most a környezet, annyi információval, amennyi a döntéshez kell. Egy táblajátékban az állapot a tábla aktuális állása, egy robotnál a helyzete és sebessége. A cselekvés az, amit az ágens egy adott állapotban választhat. A lehetséges cselekvések halmaza lehet véges, mint egy lépés balra vagy jobbra, és lehet folytonos is, mint egy kormányzási szög. A megerősítéses tanulásban gyakran feltételezzük a Markov tulajdonságot, ami azt jelenti, hogy a jövő az aktuális állapottól függ, nem a teljes múlttól. Ez a keret a Markov döntési folyamat (Markov decision process), a terület matematikai alapja.
A politika
A politika az ágens viselkedési szabálya, amely megmondja, egy adott állapotban mit tegyen. Kétféle lehet. A determinisztikus politika minden állapothoz egy konkrét cselekvést rendel. A sztochasztikus politika ezzel szemben valószínűségeket ad a lehetséges cselekvésekhez, tehát ugyanabban az állapotban különböző lépéseket választhat különböző esélyekkel. A megerősítéses tanulás célja végső soron egy jó politika megtalálása, olyané, amely a lehető legtöbb hosszú távú jutalmat gyűjti. Amikor egy ágens tanul, valójában a politikáját finomítja.
- Az állapot megérkezikA környezet átadja az aktuális állapotot, ez a döntés kiindulópontja.
- A politika döntA politika alapján az ágens cselekvést választ, determinisztikusan vagy valószínűségekkel.
- Jutalom és következő állapotA környezet megadja az azonnali jutalmat és a következő állapotot.
- A hozam épülAz egymást követő jutalmak összeadódnak, ez a hozam, amelyet az ágens növelni akar.
Jutalom és hozam
A jutalom mindig egyetlen lépéshez tartozik, az azonnali visszajelzés. A hozam (return) ezzel szemben a jövőbeli jutalmak összege egy adott ponttól kezdve. A gyakorlatban a távoli jutalmakat általában diszkontáljuk, vagyis egy egynél kisebb szorzóval, a diszkontfaktorral (discount factor) csökkentjük a súlyukat. Így a közeli jutalom többet ér, mint a nagyon távoli, ami segít abban is, hogy a végtelen hosszú folyamatok hozama véges maradjon. A diszkontfaktor tehát azt fejezi ki, mennyire számít a jövő a jelenhez képest.
Az értékfüggvény
Az értékfüggvény azt becsüli meg, mennyi jutalmat várhatunk hosszú távon egy adott helyzetből, ha egy adott politikát követünk. Két gyakori alakja van. Az állapotérték, amelyet szokás V-vel jelölni, azt mondja meg, mennyi hozam várható egy állapotból kiindulva. A cselekvésérték, amelyet Q-val jelölünk, azt becsüli, mennyi hozam várható, ha egy adott állapotban egy adott cselekvést hajtunk végre, és utána a politikát követjük. Az értékfüggvény kulcsfontosságú, mert megmutatja, mennyire ígéretes egy helyzet, még akkor is, ha az azonnali jutalom ott éppen kicsi.
Jutalom
- Egyetlen lépéshez tartozik
- Azonnali visszajelzés a környezettől
- A környezet adja, nem az ágens becsli
- Rövid távú jelzés
Érték
- Egy állapot vagy cselekvés hosszú távú kilátása
- A jövőbeli hozam becslése
- Az ágens tanulja meg, nem közvetlen adat
- Hosszú távú jelzés
A Q érték egy állapot és egy cselekvés párjához tartozik. Azt becsüli, mennyi jövőbeli jutalom várható, ha egy adott állapotban egy adott lépést teszünk, majd tovább a politikát követjük. A következő lecke ezt a fogalmat építi tovább a Q-tanuláshoz.
Miért fontos ez a négy fogalom
Az állapot, a cselekvés, a politika és az értékfüggvény együtt adja a megerősítéses tanulás nyelvét. Szinte minden későbbi módszer e négy fogalom valamelyikét finomítja. Egyes eljárások az értékfüggvényt becslik meg, és abból vezetik le a politikát. Mások közvetlenül a politikát javítják. A következő leckében először egy alapvető feszültséget nézünk meg, amellyel minden ágens szembesül, ez a felfedezés és a kiaknázás közötti választás, majd rátérünk a konkrét tanulási módszerekre.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →