Reinforcement learning és RLHF · Lecke 07

A jutalommodell és a PPO

Az RLHF két technikai magja a jutalommodell és a megerősítéses finomhangolás. Ebben a leckében megnézzük, hogyan tanul egy jutalommodell (reward model) emberi rangsorokból, és hogyan hangolja a PPO a nyelvi modellt a jutalom ellenében, egy fontos fékkel, a KL büntetéssel.

Vissza a tananyaghoz

A jutalommodell

A megerősítéses tanuláshoz jutalomszámra van szükség minden generált válaszhoz. Emberek nem tudnak minden egyes válaszra kézzel pontszámot adni, mert a tanulás rengeteg mintát igényel. Ezért az emberi ítéletet egy külön modellbe sűrítjük. A jutalommodell egy szöveget kap bemenetként, és egyetlen számot ad ki, amely azt fejezi ki, mennyire felel meg a válasz az emberi preferenciának. Ezt a modellt emberi összehasonlításokból tanítjuk. Egy adott kérdésre a rendszer több választ állít elő, az emberek pedig rangsorolják ezeket a jobbtól a rosszabb felé. A rangsorok megbízhatóbb jelet adnak, mint ha közvetlen pontszámot kérnénk, mert az összevetés következetesebb az emberek között.

Kérdés prompt válasz A válasz B válasz C válasz D Ember rangsorol B > A > D > C Jutalom modell Az emberi rangsorokból a jutalommodell megtanul számot adni bármely válaszra.
A jutalommodell tanítása. Egy kérdésre több válasz készül, az ember rangsorolja őket, és ebből tanul a modell egy jutalomszámot bármely új válaszhoz.

A megerősítéses finomhangolás

Ha megvan a jutalommodell, jöhet a tanulás lényegi lépése. A nyelvi modell itt a politika, amely válaszokat generál. A generált válaszokat a jutalommodell pontozza, és a nyelvi modellt úgy hangoljuk, hogy egyre magasabb jutalmat érjen el. Ehhez egy politika gradiens módszert használnak, a PPO-t, vagyis a Proximal Policy Optimization eljárást. A név magyarul közelítő politikaoptimalizálás. A lényege, hogy a politika frissítése óvatos, egyszerre nem tér el túl sokat a korábbitól. Ez a fékezett, közelítő lépés teszi a tanulást stabilabbá, ami a nyelvi modelleknél különösen fontos.

  1. Válasz generálásaA nyelvi modell, mint politika, választ ad egy bejövő kérdésre.
  2. PontozásA jutalommodell számot rendel a válaszhoz, aszerint mennyire felel meg az emberi preferenciának.
  3. KL büntetés levonásaA jutalomból levonjuk, ha a modell túl messze sodródik a kiindulási modelltől.
  4. PPO frissítésA modellt a korrigált jutalom felé, kis, közelítő lépéssel toljuk el, majd a kör ismétlődik.

Miért kell a KL büntetés

Van egy komoly veszély. Ha a modellt csak arra hajtjuk, hogy a jutalommodell pontszámát maximalizálja, könnyen elkezdhet olyan furcsa, mesterkélt szövegeket gyártani, amelyek a jutalommodellt becsapják, de emberi szemmel rosszak. Emellett elveszítheti a nyelvi minőségét is, amelyet az előtanításból hozott. Ezt fékezi a KL büntetés. Minden lépésben összevetjük a mostani modell szóeloszlásait a kiindulási modell eloszlásaival, és megbüntetjük az eltérést. Ez a büntetés a Kullback-Leibler divergencia egy skálázott változata, amely a válasz tokenjein mérve tartja vissza a modellt attól, hogy túl messze kerüljön az eredeti, előtanított modelltől.

Aktuális modell a tanuló politika Kiindulási modell referencia, rögzített KL eltérés mennyire sodródik Korrigált jutalom jutalommodell pontszáma mínusz a KL büntetés A PPO ezt a korrigált jutalmat maximalizálja, így a modell javul, de közel marad az eredetihez.
A tanulás során a jutalommodell pontszámából levonjuk a KL büntetést, amely a kiindulási modelltől való eltérést méri. Így a modell nem sodródik el veszélyesen messzire.

A három lépés együtt

Érdemes összerakni a teljes képet, ahogy az InstructGPT tanulmány leírja. Az első lépés a felügyelt finomhangolás emberi mintaválaszokon, ez adja a kiindulási modellt. A második a jutalommodell tanítása emberi rangsorokból. A harmadik a megerősítéses finomhangolás PPO-val, a jutalommodell ellenében, KL büntetéssel fékezve. A három lépés együtt alakítja az előtanított modellt olyanná, amely jobban követi az utasításokat és jobban igazodik az emberi elvárásokhoz.

KL

A KL büntetés a horgony. A PPO a jutalmat maximalizálja, a KL büntetés pedig visszahúzza a modellt a kiindulási modell felé. E kettő egyensúlya adja a jó eredményt, elég szabadságot a javuláshoz, de nem annyit, hogy a modell kijátssza a jutalmat vagy elveszítse a nyelvi minőségét.

Ami ebből következik

A jutalommodell és a PPO együtt teszi lehetővé, hogy emberi preferenciákból tanuljon egy nyelvi modell. Ez a folyamat hatékony, de nem tökéletes. A jutalommodell csak becslés, a KL büntetés csak fék, és a rendszer többféleképpen félresiklhat. A záró leckében pontosan ezeket a korlátokat nézzük meg, köztük a jutalom kijátszását, és megismerünk egy egyszerűbb alternatívát is.

← Előző lecke Következő lecke →

Workshop

AI Transformation Day

Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.

Érdekel a program →