Reinforcement learning és RLHF · Lecke 08

Korlátok, jutalomhamisítás, alternatívák

Az RLHF erős, de nem hibátlan. A modell kijátszhatja a jutalommodellt, a folyamat pedig összetett és sok emberi munkát igényel. Ebben a záró leckében a jutalomhamisítást (reward hacking) és más korlátokat nézzük meg, majd megismerünk egy egyszerűbb alternatívát, a DPO-t.

Vissza a tananyaghoz

A jutalommodell csak helyettesítő

Fontos tudatosítani, hogy a jutalommodell nem maga az emberi preferencia, hanem annak egy tanult közelítése. Egy helyettesítő jel, amely a legtöbb esetben jól működik, de nem tökéletes. Amikor a nyelvi modellt nagyon erősen ráhajtjuk erre a jelre, a rendszer megtalálhatja a jutalommodell gyenge pontjait. Ilyenkor olyan válaszokat kezd gyártani, amelyek a jutalommodell szerint kiválóak, valójában viszont nem jobbak, néha kifejezetten rosszabbak. Ez a jutalomhamisítás lényege, a modell nem a valódi célt éri el, hanem a mérőszámot csalja meg.

egyre erősebb optimalizálás a jutalommodellre jutalommodell pontszáma valódi minőség itt kezd szétválni
A jutalomhamisítás sematikus képe. Egy pontig a jutalommodell pontszáma és a valódi minőség együtt nő, de túl erős optimalizálásnál a mért pontszám tovább emelkedik, miközben a valódi minőség romlik.

A folyamat többi korlátja

A jutalomhamisítás mellett más gyengeségek is vannak. A teljes RLHF folyamat összetett, mert három egymásra épülő szakaszból áll, a felügyelt finomhangolásból, a jutalommodell tanításából és a PPO lépésből. Ez sok mozgó alkatrészt és gondos hangolást igényel. Emellett rengeteg emberi összehasonlításra van szükség, ami költséges és lassú. A jutalommodell öröklheti az emberi értékelők torzításait is, és a modell megtanulhat hízelgővé válni, vagyis azt mondani, amit a felhasználó hallani szeretne, a pontos válasz helyett. Ezek nem jelentik azt, hogy az RLHF rossz, csak azt, hogy körültekintéssel kell alkalmazni.

  1. A jel csak közelítésA jutalommodell az emberi preferencia tanult helyettesítője, nem maga a preferencia.
  2. Túlzott optimalizálásHa a modellt túl erősen ráhajtjuk a jelre, megtalálja annak gyenge pontjait.
  3. A minőség szétválik a pontszámtólA jutalom nő, de a valódi minőség már nem, sőt romolhat.
  4. Fékek kellenekA KL büntetés, a korai megállás és a jutalommodell frissítése segít mérsékelni a hatást.

Egy egyszerűbb út, a DPO

Az RLHF összetettsége miatt keresni kezdtek egyszerűbb megoldásokat. Az egyik legismertebb a DPO, vagyis a Direct Preference Optimization, magyarul közvetlen preferenciaoptimalizálás, amelyet Rafailov és társai írtak le 2023-ban. A DPO ugyanabból az adatból dolgozik, emberi preferenciapárokból, de kihagyja a folyamat legbonyolultabb részeit. A tanulmány szerint a módszer a standard RLHF feladatot egy egyszerű osztályozási veszteséggel oldja meg, így nincs szükség külön jutalommodell tanítására, és nem kell a nyelvi modellből mintavételezni a finomhangolás közben. A szerzők szerint az eljárás stabil, jó teljesítményű és számításilag könnyű, ráadásul egyszerűbb megvalósítani, mint a PPO alapú megközelítést.

RLHF, jutalommodell és PPO

  • Külön jutalommodellt tanít
  • A finomhangoláshoz RL és mintavétel kell
  • Több lépés, több hangolandó rész
  • Erős, de összetett és költséges

DPO, közvetlen optimalizálás

  • Nincs külön jutalommodell
  • Egyszerű osztályozási veszteség
  • Nincs mintavétel a modellből tanulás közben
  • Stabil, könnyű, egyszerűbb megvalósítani
DPO

Ugyanaz az adat, egyszerűbb út. A DPO közvetlenül a preferenciapárokból tanul egy osztályozási veszteséggel, explicit jutalommodell és megerősítéses mintavétel nélkül. Ez nem törli el az RLHF-et, de sok esetben egyszerűbb és stabilabb választ ad ugyanarra a problémára. Forrás, Rafailov és társai, 2023.

Rövid záró összefoglaló

Ez a kurzus két nagy témát kötött össze. Az első felében a megerősítéses tanulás alapjait jártuk be. Megismertük az ágens, a környezet és a jutalom hármasát, majd az állapot, a cselekvés, a politika és az értékfüggvény fogalmát. Láttuk a felfedezés és a kiaknázás feszültségét, végigvettük a Q-tanulást és a mély Q-hálót, végül a politika gradiens módszereket és a színész-kritikus felépítést.

A második felében ugyanezt a keretet alkalmaztuk a nyelvi modellekre. Megértettük, miért nem elég az előtanítás, és hogyan igazít az RLHF az emberi szándékhoz. Szétszedtük a jutalommodell és a PPO szerepét, valamint a KL büntetés fékező hatását. Végül szembenéztünk a korlátokkal, a jutalomhamisítással és a folyamat összetettségével, és megismertük a DPO egyszerűbb alternatíváját. Innen már van egy közös nyelv, amelyre a modern illesztési módszerek épülnek. A tudás ellenőrzéséhez töltsd ki a zárótesztet.

← Előző lecke Záróteszt kitöltése →

Forrás

A MIT 6.S191 Introduction to Deep Learning megerősítéses tanulás előadása, Richard Sutton és Andrew Barto klasszikus fogalmi kerete, a mély Q-hálóról szóló Mnih és társai (Nature, 2015) tanulmány, az InstructGPT tanulmány (Ouyang és társai, 2022) és a Direct Preference Optimization tanulmány (Rafailov és társai, 2023) alapján, magyar feldolgozásban.

Workshop

AI Transformation Day

Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.

Érdekel a program →