Reinforcement learning és RLHF · Lecke 06

Mi az RLHF, és miért kell

Egy nyelvi modell alapból a következő szó előrejelzésére tanul, nem arra, hogy hasznos, őszinte és biztonságos választ adjon. Az RLHF, vagyis a megerősítéses tanulás emberi visszajelzésből, ezt a rést hidalja át. Ebben a leckében megnézzük, miért van rá szükség, és hogyan illeszkedik a keretbe.

Vissza a tananyaghoz

Amit az előtanítás megtanít, és amit nem

A nagy nyelvi modellek előtanítása egyetlen feladatra épül, a következő szó, pontosabban a következő token előrejelzésére hatalmas szövegmennyiségen. Ez rendkívül sok nyelvi és világismeretet ad a modellnek, de nem tanítja meg arra, hogyan legyen valóban hasznos egy beszélgetésben. Az előtanított modell utánozza a látott szöveget, ezért a válaszai lehetnek pontatlanok, kitérők vagy éppen ártalmasak, hiszen a tanuló adatban is előfordulnak ilyenek. A cél viszont az, hogy a modell az ember szándékához igazodjon, tehát segítőkész, őszinte és biztonságos legyen. Ehhez az előrejelzési feladat önmagában nem elég.

Előtanítás a következő token előrejelzése nyelv és világismeret hiányzó lépés Illesztés hasznos, őszinte, biztonságos az emberi szándékhoz igazítva Az RLHF ezt a második lépést oldja meg emberi visszajelzésből.
Az előtanítás nyelvi tudást ad, de nem igazítja a modellt az emberi szándékhoz. Az RLHF pontosan ezt az illesztési lépést végzi el.

Miért nehéz szabállyal leírni a jó választ

Elvileg megpróbálhatnánk egy pontos képlettel leírni, mi tesz egy választ jóvá, és ezt optimalizálni. A gyakorlatban ez rendkívül nehéz. A jó válasz sok szempont finom egyensúlya, a pontosság, a hasznosság, a hangnem és a biztonság együtt. Ezt szinte lehetetlen egyetlen szabályba önteni előre, mert emberek is inkább érzik, mint definiálják. Az emberek viszont valami mást nagyon jól tudnak. Ha eléjük teszünk két választ ugyanarra a kérdésre, meg tudják mondani, melyik a jobb. Az RLHF pontosan erre az emberi ítéletre épít.

Kézzel írt szabály

  • Előre kellene definiálni a jó választ
  • Sok finom szempontot nehéz egyesíteni
  • Merev, könnyen kijátszható
  • A gyakorlatban törékeny

Emberi visszajelzés

  • Az ember összehasonlítja a válaszokat
  • Nem kell explicit szabály, elég az ítélet
  • A modell ebből tanul jutalomjelet
  • Rugalmasan igazodik az emberi szándékhoz

A szöveg mint döntéssorozat

Hol jön ide a megerősítéses tanulás. Egy válasz generálása felfogható döntéssorozatként. A modell tokenről tokenre építi a választ, és minden token egyfajta cselekvés. Az addigi szöveg az állapot, a modell a politika, amely eldönti, melyik token következzen. Ha a kész válasz jóságát egy jutalomszámmá tudjuk alakítani, akkor a helyzet pontosan az a keret, amelyet az első öt leckében megismertünk. A kérdés csak az, honnan jön a jutalom. Az RLHF válasza, hogy emberi preferenciákból tanuljuk meg.

  1. Felügyelt finomhangolásEmberi mintaválaszokon finomhangoljuk az előtanított modellt, hogy jól kövesse az utasításokat.
  2. Jutalommodell tanításaEmberek több modellválaszt rangsorolnak, ebből tanul egy modell jutalomszámot adni.
  3. Megerősítéses finomhangolásA modellt a jutalommodell ellenében hangoljuk, egy politika gradiens módszerrel.

Az InstructGPT

Ennek a megközelítésnek az egyik legismertebb kidolgozása az InstructGPT, amelyet Ouyang és társai írtak le 2022-ben. A tanulmány pontosan a fenti három lépéses folyamatot mutatja be. Először emberi mintaválaszokon felügyelt módon finomhangolják a GPT-3-at, majd emberi rangsorokból jutalommodellt tanítanak, végül megerősítéses tanulással a jutalommodell ellenében hangolják a modellt. A részleteket a következő leckében nézzük meg, most a fő tanulságot érdemes kiemelni, mennyit számít ez a lépés a végeredményben.

1,3B

A kisebb, de illesztett modell nyert. Az InstructGPT tanulmány szerint az emberek a 1,3 milliárd paraméteres InstructGPT válaszait előnyben részesítették a százszor nagyobb, 175 milliárd paraméteres GPT-3 válaszaival szemben, ráadásul a modell javult az őszinteségben és kevesebb ártalmas kimenetet adott. Forrás, Ouyang és társai, 2022.

Miért fontos ez

Az InstructGPT eredménye világosan mutatja, hogy nem csak a méret számít, hanem az is, mennyire igazodik a modell az emberi szándékhoz. Egy kisebb, de jól illesztett modell hasznosabb tud lenni egy sokkal nagyobb, de nem illesztettnél. Ez a felismerés vált a modern beszélgető modellek egyik alapjává. A következő leckében szétszedjük a folyamat két technikai magját, a jutalommodellt és a PPO-t.

← Előző lecke Következő lecke →

Workshop

AI Transformation Day

Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.

Érdekel a program →