Hogyan épül fel egy nyelvi modell · Lecke 07

Finomhangolás és igazítás

Az előtanítás végén álló alapmodell rengeteget tud, de még nem az a hasznos asszisztens, amivel a felhasználók beszélgetnek. Ebben a leckében megnézzük, hogyan lesz belőle az. Végigvesszük a felügyelt finomhangolást, az utasításkövetés tanítását és az emberi visszajelzésen alapuló igazítást, amelyet a szakma RLHF néven ismer.

Vissza a tananyaghoz

Miért nem elég az alapmodell

Az alapmodell a szöveg folytatására lett tanítva, semmi másra. Ha felteszünk neki egy kérdést, nem feltétlenül válaszol, hanem azt teszi, ami a tanítószövegben a legvalószínűbb folytatás volt. Egy kérdésre például további hasonló kérdésekkel felelhet, mert az interneten a kérdések gyakran listában állnak. A tudás megvan benne, de nem a megfelelő formában érhető el. A finomhangolás (fine-tuning) célja éppen az, hogy ezt a nyers tudást hasznos, együttműködő viselkedéssé formálja, anélkül hogy a modellt a nulláról kellene újratanítani.

HÁROM SZAKASZ EGYMÁS UTÁN 1. Előtanítás alapmodell, tud sokat, de nem követ utasítást 2. Felügyelt finomhangolás példákból tanul válaszolni 3. Igazítás emberi visszajelzés alapján, RLHF minden szakasz az előzőre épül, nem helyettesíti azt
A hasznos asszisztens három szakaszban áll össze. Az előtanítás adja a tudást, a felügyelt finomhangolás a válaszadás formáját, az igazítás pedig a viselkedés finomítását.

Felügyelt finomhangolás

Az első lépés a felügyelt finomhangolás (supervised fine-tuning). Itt a modell viszonylag kis mennyiségű, gondosan összeállított példán tanul tovább, amelyek egy-egy utasításból és a hozzá tartozó jó válaszból állnak. Ezeket a mintaválaszokat gyakran emberek írják, hogy megmutassák a modellnek, hogyan néz ki egy segítőkész, pontos válasz. A modell ezekből megtanulja, hogy amikor kérdést vagy feladatot kap, akkor válaszolni és nem folytatni kell. Ezt a lépést utasításkövetésre hangolásnak, angolul instruction tuningnak is nevezik, mert a modell itt tanulja meg követni az utasításokat.

Alapmodell viselkedése

  • Folytatja a szöveget, nem válaszol
  • A kérdésre újabb kérdésekkel felelhet
  • Nem tudja, mi az elvárt forma
  • A tudás megvan, de nehezen fér hozzá

Finomhangolt modell viselkedése

  • Az utasításra válasszal reagál
  • Követi a kért formátumot és hangnemet
  • Segítőkész, célravezető válaszokat ad
  • Ugyanaz a tudás, hasznos formában

Igazítás emberi visszajelzéssel

A felügyelt finomhangolás után jön a finomabb hangolás, amely az emberi ízléshez igazítja a modellt. Ennek elterjedt módja az emberi visszajelzésen alapuló megerősítéses tanulás, angol rövidítéssel RLHF. Az alapötlet, hogy nehéz minden helyzetre tökéletes mintaválaszt írni, viszont sokkal könnyebb két válasz közül megmondani, melyik a jobb. Az emberek ezért ugyanarra a kérdésre több modellválaszt látnak, és rangsorolják őket. Ezekből a rangsorokból a rendszer megtanul egy külön modellt, amely megbecsüli, mennyire jó egy válasz, majd a nyelvi modellt ennek a becslésnek a maximalizálására hangolja.

  1. Válaszok gyűjtéseA modell ugyanarra a kérdésre több különböző választ ad.
  2. Emberi rangsorolásEmberek eldöntik, melyik válasz jobb, és rangsorba állítják őket.
  3. Jutalommodell tanításaA rangsorokból egy külön modell tanulja meg, mennyire jó egy adott válasz.
  4. A modell hangolásaA nyelvi modellt úgy igazítjuk, hogy a jutalommodell szerint jobb válaszokat adjon.
KÉT VÁLASZ ÖSSZEHASONLÍTÁSA A válasz pontos, világos, segítőkész ✓ B válasz pontatlan vagy kitérő ✗ ember dönt jutalommodell megtanulja, mi tesz egy választ emberileg jobbá sok ilyen összehasonlításból tanul a jutalommodell, ez irányítja a nyelvi modell hangolását
Az emberek nem tökéletes választ írnak, hanem két lehetőség közül választanak. Ezekből a döntésekből tanul a jutalommodell, amely aztán a nyelvi modell igazítását vezeti.

Mire igazítunk

Az igazítás célja, hogy a modell ne csak ügyes, hanem megbízható és biztonságos partner is legyen. A gyakorlatban ez azt jelenti, hogy a modell legyen segítőkész, tehát valóban a felhasználó szándékát szolgálja, legyen őszinte, tehát ne állítson tudatosan valótlant, és ne okozzon kárt, tehát utasítsa el a veszélyes vagy ártalmas kéréseket. Ezek a szempontok néha feszülnek egymással, és a hangolás mindig egyensúlyt keres közöttük. Fontos látni, hogy az igazítás nem tesz a modellbe új tudást, hanem azt formálja, hogyan használja a meglévőt.

Egyszerűbb utak és a lényeg

Az RLHF nem az egyetlen módja az igazításnak. Léteznek egyszerűbb eljárások is, amelyek szintén emberi vagy modellalapú preferenciákból tanulnak, de kevesebb mozgó alkatrésszel. Az egyik ilyen ismertebb megközelítés a közvetlen preferenciaoptimalizálás, angol rövidítéssel DPO, amely külön jutalommodell nélkül igazítja a nyelvi modellt a preferált válaszok felé. A részletek eltérnek, de a közös cél ugyanaz. A modellt az emberi elvárásokhoz igazítani, hogy a nyers jóslóból valóban használható, megbízható asszisztens legyen.

7

Nem új tudás, hanem forma. A finomhangolás és az igazítás nem tölt új ismeretet a modellbe. A meglévő tudását formálja hasznos, együttműködő és biztonságos viselkedéssé, hogy a szöveg folytatásából valódi asszisztens legyen.

← Előző lecke Következő lecke →

Workshop

AI Transformation Day

Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.

Érdekel a program →