A nyers modell természete
Az előtanított alapmodell egyetlen dolgot tud, a szöveg valószínű folytatását. Ha kérdést kap, nem válaszol, hanem folytatja, akár újabb kérdésekkel. Az asszisztens viselkedés, a kérdésre válaszolás, az utasításkövetés, egy külön tanítási szakasz eredménye, ez a felügyelt finomhangolás.
A felügyelt finomhangolás lényege példapárok tömege. Bemenet és kívánt kimenet, utasítás és jó válasz. A modell ezeken tanulja meg, hogy az ő dolga nem a folytatás, hanem a válasz. Ugyanez a mechanizmus dolgozik akkor is, amikor a saját feladatunkra hangolunk, csak a példapárok a mi feladatunkból jönnek.
A beszélgetési sablon
A gyakorlat egyik legtöbb hibát okozó részlete a beszélgetési sablon, a chat template. A modell a tanításkor meghatározott jelölőkkel látta a szerepeket, ki a rendszer, ki a felhasználó, ki az asszisztens. Ha a finomhangolásnál vagy a futtatásnál más sablont használunk, a minőség rejtélyes módon romlik, és senki nem érti, miért. A szabály az, hogy a modell saját sablonját használjuk, és a keretrendszerre bízzuk az összeállítását.
Céges hangolásnál szinte mindig az instrukciós változatból érdemes indulni, mert az utasításkövetést nem kell újra megtanítani. Alapmodellből indulni akkor van értelme, ha a viselkedést nagyon mélyen akarjuk átformálni, és van hozzá elég adat.
Források és további olvasnivaló
A tananyag gerince a Hugging Face ingyenes smol-course kurzusa, amely kis nyelvi modellek instrukciókövetésre hangolását és igazítását tanítja.