Modell finomhangolás a gyakorlatban · Lecke 06

Kiértékelés finomhangolás után

A hangolt modell jobbnak tűnik. A kérdés az, hogy jobb-e, és nem romlott-e el máshol. A mérés rendje.

Vissza a tananyaghoz

A két kérdés

Minden finomhangolás után két kérdésre kell számszerű válasz. Javult-e a célfeladaton, és romlott-e máshol. A második a sunyibb, mert a szűk feladatra hangolt modell hajlamos felejteni, az általános képességei kopnak, és ez csak akkor derül ki, ha mérjük.

1
Célfeladat mérés. A félretett, sosem tanított kiértékelő készleten, a hangolás előtti és utáni modellel, ugyanúgy.
2
Visszaesés-teszt. Egy kis általános készlet, ami a feladaton kívüli képességeket szúrópróbázza. Ha itt nagy a romlás, a hangolás túl erős volt.
3
Páros összevetés. A régi és az új modell kimenete ugyanarra a bemenetre, vakon ítélve, emberrel vagy bíráló modellel.
4
Éles főpróba. Kis forgalomrész az új modellre, a régivel párhuzamosan, mérőszámokkal, mielőtt teljesen átáll.

A bíráló modell és a határai

A kimenetek tömeges összehasonlítására bevett eszköz a bíráló modell, egy erős modell, ami a két választ ítéli meg. Gyors és olcsó, de ismert torzításai vannak, kedveli a hosszabb és magabiztosabb választ. Ezért a bíráló modell a szűrésre való, a végső szó a célfeladat számszerű mérése és az emberi szúrópróba.

A kiértékelő készlet a finomhangolási projekt legértékesebb terméke, értékesebb az adapternél is. A modellek jönnek és mennek, a jó mérőkészlet minden következő kört olcsóbbá és biztonságosabbá tesz.

Források és további olvasnivaló

A tananyag gerince a Hugging Face ingyenes smol-course kurzusa, amely kis nyelvi modellek instrukciókövetésre hangolását és igazítását tanítja. A kiértékelés mélyebb módszertana a Context engineering és evalok tananyagban.

← Preferencia-hangolás, DPO és társaiFuttatás és telepítés →