Miért volt drága a finomhangolás
A hagyományos finomhangolás a modell összes súlyát frissíti. Ehhez a teljes modellnek és a tanítási állapotnak a gyorsítómemóriában kell lennie, ami nagy modellnél sok drága kártyát jelent, és minden feladathoz egy teljes modellmásolat születik. Ez tette a finomhangolást sokáig nagyvállalati luxussá.
A kis rangú ötlet
A LoRA felismerése az, hogy a finomhangolás alatti változás jól közelíthető két kicsi mátrix szorzatával. A modell eredeti súlyai befagyva maradnak, és csak ezeket a kis kiegészítő mátrixokat, az adaptert tanítjuk. A tanítandó paraméterek száma századrészére vagy az alá esik, a szükséges memória zuhan, és egy fogyasztói kártyán is elfér, amihez korábban gépterem kellett.
A gyakorlati következmények legalább ilyen fontosak. Az adapter egy kis fájl, feladatonként külön tárolható, cserélhető, visszavonható, és az alapmodell mindenkinek ugyanaz marad. A kvantált változat, a QLoRA, még tovább szorítja a memóriaigényt, mert a befagyott alapmodellt tömörítve tartja.
A LoRA a kísérletezés árát is leviszi. Egy délután több beállítás kipróbálható, és pont ez a helyes munkamód. Kis futások, gyors kiértékelés, és csak a bizonyított beállítással jön a hosszú tanítás.
Források és további olvasnivaló
A tananyag gerince a Hugging Face ingyenes smol-course kurzusa, amely kis nyelvi modellek instrukciókövetésre hangolását és igazítását tanítja.