Nyílt súlyú modellek és mikor melyik

Mi a nyílt súlyú modell

Egy nagy nyelvi modell lelke a súlyok halmaza, vagyis az a több milliárd számérték, amelyet a modell a tanítás során megtanult. Ez a számhalmaz határozza meg, hogyan válaszol a modell egy kérdésre. A zárt modelleknél ezek a súlyok a szolgáltató belső titkát képezik. A modellt csak egy API-n keresztül érjük el, elküldjük a kérést, és visszakapjuk a választ, magához a modellhez viszont soha nem férünk hozzá. A nyílt súlyú modelleknél ezzel szemben a súlyok szabadon letölthetők. Letöltés után a modell abban az értelemben a miénk, hogy ott futtatjuk, ahol akarjuk, a saját gépünkön, a saját szerverünkön vagy egy tetszőleges felhőszolgáltatónál.

Fontos a pontos szóhasználat. A nyílt súlyú (angolul open weight) nem ugyanaz, mint a teljesen nyílt forrású. A legtöbb ma elterjedt nyílt modellnél a súlyokat teszik közzé, a tanításhoz használt teljes adathalmazt és minden apró részletet nem feltétlenül. A gyakorlatban viszont az számít, hogy a súly szabadon letölthető és futtatható, mert ez adja a valódi szabadságot a felhasználásban. Mielőtt bármelyik nyílt modellt élesben használnád, érdemes elolvasni a hozzá tartozó licencet, mert a felhasználási feltételek, például a kereskedelmi használat, családonként eltérhetnek.

A fő nyílt modellcsaládok

Néhány modellcsalád köré épült a legnagyobb ökoszisztéma, ezekkel érdemes először megismerkedni. Mindegyik több méretben létezik, a néhány milliárd paraméteres kicsiktől a jóval nagyobbakig, és folyamatosan új verziók jelennek meg. A Llama a Meta modellcsaládja, széles körben elterjedt, rengeteg eszköz, oktatóanyag és finomhangolt változat épült rá. Ha valamihez sok kész példát és erős közösségi hátteret keresel, jó eséllyel a Llama-t körülvevő ökoszisztémában találod a legtöbbet.

A Qwen az Alibaba családja, amely erős többnyelvű képességéről ismert, és jól teljesít kódolási és strukturált feladatokban is. Sok méretben elérhető, így a kicsi, gyors változattól a nagy, erős változatig lefedi az igényeket. A DeepSeek elsősorban az érvelési és kódolási képességeiről ismert, és hatékony felépítésével a futtatás erőforrásigényét igyekszik alacsonyan tartani. Azoknak érdekes, akiknek a logikai lépések és a kód minősége a fontos. A Gemma a Google nyílt családja, amely a Gemini mögötti technológiából származik, de könnyebb, kisebb méretekre optimalizált. Jól fut szerényebb hardveren is, ezért gyakran ez az első választás, ha helyben, kis gépen szeretnénk kipróbálni egy modellt.

A jó hír, hogy nem kell mindegyik családot fejből ismerni. Elég kiválasztani egyet, amelynek a mérete és a nyelvi képessége illik a feladathoz, kipróbálni a saját szövegeinken, és ha beválik, maradni nála. A nevek és a verziók gyorsan változnak, a választás logikája viszont ugyanaz marad. Az is megnyugtató, hogy egyik döntés sem visszafordíthatatlan, ha egy modell nem hozza a várt minőséget, egy másik nyílt modellre ugyanazon a felületen néhány lépésben átválthatunk.

Nagyobb vagy kisebb modell

Amikor egy családon belül választunk, a legfontosabb kérdés a méret. A modell mérete a paraméterek számára utal, és ez egy alapvető átváltást hoz magával. A nagyobb modell általában okosabb, árnyaltabban ír, jobban követi az összetett utasításokat és kevesebbet téved. Cserébe lassabb, több memóriát és erősebb hardvert kér, és ha szolgáltatónál fut, drágább is. A kisebb modell ennek a fordítottja, gyorsan válaszol, szerény gépen is elfut, olcsóbb üzemeltetni, viszont összetett feladatoknál hamarabb elakad.

Nincs önmagában jó vagy rossz méret, csak a feladathoz illő méret van. Egy egyszerű, jól körülírt feladatnál, például rövid szövegek átfogalmazásánál vagy címkézésénél gyakran egy kisebb modell is bőven elég, és sokkal olcsóbban, gyorsabban végez. Egy nehéz feladatnál, például hosszú dokumentumok elemzésénél vagy összetett érvelésnél viszont megéri a nagyobb modell, mert ott a minőségbeli különbség valóban számít.

A két véglet között persze van átmenet. A legtöbb család kínál közepes méretű változatot is, amely ésszerű kompromisszum a minőség és a sebesség között, és a gyakorlatban sok céges feladatra éppen ez a közepes méret találja el a legjobb egyensúlyt. Érdemes tehát nem rögtön a legnagyobbal indulni, hanem megkeresni a legkisebb modellt, amely még elég jó a feladatra, mert az a leggazdaságosabb megoldás. Ha a minőség nem elegendő, mindig feljebb léphetünk egy nagyobb méretre.

A magyar nyelv kezelése

A magyar felhasználónak külön szempont, hogy a modell mennyire kezeli jól a magyar nyelvet. Itt egy ökölszabály segít. A nagyobb, sok nyelven tanított modellek általában jobban írnak és értenek magyarul, mint a kicsi, főleg angolra optimalizált társaik. A magyar nyelvtan gazdag toldalékrendszere és a ritkább szerkezetek pont azok, ahol a kisebb modellek könnyen hibáznak, furcsa ragozást vagy magyartalan mondatokat adnak.

Ezért ha a feladat magyar nyelvű ügyfélkommunikáció, tartalomírás vagy bármi, ahol a helyes, természetes magyar szöveg fontos, érdemes a nagyobb, kifejezetten többnyelvű modellek felé nyúlni. A modell magyartudását pedig semmi nem méri fel jobban, mint hogy a saját tipikus szövegeinken kipróbáljuk, mielőtt döntünk.

Előnyök és korlátok

A nyílt súlyú modelleknek három jól megfogható előnye van. Az első a függetlenség. Mivel a súlyok a miénk, nem függünk egyetlen szolgáltatótól, annak árazásától vagy döntéseitől. Ha egy szolgáltató drágít vagy kivezet egy modellt, a nyílt modell attól még ugyanúgy fut nálunk. Ez a nincs vendor lock-in előny. A második az adatvédelem. Ha a modellt saját környezetben futtatjuk, az adatok nem hagyják el a rendszerünket, ami érzékeny ügyféladatnál vagy belső dokumentumnál döntő szempont lehet. A harmadik a testreszabhatóság, hiszen a nyílt súlyú modellek finomhangolhatók a saját adatunkon, így egy adott terület nyelvezetére vagy feladatára ráhangolhatók.

A teljes képhez az is hozzátartozik, hogy a legjobb zárt modellek gyakran még mindig erősebbek a legnehezebb feladatokon, mint a nyílt társaik. A különbség évről évre csökken, de aki a lehető legmagasabb minőséget keresi egy nagyon összetett feladatra, annak sokszor még mindig egy vezető zárt modell a jó választás. Emellett a nyílt modell saját futtatása üzemeltetési munkát és hardvert igényel, ami szintén költség, csak nem a szolgáltatónak fizetjük, hanem magunknak kell megoldani. A választás tehát mindig mérlegelés, nem pedig egy örökre szóló, mindenre jó válasz.

Egy magyar céges példa

Tegyük konkrétabbá egy képzeletbeli példával. Egy közepes méretű hazai webshop, nevezzük Kertbarát Kft.-nek, minden nap sok magyar nyelvű ügyfélkérdést kap, jellemzően a szállításról és a termékekről. A kérdések nagy része hasonló, és a válaszok érzékeny ügyféladatot érintenek, ezért a cég nem szeretné mindet külső szolgáltatóhoz küldeni.

A Kertbarát Kft. úgy dönt, hogy egy nyílt súlyú, kifejezetten többnyelvű modellt választ, amely jól ír magyarul, és azt a saját szerverén futtatja. Mivel a feladat jól körülírt és ismétlődő, nincs szükség a legnagyobb, legerősebb modellre, egy közepes méretű is elég a válaszok megfogalmazásához, cserébe gyors és olcsón üzemeltethető. Az adatok nem hagyják el a céget, nincs havi API-számla a szolgáltató felé, és a modellt idővel a saját, korábbi ügyfélválaszaikon finomhangolják, hogy még inkább a cég hangján szólaljon meg.

Amikor viszont a marketinges egy hosszú, igényes kampányszöveget ír, ahol a nyelvi minőség a legfontosabb, nyugodtan nyúlhat egy erősebb modellhez erre az egy feladatra. Ez jól mutatja a lecke lényegét. Nem egyetlen modellt választunk mindenre, hanem a feladathoz illesztjük a modellt.