A két megközelítés
A modellközpontú munka úgy néz ki, hogy az adat adott, és jobb modellt, jobb beállítást, jobb architektúrát keresünk hozzá. Az adatközpontú fordítva áll hozzá. A modell adott, és az adatot javítjuk, a hibás címkéket, a duplikátumokat, a rossz példákat. Az MIT kurzusa erre az egyszerű fordulatra épül, és a tapasztalat az, hogy a legtöbb valós projektben a második hozza a nagyobb ugrást.
Ez egybevág azzal, amit a vállalati bevezetéseknél látok. Amikor egy AI rendszer gyengén teljesít, a csapat ösztönösen modellt váltana, pedig a válaszok azért rosszak, mert a mögöttes dokumentumok elavultak, ellentmondanak egymásnak, vagy sosem voltak igazak. Nem a modell a nehéz rész, hanem az, ami körülötte van.
Modellközpontú reflex
- Váltsunk nagyobb modellre
- Húzzunk rajta még egy kört tanítással
- Írjunk okosabb promptot
- A rossz kimenet a modell hibája
Adatközpontú kérdések
- Hány címke hibás a tanítóadatban?
- A dokumentumok közül melyik az igaz verzió?
- A hibás kimenetek milyen bemenethez tartoznak?
- A rossz kimenet mögött milyen adat áll?
Miért éri meg ezt tanulni
Az adathiba nem elméleti kockázat. A széles körben használt nyilvános tesztadatbázisokban is jelentős arányú címkehibát találtak, és a céges adatvagyon jellemzően rosszabb állapotban van, mint a nyilvános. Aki megtanulja az adatot rendszerezetten javítani, az ugyanabból a modellből hoz ki jobb rendszert, gyakran töredék költséggel.
A nézőpontváltás mércéje egyetlen kérdés. Amikor a rendszer téved, az első mozdulat a modell cseréje, vagy annak a húsz esetnek az átnézése, ahol tévedett? A második az adatközpontú út, és ez a tananyag erről szól.
Források és további olvasnivaló
A tananyag gerince az MIT ingyenes Introduction to Data-Centric AI kurzusa. A témához kapcsolódik a Miért nem a modell a nehéz rész egy AI projektben című cikkem.