A címkézési útmutató az alap
Ha két ember ugyanazt a példát másképp címkézi, az nem emberi gyengeség, hanem annak a jele, hogy a feladat nincs elég pontosan definiálva. A jó címkézési útmutató határesetekkel együtt írja le a kategóriákat, és minden vitás esetből szabály lesz benne. Enélkül a tanítóadat belső ellentmondásokat hordoz, és a modell ezt tanulja meg.
A gyakorlati recept az, hogy az útmutató első változata után egy kis mintát több ember egymástól függetlenül címkéz, és megnézzük, hol térnek el. Az eltérések listája megmutatja, hol lyukas az útmutató, és a javított útmutatóval indul az éles címkézés.
Mennyiség vagy minőség
Az MIT kurzus egyik gyakorlati tanulsága, hogy a kisebb és tisztább adat gyakran veri a nagyobb és zajosabbat. Ezer gondosan átnézett példa jobb rendszert adhat, mint tízezer válogatás nélküli. Ez azért jó hír, mert a legtöbb magyar cégnél nem az adat mennyisége a szűk keresztmetszet, hanem az átnézésre szánható idő, és ez a csere pont ennek kedvez.
Gyűlő adat
- Ami éppen összejött, az van benne
- A címkék útmutató nélkül készültek
- Duplikátumok és elavult példák keverednek
- Senki nem tudja, melyik rész megbízható
Készülő adathalmaz
- A mintavétel a valós eloszlást követi
- Az útmutató határesetekkel együtt definiál
- A duplikátum és az elavult példa kiszűrve
- Minden példának van forrása és dátuma
A céges dokumentumvagyon ugyanez
Mindez szó szerint igaz a belső tudásbázisokra is. Amikor egy cég a saját dokumentumaira épít AI rendszert, az adathalmaz a dokumentumtár, és a kurálás azt jelenti, hogy egy hiteles változat marad minden anyagból, a régiek archiválva, minden fájlnak van gazdája és dátuma. Ez a munka unalmas, és ez dönti el a rendszer minőségét.
Források és további olvasnivaló
A tananyag gerince az MIT ingyenes Introduction to Data-Centric AI kurzusa. A dokumentumhitelesség kérdéséről a Melyik dokumentum az igaz az AI szemében című cikkemben.