Mi az adatbővítés
Az adatbővítés azt jelenti, hogy a meglévő példákból szabályos átalakításokkal újakat gyártunk. Képeknél elforgatás, kivágás, fényviszony váltás. Szövegnél átfogalmazás, szinonimacsere, más szórend. A lényeg, hogy az átalakítás olyan legyen, ami a valóságban is előfordul, mert akkor a rendszer változatosságot tanul, nem zajt.
Az MIT kurzus úgy fogalmaz, hogy az adatbővítés az emberi előzetes tudás beépítése. Mi tudjuk, hogy egy számla fejjel lefelé is számla, és hogy egy ügyfélkérdés átfogalmazva ugyanaz a kérdés. Ezt a tudást adjuk át a rendszernek példák formájában.
A szintetikus adat
A nyelvi modellek korában a bővítés új eszközt kapott, a modellel gyártott szintetikus példát. Ez nagyon hasznos a ritka esetek pótlására, például ritka panasztípusok, szokatlan kérdésformák gyártására. Két szabállyal együtt biztonságos. A szintetikus példát ember nézze át, mielőtt tanítóadat lesz belőle, és jelölve legyen, hogy szintetikus, hogy később szét lehessen válogatni.
Rossz bővítés
- Olyan átalakítás, ami a valóságban nem fordul elő
- Szintetikus példa átnézés nélkül
- A bővített adat elkeveredik az eredetivel
- A tesztadatba is kerül bővített példa
Jó bővítés
- A valós változatosságot utánozza
- Emberi szűrő a szintetikus példákon
- A bővített példa jelölve van
- A teszt kizárólag valódi példákból áll
Hol a határ
Az adatbővítés a meglévő tudás széthúzására jó, új tudás létrehozására nem. Ha egy esettípusból nulla példánk van, abból a bővítés sem csinál valódit, és a modellel gyártott példák ilyenkor a modell előítéleteit tanítják vissza. Új esettípushoz valódi példa kell, akár úgy, hogy néhány hétig célzottan gyűjtjük.
Források és további olvasnivaló
A tananyag gerince az MIT ingyenes Introduction to Data-Centric AI kurzusa.