Bevezetés a mélytanulásba · Lecke 04

Túltanulás és regularizáció

Egy modell akkor ér valamit, ha nem csak a látott adaton teljesít jól, hanem olyan eseteken is, amelyeket sosem látott. Ebben a leckében megnézzük az alultanulás és a túltanulás közötti különbséget, azt, hogyan árulja el ezt a tanító és a validációs görbe, és milyen eszközökkel, például dropouttal és korai leállítással tartjuk kordában a túltanulást.

Vissza a tananyaghoz

Az általánosítás a valódi cél

A tanítás során könnyű elveszíteni a szem elől a tulajdonképpeni célt. A cél nem az, hogy a modell a tanítóadatot bemagolja, hanem hogy jól teljesítsen olyan adaton, amelyet még sosem látott. Ezt a képességet nevezzük általánosításnak (generalization). Egy modell csak akkor hasznos a gyakorlatban, ha az új, ismeretlen esetekre is helyes választ ad. Ezért a tanítóadaton mért teljesítmény önmagában félrevezető, mindig szükség van egy elkülönített adatrészre, amelyen ellenőrizzük, valóban általánosít-e.

Alultanulás túl egyszerű, nem követi a mintát Jó illeszkedés követi a mintát, tűri a zajt Túltanulás bemagolja a zajt is
Ugyanaz a pontfelhő háromféleképpen. Az alultanuló modell túl egyszerű, a túltanuló minden pontot pontosan eltalál a zajt is, a jó modell a mögöttes mintázatot ragadja meg.

Alultanulás és túltanulás

Két véglet fenyeget. Az alultanulás (underfitting) esetén a modell túl egyszerű, nem képes megragadni a mögöttes összefüggést, ezért már a tanítóadaton is gyengén teljesít. A túltanulás (overfitting) az ellenkező véglet. Ilyenkor a modell túlságosan rugalmas, és a tanítóadatot olyan aprólékosan követi, hogy a véletlen zajt is bemagolja. A tanítóadaton látszólag kiváló, új adaton azonban rosszul teljesít, mert a zajra épített, nem az igazi mintázatra. A jó modell a kettő között van, elég összetett a mintázat megtanulásához, de nem annyira, hogy a zajt is megjegyezze.

Alultanulás

  • A modell túl egyszerű
  • Már a tanítóadaton is hibázik
  • Nem ragadja meg a mintázatot
  • A megoldás összetettebb modell vagy több tanítás

Túltanulás

  • A modell túl rugalmas
  • A tanítóadaton kiváló, új adaton gyenge
  • A zajt is bemagolja
  • A megoldás regularizáció vagy több adat

A tanító és a validációs görbe

A túltanulás jól látszik, ha a tanítás alatt két veszteséget követünk. A tanító veszteség azon az adaton mérve, amin a modell tanul, a validációs veszteség pedig egy elkülönített adaton, amit a modell nem lát tanulás közben. Eleinte mindkettő csökken. Egy ponton azonban a tanító veszteség tovább csökken, a validációs viszont emelkedni kezd. Innentől a modell már nem általánosít jobban, hanem a tanítóadat sajátosságait magolja. Ez a pont a jel, hogy a modell túltanulásba fordult.

tanítási idő veszteség tanító veszteség validációs veszteség itt érdemes megállni
Amíg mindkét görbe csökken, a modell javul. Amikor a validációs veszteség emelkedni kezd, miközben a tanító tovább csökken, elkezdődött a túltanulás. A korai leállítás ezen a ponton áll meg.

Regularizáció

A regularizáció (regularization) gyűjtőnév minden olyan eljárásra, amely a túltanulás ellen hat, azaz a modellt az általánosítás felé tereli. A mélytanulásban két eszköz különösen elterjedt. Az egyik a dropout, amely a tanítás során véletlenszerűen ideiglenesen kikapcsol egy adott arányú neuront minden lépésben. Így a háló nem támaszkodhat túlzottan néhány konkrét neuronra, hanem robusztusabb, megosztott reprezentációt kénytelen tanulni. A másik a korai leállítás (early stopping), amely a validációs görbét figyeli, és pontosan akkor állítja le a tanítást, amikor a validációs veszteség emelkedni kezdene.

  1. Adat elkülönítéseA tanító, a validációs és a teszt adatot szétválasztjuk, hogy külön mérhessünk.
  2. Dropout a tanításbanMinden lépésben véletlenszerűen kikapcsolunk néhány neuront, hogy egyik se váljon nélkülözhetetlenné.
  3. Validáció figyeléseTanítás közben követjük a validációs veszteséget, ez jelzi az általánosítást.
  4. Korai leállításAmikor a validációs veszteség emelkedni kezd, megállítjuk a tanítást.
Dropout nélkül Dropouttal, egy tanítási lépésben
A dropout minden tanítási lépésben más neuronokat kapcsol ki ideiglenesen. Így a háló nem támaszkodhat egyetlen neuronra sem, és robusztusabb, jobban általánosító reprezentációt tanul.
← Előző lecke Következő lecke →

Workshop

AI Transformation Day

Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.

Érdekel a program →