Keresztvalidáció és a becslés becslése

A tanítóhiba szépít

Ha a modellt ugyanazon az adaton méred, amin tanult, a hibája szinte mindig kisebbnek látszik a valóságosnál, és minél rugalmasabb a modell, annál nagyobbat hazudik. A megoldás elve egyszerű, tedd félre az adat egy részét, tanulj a maradékon, és a félretett részen mérj. Az egyszeri kettéosztás viszont pazarló és ingatag, mert az eredmény attól függ, épp hogyan vágtál. Erre válasz a keresztvalidáció.

A keresztvalidáció működése

A k szeletes keresztvalidáció az adatot k egyenlő részre osztja, jellemzően ötre vagy tízre. A modell k-szor tanul, mindig más szeletet hagyva ki, és mindig a kihagyott szeleten mér. A k mérés átlaga adja a becsült valós hibát. Így minden megfigyelés pontosan egyszer szolgál mérésre, és az eredmény sokkal stabilabb, mint egyetlen vágásnál. Ugyanez az eszköz szolgál a modellek közti választásra is, a következő lecke módszereinél a hangolható beállításokat mind keresztvalidációval lőjük be.

A bootstrap, amikor a bizonytalanság a kérdés

A fejezet másik eszköze a bootstrap, amely nem a hibát, hanem a bizonytalanságot méri. Az adatból visszatevéssel sok új mintát húz, mindegyiken kiszámolja a mutatót, és a kapott értékek szórása mutatja, mennyire megbízható a becslésünk. A gyakorlatban akkor ér aranyat, amikor egy együttható vagy egy mutató köré kell hihető tartományt rajzolni képlet nélkül. A kettő együtt, keresztvalidáció a hibára, bootstrap a bizonytalanságra, a becsületes adatelemzés alapfelszerelése.

Források és további olvasnivaló

ISLP 5. fejezet, Resampling Methods, a hozzá tartozó Python laborral. Stanford Online, Statistical Learning with Python.