Modellválasztás és regularizáció

A válogatás régi útja

A hagyományos megoldás a részhalmaz keresés, amikor a bemenők kombinációi közül keressük a legjobbat, előre lépegetve, hátrafelé bontva. Működik, de sok bemenőnél robbanásszerűen drágul, és az eredménye ingatag, kis adatváltozásra más változókat választ. A modern út ezért nem válogat élesen, hanem bünteti a bonyolultságot, és hagyja, hogy a büntetés végezze a válogatást.

Ridge és lasso

Mindkét módszer a lineáris regresszió kiegészítése egy büntetőtaggal, amely a nagy együtthatókat fogja vissza. A ridge minden együtthatót arányosan zsugorít, ezzel stabilizálja a modellt, különösen amikor a bemenők erősen összefüggnek. A lasso ennél tovább megy, a büntetése egyes együtthatókat pontosan nullára húz, vagyis egyszerre fegyelmez és válogat. A végeredmény ritkás modell, amelyben csak a tényleg számító bemenők maradnak, és pontosan ez teszi a lassót az értelmezhetőség barátjává. A büntetés erősségét, a módszer egyetlen hangolható csavarját, az előző lecke keresztvalidációjával állítjuk be.

Mikor melyiket

A hüvelykujjszabály egyszerű. Ha azt gyanítod, hogy sok bemenő számít egy kicsit, a ridge jobb. Ha azt, hogy kevés számít igazán, a lasso. Ha nem tudod, a kettő keveréke, az elastic net, jó kompromisszum. És bármelyiket használod, a végén mindig mérd vissza a második lecke sima regressziójához, mert ha a bonyolultabb szerszám nem ver rá mérhetően, az egyszerűbbet érdemes vinni.

Források és további olvasnivaló

ISLP 6. fejezet, Linear Model Selection and Regularization, a hozzá tartozó Python laborral. A lasso módszert Robert Tibshirani, a kurzus egyik oktatója dolgozta ki.