A polinomtól a spline-ig
Az első ötlet a polinom, a bemenő négyzetét, köbét is beengedni a modellbe. Kis fokszámig hasznos, magas fokszámon viszont a görbe a széleken vadul csapkod. A jobb megoldás a spline, amely a bemenő tartományát szakaszokra osztja, szakaszonként illeszt alacsony fokú görbét, és a találkozási pontokban simaságot követel. Így ott rugalmas, ahol az adat indokolja, és nyugodt marad ott, ahol nincs miért izgulnia. A természetes spline a széleken még óvatosabb, ezért a gyakorlatban ez a szokásos választás.
Az additív modell gondolata
Az általánosított additív modell, a GAM, a lecke csúcspontja. A gondolata az, hogy minden bemenőhöz saját, tetszőleges alakú görbét tanulunk, és a válasz ezek összege. Így a modell egészében rugalmas, mégis bemenőnként egy-egy ábrával elmesélhető, ez a görbe mutatja a kor hatását, ez a jövedelemét. A gyakorlatban ez az a pont, ahol a rugalmasság és az elmagyarázhatóság a legjobb arányban találkozik, ezért a GAM sok területen a titkos munkaló.
Fekete doboz rugalmasság
- A hatások összefonódnak, nehéz elmesélni
- Erős, ha sok az adat és a kölcsönhatás
- Az ábrája legfeljebb fontossági sorrend
- Következő lecke, fák és boosting
Additív rugalmasság
- Bemenőnként egy görbe, egy történet
- Erős, ha a hatások jórészt összeadódnak
- Minden bemenő hatása kirajzolható
- Ez a lecke, spline és GAM
Hogyan válassz alakot
A döntést itt is a mérés viszi. A szakaszok számát, a simaság fokát keresztvalidációval hangoljuk, és a végén az ábrára nézünk, mert a görbének szakmai értelemben is állnia kell. Ha a tanult görbe olyan hullámzást mutat, amit a terület tudása nem indokol, az általában túlillesztés jele, és egyszerűbb alak kell. A statisztikai tanulásban az ábra nem illusztráció, hanem ellenőrző műszer.
Források és további olvasnivaló
ISLP 7. fejezet, Moving Beyond Linearity, a hozzá tartozó Python laborral. Stanford Online, Statistical Learning with Python.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, priorizált cselekvési lista.
Érdekel a program →