Döntési fák, erdők és boosting

A fa, amely kérdez

A döntési fa az adatteret kérdésekkel szeleteli. Nagyobb-e a jövedelem ennyinél, régebbi-e az ügyfél ennél. Minden levélben egy jóslat ül, az odaeső megfigyelések átlaga vagy többségi osztálya. Az erőssége az olvashatóság és az, hogy a kölcsönhatásokat magától megtalálja. A gyengéje a variancia, kicsit más adatból egészen más fa nő, és az egyetlen fa jóslata ezért ingatag. A megoldás nem a tökéletes fa megtalálása, hanem a sok tökéletlen fa összefogása.

Erdő és boosting, két csapatstratégia

A random forest sok fát tanít az adat bootstrap mintáin, és minden vágásnál csak a bemenők véletlen részhalmazából engedi választani, hogy a fák ne hasonlítsanak egymásra. A jóslatuk átlaga stabil és erős. A boosting másképp dolgozik, a fákat sorban tanítja, és minden új fa az előzők hibáját próbálja javítani, apró lépésekben. Jól hangolva a boosting a táblázatos adatok versenyeinek visszatérő győztese. Az ár mindkét esetben az átláthatóság, ezer fa döntését már nem tudod egy ábrán elmesélni, marad a változófontossági sorrend és a részhatás ábra.

Hol a helyük a polcodon

A gyakorlati rangsor táblázatos adaton meglepően kiszámítható. A lineáris és logisztikus modell a viszonyítási pont és gyakran a befutó, ha kevés az adat vagy fő az értelmezhetőség. A random forest a megbízható munkaló, kevés hangolással is erős. A boosting a plusz néhány százalék, ha megéri a hangolás. A támogató vektor gépek, amelyeket a kurzus szintén bemutat, ma inkább különleges helyzetek eszközei. A mély tanulás pedig, a könyv külön fejezete, kép, hang és szöveg esetén verhetetlen, táblázatos üzleti adaton viszont ritkán veri a jól hangolt boostingot.

Források és további olvasnivaló

ISLP 8. fejezet, Tree-Based Methods, valamint a 9. és 10. fejezet kitekintése a támogató vektor gépekre és a mély tanulásra. Stanford Online, Statistical Learning with Python.