Lineáris regresszió és a veszteségfüggvény

Az egyenes, amit illesztünk

A lineáris regresszió (linear regression) célja, hogy egy folytonos számot jósoljon meg egy vagy több jellemzőből. A modell egy egyenes, amelyet úgy állítunk be, hogy a lehető legjobban illeszkedjen az adatpontokra. Egyetlen jellemző esetén a modell a következő alakot ölti, ahol a becsült címkét kalapos y jelöli.

Itt x₁ a jellemző, w₁ a hozzá tartozó súly (weight), amely az egyenes meredekségét adja, b pedig a torzítás (bias), amely az egyenes függőleges eltolása, más néven a tengelymetszet. Több jellemző esetén a képlet minden jellemzőhöz külön súlyt kap, vagyis y′ = b + w₁x₁ + w₂x₂ + w₃x₃ és így tovább. A tanítás során a modell éppen ezeket a súlyokat és a torzítást keresi, azokat az értékeket, amelyek a legjobb illeszkedést adják.

Mi a veszteség

Amikor a modell egy pontra becslést ad, a becslés általában nem esik pontosan egybe a valós címkével. A kettő közötti eltérés a hiba. A veszteség (loss) egy számszerű mérőszám, amely megmutatja, mennyire tévednek a modell becslései. A tanítás célja mindig az, hogy ezt a veszteséget a lehető legkisebbre szorítsuk. A veszteség szempontjából csak az eltérés nagysága számít, az iránya nem. Ha a becslés három egységgel nagyobb vagy három egységgel kisebb a valós értéknél, a távolság mindkét esetben három. Ezért minden veszteségszámítás előbb eltünteti az előjelet, vagy abszolút értékkel, vagy négyzetre emeléssel.

Abszolút és négyzetes veszteség

Két veszteségtípus a leggyakoribb. Az L1 veszteség az abszolút eltérések összege, ennek átlaga az átlagos abszolút hiba (mean absolute error, MAE). Az L2 veszteség a négyzetes eltérések összege, ennek átlaga az átlagos négyzetes hiba (mean squared error, MSE). Az MSE gyökét vonva kapjuk a négyzetgyökös átlagos hibát (root mean squared error, RMSE), amely visszaadja a hibát a címke eredeti mértékegységében. A döntő különbség a négyzetre emelésben van. Amikor egy eltérés nagyobb egynél, a négyzet erősen felnagyítja, ezért az MSE sokkal jobban bünteti a kiugró hibákat, mint a MAE.

Melyik veszteséget válasszuk

A választás azon múlik, mennyire számítanak a nagy, kiugró hibák. Az MSE és az RMSE akkor jó választás, ha a nagy tévedéseket erősen büntetni akarjuk, vagy ha a kiugró értékek valódi, fontos jelenséget takarnak. A MAE akkor előnyös, ha az adatban sok a kiugró érték, és nem szeretnénk, hogy ezek túlzottan befolyásolják a modellt. A négyzetre emelés miatt az MSE hajlamosabb az outlierek irányába húzni az egyenest, míg a MAE stabilabb marad. A gyakorlatban gyakran mindkettőt megnézik, és a feladat természete dönt.