Valószínűség és bizonytalanság

Esély és valószínűség

A valószínűség egy 0 és 1 közötti szám, amely azt fejezi ki, mennyire számítunk egy eseményre. Az Elements of AI mellette egy másik, a mindennapokban is ismerős formát használ, az esélyt. Ha egy dobókockával hatost dobni egy a hathoz valószínűségű, akkor az esélye egy az öthöz, mert egy kedvező kimenetelre öt kedvezőtlen jut. Az esélyforma azért hasznos, mert vele a bizonyítékok hatása egyszerű szorzással számolható.

A gépek bizonytalanságkezelésének egyik alapeszköze a Bayes szabály, amely Thomas Bayes 18. századi angol lelkész és matematikus nevéhez fűződik. Az esélyformában így szól a lényege. A megfigyelés előtti esélyt megszorozzuk azzal, hogy a megfigyelés hányszor valószínűbb akkor, ha az esemény igaz, mint akkor, ha nem igaz, és az eredmény a megfigyelés utáni esély. Előzetes esélynek vagy alaparánynak is nevezik a kiindulópontot, és a gyakorlatban éppen erről feledkeznek meg a legtöbben.

Miért felejtjük el az alaparányt

Az emberi intuíció a szűrő pontosságára figyel, és elsiklik afölött, hogy a keresett esemény mennyire ritka. Amikor egy budapesti biztosítónál csalásgyanút jelző AI rendszert vezettünk be, az első hetekben a kárszakértők minden riasztott ügyet gyanúsként kezeltek, és több becsületes ügyfél is hetekig várt a kifizetésre. A megoldást végül a folyamat átalakítása hozta, a modell változatlan maradt. Azóta a riasztás csak a vizsgálat sorrendjét módosítja, a döntést nem, és a kárszakértők havonta látják, a riasztások hány százaléka bizonyult valódi csalásnak.

A naiv Bayes osztályozó

A Bayes szabály egyik leghíresebb alkalmazása a levélszemétszűrés. Naiv Bayes osztályozónak nevezik azt a módszert, amely minden szóhoz megtanulja a tanító levelekből, mennyivel gyakoribb a kéretlen levelekben, mint a rendesekben. Egy új levélnél az alapesélyt a levélben szereplő szavak arányszámaival sorban megszorozza, és ha a végeredmény átlép egy küszöböt, a levél a spam mappába kerül. A módszert Paul Graham 2002-es A Plan for Spam esszéje tette széles körben ismertté, és egyszerűsége ellenére évekig a spamszűrők gerince volt.

A naiv jelző arra utal, hogy a módszer úgy számol, mintha a szavak egymástól függetlenül fordulnának elő. Ez nyilvánvalóan nem igaz, a nyereményjáték és az ingyenes szó gyakran együtt jár. A durva egyszerűsítés ellenére az osztályozás meglepően jól működik, mert a döntéshez nem kell hibátlan valószínűség, elég, ha a spam és a rendes levél a küszöb helyes oldalára kerül. Ez az AI egyik visszatérő tanulsága, egy leegyszerűsített modell is lehet hasznos, ha tudjuk, mire használjuk és hol a határa. A mai nyelvi modellek is valószínűségi gépek, minden lépésben azt becsülik, melyik szórészlet következik a legnagyobb eséllyel.

Források és további olvasnivaló

University of Helsinki és MinnaLearn, Elements of AI, 3. fejezet, Odds and probability, The Bayes rule és Naive Bayes classification. Paul Graham, A Plan for Spam, 2002. Mehran Sahami és társai, A Bayesian Approach to Filtering Junk E-Mail, AAAI Workshop on Learning for Text Categorization, 1998. A modell magabiztos, de téves válaszairól ebben a cikkemben írtam.