Mit jelent az alignment
Az alignment magyarul körülbelül azt jelenti, hogy a rendszer viselkedése egy irányba mutat az emberi szándékkal. Egy jól hangolt AI nem csupán teljesíti a kérést, hanem azt teljesíti, amit valójában szerettünk volna, és közben tiszteletben tartja azokat az értékeket, amelyeket magától értetődőnek gondolunk. A probléma ott kezdődik, hogy ezek az értékek a fejünkben nagyrészt kimondatlanul élnek. Amikor kérünk valamit, csak a kérés csúcsát fogalmazzuk meg, a mögötte lévő elvárások és határok többségét nem. Egy ember beszélgetőpartner ezt a hátteret általában kitölti a közös tapasztalatból. Egy gépi rendszernek viszont nincs meg ez a közös háttere, ezért pontosan azt fogja optimalizálni, amit ténylegesen megadtunk neki.
A rés a mondott és a szándékolt között
A legtöbb félreértés abból fakad, hogy különbség van aközött, amit megfogalmazunk, és aközött, amit valójában akarunk. Ha valakit arra kérünk, hogy egy szöveg legyen minél rövidebb, és ő a lényeget is kihúzza belőle, akkor betűjében teljesítette a kérést, de nem azt adta, amire gondoltunk. Az AI rendszereknél ugyanez a rés jelenik meg, csak nagyobb léptékben és nehezebben észrevehetően. A rendszer a megadott célt követi, nem a mögötte húzódó szándékot. Ezt a jelenséget szokás úgy leírni, hogy a modell a megfogalmazott cél betűjét optimalizálja, nem a szellemét. Minél összetettebb a feladat, annál több a kimondatlan feltétel, és annál könnyebben tágul ez a rés.
Miért nehéz értékeket megadni
Kézenfekvő volna azt gondolni, hogy elég egyszer alaposan leírni minden fontos elvárást, és a probléma megoldódik. A gyakorlatban ez nem működik, három ok miatt. Az első, hogy az emberi értékek nem alkotnak zárt, ellentmondásmentes listát. Fontos a segítőkészség, de fontos az őszinteség is, és a kettő időnként ütközik. A második, hogy a helyzetek végtelenül változatosak, előre nem tudunk minden esetre szabályt írni. A harmadik, hogy amikor egy célt számszerűsíthetővé teszünk, a rendszer hajlamos éppen a szám maximumát üldözni, nem a szám mögötti eredeti szándékot. Ez a jelenség jól ismert az emberi szervezetekből is. Amint egy mutatóból cél lesz, az emberek elkezdik a mutatót javítani, és közben szem elől téveszthetik azt, amiért a mutatót eredetileg bevezették.
A megfogalmazott cél
- Pontosan mérhető és számon kérhető
- Könnyen leírható néhány mondatban
- Csak a felszínt ragadja meg
- A rendszer ezt hajtja végre szó szerint
A tényleges szándék
- Sok kimondatlan feltételt tartalmaz
- Értékeket és határokat is magába foglal
- Helyzetről helyzetre változik
- Ezt szeretnénk, hogy a rendszer kövesse
Miért nő a tét az önállósággal
Amíg egy AI rendszer csak javasol, és minden lépést ember hagy jóvá, addig a rés következményeit még idejében ki lehet szűrni. A helyzet akkor változik, amikor a rendszer önállóan visz végig több lépést, és a döntéseit nem nézi át senki menet közben. Ilyenkor egy apró félrehangolás is felhalmozódhat, és olyan eredményhez vezethet, amit senki nem akart. Éppen ezért az alignment nem elvont filozófiai kérdés, hanem gyakorlati tervezési feladat. Minél nagyobb hatókört adunk egy rendszernek, annál gondosabban kell átgondolni, mit jelent a jó viselkedés, és hol maradnak emberi ellenőrzőpontok. A társadalom szempontjából ez az egyik legfontosabb kérdés, mert a következő leckék témái, a torzítástól a szabályozásig, mind ehhez a maghoz kapcsolódnak.
Egy gondolat a leckéből. A rendszer azt teszi, amit megadunk neki, nem azt, amit gondolunk. Az alignment az a folyamatos munka, amellyel a kiadott célt közelítjük ahhoz, amit valójában akarunk, és éppen ezért igényel emberi felügyeletet, nem egyszeri beállítást.
Workshop
AI Transformation Day
Egésznapos, vezetőknek szóló program. Feltérképezzük, hol tart a szervezet, mi az első reális lépés, és milyen belső feltételek szükségesek a sikerhez. A nap végén konkrét, prioritizált cselekvési lista.
Érdekel a program →