Működés közben

A csendes romlás

Az AI rendszerek másképp romlanak el, mint a hagyományos szoftver. Egy hagyományos hiba látványos, megáll valami, jön a hibaüzenet. Egy AI rendszer viszont tud úgy romlani, hogy közben végig válaszol, magabiztosan és folyékonyan, csak épp egyre rosszabbul.

Ez az, amiért a bevezetés utáni figyelés nem opció. Aki nem mér, az nem azt fogja tapasztalni, hogy elromlott, hanem azt, hogy a kollégák lassan abbahagyják a használatát, és senki nem tudja megmondani, mikor kezdődött.

Mit érdemes figyelni

Mikor kell hozzányúlni

Nem minden ingadozás igényel beavatkozást. A túl gyakori módosítás ugyanolyan veszélyes, mint a semmittevés, mert megszünteti az összehasonlítási alapot, és senki nem fogja tudni, melyik változtatás mit okozott.

Érdemes előre kimondani, milyen elmozdulásnál nyúlunk hozzá. Például akkor, ha a kézi javítások aránya két egymást követő hónapban emelkedik, vagy ha a használat egy negyed alatt a felére esik.

És érdemes kimondani azt is, hogy egyszerre csak egy dolgot változtatunk. A modell, a prompt és a bemeneti adat egyidejű módosítása után a javulás vagy romlás oka kideríthetetlen.

A leállítás is eredmény

Van, amikor a helyes döntés az, hogy kikapcsoljuk. Megváltozott a folyamat, elfogyott a probléma, vagy egy egyszerűbb eszköz jobban megoldja. Ez nem kudarc, hanem karbantartás.

Amit viszont nem szabad, az a lassú elhalás. Egy rendszer, amit már senki nem használ, de még fut, költséget termel, kockázatot hordoz, és rontja a következő AI projekt hitelét a szervezetben.

Ezért érdemes minden bevezetéshez hozzátenni egy felülvizsgálati időpontot. Fél év múlva leülünk, megnézzük a számokat, és eldöntjük, marad, változik vagy megy. Ha ez az időpont előre be van írva, akkor a döntés meg fog születni, nem elhalasztódik.