Alkalmazások, korlátok és etika

Hol használják a diffúziós modelleket

A legismertebb felhasználás a szövegből képet készítő rendszerek, de a diffúzió ennél sokoldalúbb. Használják meglévő képek szerkesztésére, például egy kép hiányzó vagy kitakart részének hihető kitöltésére, amit a szakma befestésnek (inpainting) nevez. Alkalmas kis felbontású képek felnagyítására és élesítésére, és kép a képből típusú átalakításokra is, amikor egy vázlatból vagy egy meglévő fotóból indulunk. A módszer nem korlátozódik a képekre, rokon elven ma hangot, videót és más adattípust is generálnak vele. A közös bennük, hogy mind ugyanazt a fokozatos zajtalanító gondolatot viszik át egy új területre.

A technikai korlátok

A diffúziónak megvannak a maga gyengéi. A legfontosabb a lassúság, hiszen a mintavétel sok egymást követő lépésből áll, ami időt és számítási kapacitást igényel, bár a kutatás sokat javított ezen a lépésszám csökkentésével. A modellek olykor hibás részleteket állítanak elő, például furcsán megrajzolt kezeket vagy értelmetlen szöveget a képen, mert a finom, szabályos szerkezet nehéz feladat. Fontos korlát az is, hogy a modell csak azt tudja, amit a tanítóadatból megtanult, ezért a tanítóadat torzításai és hiányosságai megjelennek a kimeneten is. Egy generált kép ráadásul mindig valószínű, de nem feltétlenül valós, nem tényforrás, hanem egy hihető minta.

A deepfake kérdése

A képgenerálás egyik legsúlyosabb kockázata a deepfake, vagyis valós személyekről készült megtévesztően élethű, de hamis kép vagy videó. Ugyanaz a technológia, amely egy művésznek gyors vázlatokat készít, alkalmas arra is, hogy valakit olyan helyzetben mutasson, amiben soha nem volt. Ez félrevezető információk terjesztésére, lejáratásra és visszaélésre ad lehetőséget, különösen érzékeny területeken, mint a közélet vagy a beleegyezés nélkül készített, valakit ábrázoló tartalom. A védekezés több irányból épül, ide tartozik a tartalom eredetét jelző vízjelezés és eredethitelesítés, valamint a felismerést segítő eszközök, de a legfontosabb az emberi óvatosság és a forráskritika.

A szerzői jog és a tanítóadat

A generatív képmodellek hatalmas képgyűjteményeken tanulnak, és ezek gyakran tartalmaznak szerzői jogi védelem alatt álló műveket. Ebből több nyitott kérdés fakad. Egyrészt vitatott, jogszerű-e védett műveket engedély nélkül tanításra használni. Másrészt bizonytalan a generált kép jogi helyzete, kit illetnek a jogok, és mennyiben számít egy adott alkotó stílusának utánzása. A modellek olykor a tanítóadathoz nagyon hasonló kimenetet is adhatnak, ami tovább élezi a kérdést. Ezek jórészt még alakuló, területenként eltérő jogi és etikai kérdések. A felelős használat része, hogy tisztázzuk a jogokat, feltüntetjük, ha egy tartalom mesterségesen generált, és tiszteletben tartjuk mások munkáját.

Ahogy a kurzust lezárjuk

A diffúziós modellek egy meglepően egyszerű ötletre épülnek. Egy képet könnyű fokozatosan zajjá rontani, és ha megtanuljuk ennek a fordítottját, a zaj lépésenkénti eltávolítását, akkor tiszta zajból új képet építhetünk. Ebből lett a generatív modellek egyik legerősebb családja, amely szöveges leírás alapján, latens térben, gyorsan készít kiváló minőségű, változatos képet. Aki érti ezt a mechanizmust, az nemcsak a technológiát látja tisztábban, hanem a vele járó lehetőségeket és felelősséget is. A záróteszt tíz kérdése a kurzus fő fogalmait kéri számon.

Forrás

A MIT 6.S191 Introduction to Deep Learning kurzus Deep Generative Modeling anyaga és a Denoising Diffusion Probabilistic Models tanulmány (Ho, Jain, Abbeel, 2020) alapján, magyar feldolgozásban. A szövegvezérelt és latens diffúzióhoz kapcsolódó fogalmak a terület széles körben elfogadott ismeretei. Az etikai és jogi rész oktatási célú, nem minősül jogi tanácsnak.