Mit építesz
Bérlista, folyamatban lévő peres anyag, fejlesztés alatti termékdokumentáció, akvizíciós tárgyalás jegyzőkönyve. Ezekre a cégek jellemzően két rossz választ adnak. Az egyik, hogy akkor inkább nem használunk AI-t semmire. A másik, hogy közben a kolléga a saját fiókjából mégis felteszi, és erről senki nem tud. Ez utóbbinak van neve, shadow AI.
A harmadik lehetőség a helyben futó modell. A szöveg a gépen marad, a feldolgozás a gép processzorán és memóriáján történik, kifelé semmi nem megy. Internet sem kell hozzá, miután a modell letöltődött.
Az elvárásokat érdemes előre rendezni. A helyben futó modell lassabb, kevesebbet tud, nincs mögötte webes keresés, és hosszú dokumentumnál hamarabb elfogy a kapacitása. Cserébe az adat nem hagyja el a házat. Ez nem egy gyengébb változata a felhős eszköznek, hanem más kockázati profilú szerszám, más feladatokra.
Mire lesz szükséged
Ez nem a felhős előfizetés kiváltása. A helyben futó modell egy második eszköz a bizalmas körre, nem az első helyére. Aki ezzel próbálja megspórolni az előfizetést, az néhány hét után visszatér, mert a napi munka nagy részéhez a felhős modell erősebb.
A projekt öt lépésben
Döntsd el, tényleg kell-e
Írd össze a cég öt leggyakoribb AI felhasználását, és mindegyikhez azt, milyen adat megy bele. Utána sorold be mindet három kategóriába.
- Nyilvános, tehát olyan szöveg, ami a honlapra is kimehetne
- Belső, tehát üzleti adat, ami nem titok, de nem is publikus
- Bizalmas, ahol a kiszivárgás önmagában kár
A helyben futó modell csak a harmadik kategóriára kell. A besorolást nem az informatika végzi egyedül, mert a kérdés nem technikai. Azt kell eldönteni, melyik adat kiszivárgása mibe kerülne, és ez üzleti döntés.
Telepítsd a futtatókörnyezetet
Két elterjedt megoldás van. Az LM Studio ablakos felületet ad, telepítés után azonnal használható, és modellkeresőt is tartalmaz. Az Ollama parancssorból megy, könnyebben automatizálható, és más programokból is meghívható.
Első körben az LM Studio a jobb választás, mert a modellek letöltése és váltogatása néhány kattintás. Ha később egy belső alkalmazásba kell beépíteni, az Ollama a kézenfekvőbb.
A telepítés önmagában még semmit nem tud. A modell külön letöltés, és abból lesz a tényleges képesség.
Válassz modellt a géphez mért méretben
Egy ökölszabály elég az induláshoz. A modell legfeljebb a szabad memória felét foglalja el. Ha ennél nagyobbat teszel a gépre, elindul, de a válaszra olyan sokat kell várni, hogy a napi munkában senki nem fogja használni.
Teszteld magyarul, mielőtt bárminek örülnél
Itt dől el, használható-e a modell. A nyílt modellek nagy része angolul meggyőző és magyarul gyenge, és ez a bemutatón nem derül ki, mert a bemutatót angolul tartják.
Öt teszt, mindegyik magyarul.
- Egy oldalas magyar szöveg összefoglalása öt mondatban
- Szakkifejezés helyes használata a cég saját területéről
- Táblázatos adatból folyó magyar mondat
- Hivatalos hangvételű magyar levél megfogalmazása
- Egy kérdés arról, mi az, ami a megadott szövegből nem állapítható meg
A harmadik és a negyedik teszt szűr a legjobban. Ha ott magyartalan mondatok és rossz toldalékolás jön, modellt kell váltani, nem az utasítást csiszolni. Egy modell nyelvi szintje nem prompttal javítható.
Az ötödik teszt a tartást méri. Egy gyenge modell mindenre válaszol, és magabiztosan tölti ki a hézagot. Ez a bizalmas körben a legdrágább hiba, mert itt nincs második olvasó.
Írd le, mi megy helyben és mi a felhőbe
Egy oldal, három oszloppal. Adatkör, eszköz, felelős. Ez a projekt valódi hozadéka, és ez az a rész, ami a legtöbb helyen kimarad.
A szabály akkor működik, ha a kolléga meg tudja mondani, melyik ablakba teheti be a bérlistát. Ha ezt egy mondatban nem tudja, a szabály nincs készen, akármilyen részletes dokumentum készült róla.
Amit a végén tudsz
Van egy második eszköz a bizalmas körre, és van egy döntési szabály, ami eldönti, mikor melyiket használjuk. A kettő közül a szabály a tartósabb, mert a modellek fél év alatt cserélődnek, a besorolás viszont évekig áll.
Mellékhatásként kiderül, mennyi bizalmas adat kerül ma felhős eszközbe anélkül, hogy bárki döntött volna róla. Ez a felismerés önmagában több, mint amiért a projekt elindult.
Hol használd a cégben
Ha ebből rendszer lenne
Egy gépen elindítani a modellt másfél óra. Azt eldönteni, hogy a cég melyik adatát hol dolgozza fel, és ezt a döntést a napi működésbe is beépíteni, már vezetői munka. A vezetői AI diagnózis során fél napot töltünk a vezetéssel, és ez az egyik kérdés, amire a végén írásos válasz lesz.
További projektek a Projektek oldalon. Az adatkezelési szabály megírásához a kézikönyvek között van AI policy minta és GDPR ellenőrzőlista.