Lokalni AI za tvrtku kojoj je privatnost na prvom mjestu: studija slučaja

Neke tvrtke ne mogu staviti svoje podatke u tuđi oblak — ne zato što su paranoične, nego zato što je povjerljivost sam proizvod koji prodaju. Ovo je priča o jednoj takvoj tvrtki i o tome kako smo im dali brzinu modernog AI asistenta, a da niti jedna klijentska datoteka nikada ne izađe iz njihova vlastita zida. Bez marketinškog laka. Samo ono što smo pokušali, što je puklo i što je na kraju proradilo.

Nekoliko puta godišnje dobijemo posebnu vrstu upita. Obično počinje rečenicom poput: „Rado bismo koristili AI, ali zakonski ne smijemo slati svoje podatke nikamo.“ Osoba s druge strane već je gledala kako kolege lijepe osjetljivi materijal u javni chatbot, osjetila kako joj srce potone i tiho zabranila cijelu kategoriju. Nisu protiv tehnologije. Zaglavljeni su između stvarne prilike za produktivnost i neupitne dužnosti povjerljivosti.

Ova studija slučaja govori o tvrtki upravo takvoj. Da bismo poštovali samu onu povjerljivost koja je definirala projekt, sve smo anonimizirali — ime, ljude, pojedinosti o njihovim klijentima. Brojke su ilustrativne i zaokružene, nisu revidirani podaci. No oblik problema i način na koji smo ga riješili točno su onakvi kakvi su se dogodili.

Situacija: produktivnost zaključana iza zida povjerljivosti

Klijent je bila srednje velika savjetodavna tvrtka u području u kojem diskrecija nije lijep dodatak — ona je cijeli razlog zašto ih klijenti angažiraju. Zamislite praksu koja se bavi osjetljivim korporativnim, pravnim ili sigurnosno srodnim poslovima, gdje curenje ne bi bilo samo neugodno; okončalo bi posao. Otprilike tridesetak ljudi, ozbiljan opseg predmeta i planina dugih, gustih dokumenata koje netko svakog tjedna mora pročitati, sažeti i unakrsno provjeriti.

Njihov je tim gledao kako ostatak svijeta ubrzava uz AI asistente i osjećao kako se jaz širi. Mlađi zaposlenik mogao je pola dana provesti izvlačeći ključne točke iz izvještaja od 90 stranica. Izrada prvog sažetka predmeta gutala je sate koje nitko nije naplatio. Posao je bio upravo ona vrsta guste, jezično zahtjevne mučnine u kojoj je moderni AI istinski dobar — a oni ga nisu smjeli ni dotaknuti.

Prepreka je bila jednostavna i apsolutna. Njihovi ugovori s klijentima i vlastita interna politika zabranjivali su slanje klijentskog materijala bilo kojoj usluzi treće strane. Ne anonimizirano, ne šifrirano u prijenosu, ne „dobavljač obećava da neće na tome trenirati.“ Podaci nisu smjeli napustiti njihove prostorije, točka. Svaki AI alat u oblaku na tržištu bio je po definiciji isključen, koliko god dobra izgledala njegova politika privatnosti na papiru.

Ta zadnja razlika cijeli je projekt u jednoj rečenici. Mnoge ponude „privatnog AI-ja“ zapravo su tuđi oblak sa strožim ugovorom. Za ovog klijenta to nije bilo dovoljno. Jedini prihvatljiv odgovor bio je sustav u kojem osjetljivi podaci fizički nikada ne putuju — u kojem biste, u načelu, mogli iščupati mrežni kabel, a asistent bi i dalje radio.

Zašto očiti odgovori u oblaku nisu pristajali

Prije nego što smo išta gradili, savjesno smo provjerili lakše putove — jer on-premise je više posla i nećemo ga preporučiti ako jednostavnija opcija istinski pristaje. Za ovog klijenta svaka je prečica pala na istom zidu.

Veliki pružatelji svi nude enterprise razine s „ne treniramo na vašim podacima“ i regionalnim hostingom. Umirujuće, i za mnoge tvrtke posve dostatno. No to i dalje znači da klijentske datoteke napuštaju zgradu i, ma koliko kratko, borave na infrastrukturi koju tvrtka ne kontrolira. Za praksu čiji ugovori to izrijekom zabranjuju, snažno obećanje i dalje je samo obećanje — a obećanja ne preživljavaju revizorsko pitanje koje počinje s „možete li jamčiti…“.

Isključili smo i instancu privatnog oblaka — namjensko, izolirano okruženje koje hosta pružatelj. Tehnički jače i posve dobro rješenje za neke tvrtke. No to je i dalje stavljalo podatke na iznajmljeni hardver u zgradi koju klijent ne posjeduje i zadržavalo ovisnost o vanjskom dobavljaču za nešto što je klijent želio potpuno pod vlastitim krovom. Bili su spremni žrtvovati malo udobnosti za tu kontrolu. Dakle, on-premise je bio odgovor.

Što smo zapravo izgradili

Rješenje, svedeno na bit, bio je privatni AI asistent koji radi na jednom snažnom serveru unutar klijentova vlastitog ureda. Tim mu pristupa kroz običnu web stranicu u pregledniku — izgleda i djeluje kao chat alati koje svi već poznaju. Iza tog poznatog prozora ništa nikada ne napušta lokalnu mrežu.

Namjerno smo arhitekturu održali dosadnom. Dosadno je pouzdano, a pouzdanost je ono što sustav kritičan za privatnost treba. Postojala su tri pokretna dijela vrijedna spomena.

Model otvorenih težina koji radi lokalno

Umjesto pozivanja hostanog modela, pokrenuli smo sposoban jezični model otvorenih težina izravno na GPU-u servera. Otvorene težine ovdje su bitne: datoteke modela žive na klijentovom disku, rade na klijentovom hardveru i odgovaraju na pitanja bez ijednog odlaska na internet. Za njihov posao — sažimanje, izvlačenje, izradu nacrta, odgovaranje na pitanja o vlastitim dokumentima — dobro odabran model srednje veličine bio je više nego dovoljan. Nisu trebali apsolutnu granicu; trebali su kompetentnost i privatnost.

Privatni sloj znanja nad njihovim vlastitim datotekama

Prava vrijednost nije bio generički chatbot — bio je to asistent koji je mogao odgovarati na pitanja o njihovim vlastitim predmetima. Izgradili smo sloj dohvaćanja koji lokalno indeksira njihove dokumente, pa kada netko pita „što smo zaključili o X-u u predmetu Müller“, sustav pronalazi relevantne odlomke i odgovara iz njih. Taj indeks, kao i sve ostalo, u potpunosti se nalazi na lokalnom stroju. Nijedan dokument, ni njegov ulomak, nikada se nikamo ne prenosi.

Kontrola pristupa usklađena s njihovim postojećim pravilima

Tvrtka poput ove već ima stroga pravila o tome tko smije vidjeti koje datoteke. Asistent ih je morao poštovati, a ne zaobilaziti. Stoga je pristup zrcalio njihova postojeća ovlaštenja: AI možete pitati samo o materijalu koji već smijete otvoriti. Zvuči očito, ali upravo je to dio koji pretvara pametnu demonstraciju u nešto što će službenik za usklađenost zaista odobriti.

Kako smo uveli sustav bez ometanja rada

Tvrtka kojoj je privatnost na prvom mjestu razumljivo je oprezna prema novim sustavima. Nismo namjeravali osvojiti povjerenje jednim potezom prekidača i proglašenjem pobjede. Zato smo projekt vodili kao niz malih, reverzibilnih koraka, svaki dokaziv prije nego što je sljedeći počeo.

1. 1
   Prvo smo omeđili jedan mučan zadatak

   Nismo pokušavali „dodati AI u tvrtku.“ Odabrali smo jedan posao velikog opsega — sažimanje dugih dolaznih dokumenata — i gradili za njega. Jedna jasna meta, laka za ocjenu kao uspjeh ili neuspjeh.
2. 2
   Gradili smo na testnom stroju s lažnim podacima

   Sve je najprije postavljeno na izoliranom računalu koristeći izmišljene dokumente, tako da nijedan stvaran klijentski podatak nije bio uključen dok sustav nije dokazan i sigurnosni model pregledan.
3. 3
   Proveli smo zatvoreni pilot s nekoliko naprednih korisnika

   Nekolicina starijih zaposlenika koristila ga je na stvarnom poslu nekoliko tjedana, uz svoj uobičajeni proces. Pronašli su grube rubove — čudne formulacije, nekoliko dokumenata koje je indeks loše obradio — i mi smo ih ispravili.
4. 4
   Provjerili smo ga prema njihovoj vlastitoj politici

   Prije šireg uvođenja, njihov voditelj usklađenosti revidirao je točno gdje podaci žive i kamo se kreću. Budući da je odgovor bio „nigdje osim ovdje“, ta je revizija bila kratka — što je bio cijeli cilj dizajna.
5. 5
   Otvorili smo ga timu uz vodič na jednoj stranici

   Tek kad je zadobio povjerenje, uveli smo ga u cijeloj tvrtki, uz bilješku na jednostavnom jeziku o tome u čemu je dobar, u čemu nije i podsjetnik da nikada ne izmišlja — citira.

Rezultat: vraćeni sati, i ništa nije napustilo zgradu

Unutar nekoliko mjeseci od potpunog uvođenja, asistent je tiho postao dio svakodnevne rutine. Glavni ishod bio je onaj do kojeg im je najviše bilo stalo: nijedan bajt klijentskih podataka nikada nije napustio njihove prostorije, i to su mogli dokazati svakome tko pita. Sustav radi na njihovom serveru, u njihovom uredu, pod njihovom kontrolom. Već je to samo po sebi opravdalo projekt.

Produktivnost je bila bonus zbog kojeg se isplatio. Prvi sažetak dugog dokumenta — prije višesatan posao za mlađeg zaposlenika — pao je na minute pregleda i uređivanja. Zaposlenici su prestali ponovno čitati cijele datoteke da odgovore na jedno činjenično pitanje; pitali su asistenta, dobili citirani odlomak i provjerili ga u nekoliko sekundi. Kroz cijeli tim, ušteđeno vrijeme zbrojilo se u smisleni dio svakog tjedna, preusmjeren s mučnog čitanja dokumenata na analizu više vrijednosti za koju klijenti zapravo plaćaju.

Jednako je rječita bila i jedna mekša promjena. Ljudi koji su bili tiho nervozni oko AI-ja — brinuli su se da je curenje koje samo čeka da se dogodi — postali su opušteni u korištenju, upravo zato što su razumjeli zašto je sigurno. Povjerenje nije došlo od našeg umirivanja. Došlo je od arhitekture koju su klijentu mogli objasniti u jednoj rečenici: nikada ne napušta zgradu.

Koliko je koštalo, iskreno

On-premise AI nije jeftina opcija i učinili bismo vam medvjeđu uslugu da se pravimo drugačije. Postoji stvaran server sa stvarnim GPU-om koji treba kupiti, projekt postave koji treba financirati i tekuće održavanje za koje treba planirati proračun — zakrpe, ažuriranja modela, povremeno štimanje. Za tvrtku čija je povjerljivost ugovorna, taj je trošak lako opravdati. Za tvrtku kojoj se ideja privatnosti samo sviđa, često nije, i to ćemo reći.

Iskren kompromis izgleda ovako: viši početni trošak i malo više odgovornosti u zamjenu za potpunu kontrolu i nikakve naknade oblaka po poruci koje rastu s uporabom. Za tim s velikom uporabom koji rukuje osjetljivim materijalom, ekonomika se zapravo poboljšava s vremenom — kupili ste kapacitet umjesto da ga iznajmljujete po upitu. Za laganu ili povremenu uporabu, alat u oblaku gotovo bi sigurno bio jeftiniji. Znati na kojoj ste strani te crte čini većinu odluke.

• Sposoban server s prikladnim GPU-om — jednokratna kapitalna kupnja, ne pretplata.
• Projekt postave: instaliranje i štimanje modela, izgradnja indeksa dokumenata, spajanje kontrole pristupa.
• Tekuće održavanje: sigurnosne zakrpe, ažuriranja modela, povremeno preštimavanje kako se potrebe mijenjaju.
• Interno vlasništvo: jedna imenovana osoba koja pazi na sustav, baš kao što biste vodili bilo koji ključni sustav.
• Nema računa oblaka po upitu — uporaba koja bi u oblaku postala skupa u biti je besplatna nakon što je hardver plaćen.

Bi li ovo pristajalo vašem poslovanju?

Ovo nije bio jednokratni slučaj. Isti obrazac pristaje svakoj tvrtki gdje je ograničenje osjetljivost podataka, a ne proračun: pravnim praksama, medicinskim i zdravstveno srodnim pružateljima, sigurnosnim i obrambeno srodnim poslovima, financijskim savjetnicima, R&D timovima koji sjede na poslovnim tajnama. Ako ste se zatekli kako želite AI pomoć, ali se lecnete pri pomisli kamo bi podaci otišli, vi ste publika za koju je ovaj pristup izgrađen.

Jednako tako, ako vaši podaci nisu osobito osjetljivi i samo biste plaćali premiju za osjećaj, uputit ćemo vas na dobru opciju u oblaku i uštedjeti vam trošak. Pravi odgovor u potpunosti ovisi o vašim obvezama, a ne o tome koja tehnologija zvuči impresivnije. Najkorisniji prvi korak nije odabir modela — to je iskreno suočavanje s onim što vaše dužnosti povjerljivosti zaista zahtijevaju.

Česta pitanja