Lokálna AI pre firmu s dôrazom na súkromie: prípadová štúdia

Niektoré firmy nemôžu dať svoje dáta do cudzieho cloudu — nie preto, že sú paranoidné, ale preto, že mlčanlivosť je samotný produkt, ktorý predávajú. Toto je príbeh jednej takej firmy a toho, ako sme jej dali rýchlosť moderného AI asistenta bez toho, aby jediný klientský súbor kedykoľvek opustil jej vlastné štyri steny. Bez marketingového laku. Len to, čo sme skúsili, čo prasklo a čo napokon fungovalo.

Niekoľkokrát ročne dostaneme osobitný druh dopytu. Zvyčajne sa začína vetou ako: „Radi by sme používali AI, ale zo zákona nesmieme posielať svoje dáta nikam.“ Osoba na druhej strane už videla, ako kolegovia vkladajú citlivý materiál do verejného chatbota, pocítila zovretie v žalúdku a potichu zakázala celú kategóriu. Nie sú proti technológiám. Uviazli medzi skutočnou príležitosťou na produktivitu a nespochybniteľnou povinnosťou mlčanlivosti.

Táto prípadová štúdia je o presne takejto firme. Aby sme rešpektovali práve tú mlčanlivosť, ktorá projekt definovala, všetko sme anonymizovali — meno, ľudí, podrobnosti o ich klientoch. Čísla sú ilustratívne a zaokrúhlené, nie auditované údaje. No tvar problému a spôsob, akým sme ho vyriešili, sú presne také, aké sa udiali.

Situácia: produktivita zamknutá za stenou mlčanlivosti

Klientom bola stredne veľká poradenská firma v oblasti, kde diskrétnosť nie je pekný bonus — je to celý dôvod, prečo si ich klienti najímajú. Predstavte si prax, ktorá sa zaoberá citlivou korporátnou, právnou alebo bezpečnostne príbuznou prácou, kde by únik nebol len trápny; ukončil by biznis. Zhruba tridsať ľudí, vážna agenda a hora dlhých, hustých dokumentov, ktoré musí niekto každý týždeň prečítať, zhrnúť a krížovo overiť.

Ich tím sledoval, ako zvyšok sveta zrýchľuje s AI asistentmi, a cítil, ako sa priepasť rozširuje. Junior mohol stráviť pol dňa vyťahovaním kľúčových bodov z 90-stranovej správy. Vytvorenie prvého zhrnutia spisu zožralo hodiny, ktoré nikto nefakturoval. Práca bola presne ten druh hustej, jazykovo náročnej driny, v ktorej je moderná AI naozaj dobrá — a oni sa jej nesmeli ani dotknúť.

Prekážka bola jednoduchá a absolútna. Ich klientske zmluvy a vlastná interná politika zakazovali posielať klientský materiál akejkoľvek službe tretej strany. Ani anonymizovaný, ani šifrovaný pri prenose, ani „dodávateľ sľubuje, že na tom nebude trénovať.“ Dáta nesmeli opustiť ich priestory, bodka. Každý cloudový AI nástroj na trhu bol z definície mimo hry, nech jeho zásady ochrany súkromia na papieri vyzerali akokoľvek dobre.

Tento posledný rozdiel je celý projekt v jednej vete. Mnohé ponuky „súkromnej AI“ sú v skutočnosti cudzí cloud s prísnejšou zmluvou. Pre tohto klienta to nestačilo. Jediná prijateľná odpoveď bol systém, v ktorom citlivé dáta fyzicky nikdy necestujú — kde by ste v princípe mohli vytiahnuť sieťový kábel a asistent by stále fungoval.

Prečo zjavné cloudové odpovede nesadli

Než sme čokoľvek postavili, poctivo sme preverili jednoduchšie cesty — pretože on-premise je viac práce a neodporučíme ho, ak jednoduchšia možnosť naozaj sadne. Pre tohto klienta každá skratka padla na tej istej stene.

Veľkí poskytovatelia všetci ponúkajú enterprise úrovne s „na vašich dátach netrénujeme“ a regionálnym hostingom. Upokojujúce a pre mnohé firmy úplne dostačujúce. No stále to znamená, že klientske súbory opúšťajú budovu a sídlia, hoci krátko, na infraštruktúre, ktorú firma neovláda. Pre prax, ktorej zmluvy to výslovne zakazujú, je silný sľub stále len sľubom — a sľuby neprežijú auditnú otázku, ktorá začína „viete zaručiť…“.

Vylúčili sme aj inštanciu súkromného cloudu — vyhradené, izolované prostredie hostované poskytovateľom. Technicky silnejšie a úplne dobré riešenie pre niektoré firmy. No stále to ukladalo dáta na prenajatý hardvér v budove, ktorú klient nevlastní, a udržiavalo závislosť od externého dodávateľa pre niečo, čo klient chcel úplne pod vlastnou strechou. Boli ochotní obetovať trochu pohodlia za túto kontrolu. Takže on-premise to bolo.

Čo sme vlastne postavili

Riešenie, zredukované na podstatu, bol súkromný AI asistent bežiaci na jednom výkonnom serveri vnútri klientovej vlastnej kancelárie. Tím sa k nemu dostáva cez obyčajnú webovú stránku v prehliadači — vyzerá a pôsobí ako chatovacie nástroje, ktoré už každý pozná. Za tým známym oknom nič nikdy neopúšťa lokálnu sieť.

Architektúru sme zámerne držali nudnú. Nudné je spoľahlivé a spoľahlivosť je to, čo systém kritický pre súkromie potrebuje. Boli tri pohyblivé časti hodné pomenovania.

Model s otvorenými váhami bežiaci lokálne

Namiesto volania hostovaného modelu sme spustili schopný jazykový model s otvorenými váhami priamo na GPU servera. Otvorené váhy sú tu dôležité: súbory modelu žijú na klientovom disku, bežia na klientovom hardvéri a odpovedajú na otázky bez akéhokoľvek výletu na internet. Pre ich záťaž — zhrňovanie, extrahovanie, tvorbu návrhov, odpovedanie na otázky o vlastných dokumentoch — dobre zvolený stredne veľký model bol viac než dostatočný. Nepotrebovali absolútnu hranicu; potrebovali kompetentnosť a súkromie.

Súkromná vrstva znalostí nad ich vlastnými súbormi

Skutočnou hodnotou nebol generický chatbot — bol to asistent, ktorý dokázal odpovedať na otázky o ich vlastných spisoch. Postavili sme vyhľadávaciu vrstvu, ktorá lokálne indexuje ich dokumenty, takže keď sa niekto opýta „k čomu sme dospeli ohľadom X v prípade Müller“, systém nájde relevantné pasáže a odpovie z nich. Ten index, ako všetko ostatné, sídli úplne na lokálnom stroji. Žiadny dokument ani jeho fragment sa nikdy nikam nenahráva.

Riadenie prístupu zhodné s ich existujúcimi pravidlami

Firma ako táto už má prísne pravidlá o tom, kto smie vidieť ktoré súbory. Asistent ich musel rešpektovať, nie ich obchádzať. Prístup preto zrkadlil ich existujúce oprávnenia: AI sa môžete pýtať len na materiál, ktorý už smiete otvoriť. Znie to samozrejme, ale práve to je časť, ktorá premení šikovné demo na niečo, čo compliance officer naozaj schváli.

Ako sme to nasadili bez narušenia práce

Firma s dôrazom na súkromie je pochopiteľne opatrná voči novým systémom. Nechystali sme si získať dôveru prepnutím vypínača a vyhlásením víťazstva. Preto sme projekt viedli ako sériu malých, vratných krokov, každý dokázateľný predtým, než začal ďalší.

1. 1
   Najprv sme ohraničili jednu bolestivú úlohu

   Nepokúšali sme sa „pridať AI do firmy.“ Vybrali sme jednu prácu veľkého objemu — zhrňovanie dlhých prichádzajúcich dokumentov — a stavali pre ňu. Jeden jasný cieľ, ľahko posúditeľný ako úspech alebo neúspech.
2. 2
   Stavali sme na testovacom stroji s fiktívnymi dátami

   Všetko bolo najprv postavené na izolovanom počítači s vymyslenými dokumentmi, takže žiadne skutočné klientske dáta neboli zapojené, kým systém nebol overený a bezpečnostný model preverený.
3. 3
   Spustili sme uzavretý pilot s niekoľkými pokročilými používateľmi

   Hŕstka seniorov ho niekoľko týždňov používala na skutočnej práci popri svojom bežnom procese. Našli hrubé hrany — čudné formulácie, pár dokumentov, ktoré index spracoval zle — a my sme ich opravili.
4. 4
   Preverili sme ho voči ich vlastnej politike

   Pred širším nasadením ich vedúci compliance auditoval presne to, kde dáta žijú a kam sa pohybujú. Keďže odpoveď znela „nikde okrem tu“, tá previerka bola krátka — čo bol celý cieľ dizajnu.
5. 5
   Otvorili sme ho tímu s jednostranovým návodom

   Až keď si získal dôveru, nasadili sme ho celofiremne, s poznámkou v zrozumiteľnom jazyku o tom, v čom je dobrý, v čom nie, a pripomienkou, že nikdy nevymýšľa — cituje.

Výsledok: hodiny späť a nič neopustilo budovu

Do niekoľkých mesiacov od plného nasadenia sa asistent potichu stal súčasťou dennej rutiny. Hlavný výsledok bol ten, na ktorom im najviac záležalo: ani jeden bajt klientských dát nikdy neopustil ich priestory a dokázali to komukoľvek, kto sa opýtal. Systém beží na ich serveri, v ich kancelárii, pod ich kontrolou. Už len to im projekt ospravedlnilo.

Stránka produktivity bola bonus, vďaka ktorému sa vyplatil. Prvé zhrnutie dlhého dokumentu — predtým viachodinová práca pre juniora — kleslo na minúty prehliadky a úprav. Zamestnanci prestali znovu čítať celé súbory, aby odpovedali na jednu faktickú otázku; opýtali sa asistenta, dostali citovanú pasáž a overili ju v sekundách. Naprieč tímom sa ušetrený čas sčítal do zmysluplného kusa každého týždňa, presmerovaného z driny nad dokumentmi k hodnotnejšej analýze, za ktorú klienti vlastne platia.

Rovnako výrečná bola aj mäkšia zmena. Ľudia, ktorí boli potichu nervózni z AI — obávali sa, že je to únik čakajúci na svoju príležitosť — sa stali pohodovými pri jej používaní, práve preto, že pochopili prečo je bezpečná. Dôvera neprišla z nášho upokojovania. Prišla z architektúry, ktorú vedeli klientovi vysvetliť jednou vetou: nikdy neopúšťa budovu.

Koľko to stálo, úprimne

On-premise AI nie je lacná možnosť a spravili by sme vám medvediu službu, keby sme predstierali opak. Je tu skutočný server so skutočným GPU, ktorý treba kúpiť, projekt nasadenia, ktorý treba financovať, a priebežnú údržbu, na ktorú treba rozpočet — záplaty, aktualizácie modelu, občasné doladenie. Pre firmu, ktorej mlčanlivosť je zmluvná, je ten náklad ľahké ospravedlniť. Pre firmu, ktorej sa myšlienka súkromia iba páči, často nie, a povieme to.

Úprimný kompromis vyzerá takto: vyšší počiatočný náklad a trochu viac zodpovednosti výmenou za úplnú kontrolu a žiadne cloudové poplatky za správu, ktoré rastú s používaním. Pre tím s intenzívnym používaním pracujúci s citlivým materiálom sa ekonomika časom vlastne zlepšuje — kúpili ste kapacitu namiesto toho, aby ste ju prenajímali za dopyt. Pre ľahké alebo príležitostné použitie by cloudový nástroj takmer určite vyšiel lacnejšie. Vedieť, na ktorej strane tej čiary ste, je väčšina rozhodnutia.

• Schopný server s vhodným GPU — jednorazová kapitálová kúpa, nie predplatné.
• Projekt nasadenia: inštalácia a ladenie modelu, tvorba indexu dokumentov, zapojenie riadenia prístupu.
• Priebežná údržba: bezpečnostné záplaty, aktualizácie modelu, občasné preladenie podľa meniacich sa potrieb.
• Interné vlastníctvo: jedna menovaná osoba, ktorá naň dohliada, presne ako by ste viedli akýkoľvek kľúčový systém.
• Žiadny cloudový účet za dopyt — používanie, ktoré by v cloude zdraželo, je v podstate zdarma, keď je hardvér zaplatený.

Sadlo by to vášmu podnikaniu?

Toto nebol jednorazový prípad. Rovnaký vzorec sadne každej firme, kde je obmedzením citlivosť dát, nie rozpočet: právnym praxiam, medicínskym a zdravotne príbuzným poskytovateľom, bezpečnostnej a obranne príbuznej práci, finančným poradcom, R&D tímom sediacim na obchodných tajomstvách. Ak ste sa pristihli, že chcete pomoc AI, ale trhnete sa pri pomyslení, kam by dáta putovali, ste publikum, pre ktoré bol tento prístup postavený.

Rovnako, ak vaše dáta nie sú obzvlášť citlivé a platili by ste len prémiu za pocit, nasmerujeme vás na dobrú cloudovú možnosť a ušetríme vám výdavok. Správna odpoveď úplne závisí od vašich povinností, nie od toho, ktorá technológia znie pôsobivejšie. Najužitočnejší prvý krok nie je výber modelu — je to úprimné vyrovnanie sa s tým, čo vaše povinnosti mlčanlivosti naozaj vyžadujú.

Časté otázky