On-premise AI pro firmu, kde je na prvním místě důvěrnost: případová studie

Některé firmy nemohou svá data uložit do cizího cloudu — ne proto, že by byly paranoidní, ale proto, že důvěrnost je samotný produkt, který prodávají. Toto je příběh jedné takové firmy a toho, jak jsme jí dali rychlost moderního AI asistenta, aniž by jediný klientský soubor kdy opustil zdi její budovy. Žádný marketingový lesk. Jen to, co jsme zkusili, co selhalo a co nakonec zafungovalo.

Několikrát ročně dostáváme určitý druh poptávky. Obvykle začíná větou: „Rádi bychom používali AI, ale ze zákona nemůžeme svá data nikam posílat.“ Osoba na druhém konci už viděla kolegy vkládat citlivý materiál do veřejného chatbota, cítila, jak jí ztuhl žaludek, a tiše celou tuto kategorii zakázala. Nejsou proti technologiím. Jsou uvězněni mezi skutečnou příležitostí ke zvýšení produktivity a nezpochybnitelnou povinností mlčenlivosti.

Tato případová studie je právě o takové firmě. Abychom respektovali tutéž důvěrnost, která projekt definovala, vše jsme anonymizovali — jméno, lidi, konkrétní údaje o jejich klientech. Čísla jsou ilustrativní a zaokrouhlená, nejde o auditovaná data. Ale podoba problému a způsob, jakým jsme jej vyřešili, je přesně taková, jak se stala.

Situace: produktivita uzamčená za zdí mlčenlivosti

Klientem byla středně velká poradenská firma v oboru, kde diskrétnost není příjemný bonus — je to celý důvod, proč si klienti firmu najímají. Představte si praxi, která řeší citlivou firemní, právní nebo bezpečnostně zaměřenou práci, kde by únik nebyl jen trapný; ukončil by celý byznys. Kolem třiceti lidí, vážná zátěž případů a hora dlouhých, hutných dokumentů, které někdo musí každý jednotlivý týden přečíst, shrnout a vzájemně provázat.

Jejich tým sledoval, jak zbytek světa zrychluje s AI asistenty, a cítil, jak se propast zvětšuje. Junior mohl strávit půl dne vytahováním klíčových bodů z 90stránkové zprávy. Sepsání prvního návrhu shrnutí spisu spolklo hodiny, které nikdo nefakturoval. Byla to přesně ta hutná, jazykově náročná dřina, ve které je moderní AI opravdu dobrá — a oni se toho nemohli ani dotknout.

Překážka byla jednoduchá a absolutní. Jejich smlouvy s klienty i vlastní vnitřní směrnice zakazovaly posílat klientský materiál do jakékoli služby třetí strany. Ne anonymizovaně, ne šifrovaně při přenosu, ne „dodavatel slibuje, že na tom nebude trénovat“. Data nesměla opustit jejich prostory, tečka. Každý cloudový AI nástroj na trhu byl z definice mimo hru, bez ohledu na to, jak dobře vypadala jeho zásada ochrany soukromí na papíře.

Toto poslední rozlišení je celý projekt v jedné větě. Řada nabídek „soukromé AI“ je ve skutečnosti cizí cloud s přísnější smlouvou. Pro tohoto klienta to nestačilo. Jediná přijatelná odpověď byl systém, kde citlivá data fyzicky nikdy neputovala — kde byste v principu mohli vytáhnout síťový kabel a asistent by stále fungoval.

Proč zjevná cloudová řešení nevyhovovala

Než jsme cokoli postavili, provedli jsme si due diligence u jednodušších cest — protože on-premise je více práce a nebudeme ho doporučovat, pokud opravdu vyhovuje jednodušší varianta. Pro tohoto klienta každá zkratka spadla na tutéž zeď.

Velcí poskytovatelé všichni nabízejí podnikové úrovně s „netrénujeme na vašich datech“ a regionálním hostingem. Uklidňující a pro mnoho firem zcela dostatečné. Ale stále to znamená, že klientské soubory opustí budovu a sedí, byť krátce, na infrastruktuře, kterou firma neovládá. Pro praxi, jejíž smlouvy to výslovně zakazují, je silný slib stále jen slib — a sliby nepřežijí auditní otázku, která začíná slovy „můžete zaručit…“.

Vyloučili jsme také instanci privátního cloudu — dedikované, izolované prostředí hostované poskytovatelem. Technicky silnější a naprosto dobré řešení pro některé firmy. Ale stále to umísťovalo data na pronajatý hardware v budově, kterou klient nevlastnil, a udržovalo to závislost na externím dodavateli u něčeho, co chtěl klient plně pod vlastní střechou. Byli ochotni vyměnit trochu pohodlí za tuto kontrolu. Takže on-premise to bylo.

Co jsme skutečně postavili

Řešení, oholené na podstatu, byl soukromý AI asistent běžící na jediném výkonném serveru uvnitř klientovy vlastní kanceláře. Tým se k němu dostane přes obyčejnou webovou stránku v prohlížeči — vypadá a působí jako chatovací nástroje, které už každý zná. Za tímto známým oknem nikdy nic neopustí lokální síť.

Architekturu jsme záměrně udrželi nudnou. Nudné je spolehlivé a spolehlivost je to, co systém kritický z hlediska soukromí potřebuje. Stojí za zmínku tři pohyblivé části.

Model s otevřenými vahami běžící lokálně

Místo volání hostovaného modelu jsme spustili výkonný jazykový model s otevřenými vahami přímo na GPU serveru. Otevřené váhy jsou tu klíčové: soubory modelu žijí na disku klienta, běží na hardwaru klienta a odpovídají na otázky bez jakékoli cesty na internet a zpět. Pro jejich pracovní zátěž — shrnování, extrakci, koncepty, odpovídání na otázky o jejich vlastních dokumentech — byl dobře zvolený středně velký model více než dost dobrý. Nepotřebovali absolutní špičku; potřebovali kompetentní a soukromé.

Soukromá znalostní vrstva nad jejich vlastními soubory

Skutečná hodnota nebyl obecný chatbot — byl to asistent, který dokázal odpovídat na otázky o jejich vlastních spisech. Postavili jsme vyhledávací vrstvu, která indexuje jejich dokumenty lokálně, takže když se někdo zeptá „k čemu jsme dospěli ohledně X v případu Müller“, systém najde relevantní pasáže a odpoví z nich. Tento index, jako vše ostatní, sedí zcela na lokálním stroji. Žádný dokument, ani jeho fragment, není nikdy nikam nahrán.

Řízení přístupu odpovídající jejich stávajícím pravidlům

Firma jako tato už má přísná pravidla o tom, kdo může vidět které soubory. Asistent je musel respektovat, ne je obcházet. Přístup tedy zrcadlil jejich stávající oprávnění: AI se můžete ptát pouze na materiál, který už smíte otevřít. Zní to samozřejmě, ale právě to mění chytré demo v něco, co pověřenec pro compliance skutečně schválí.

Jak jsme to nasadili, aniž bychom narušili práci

Firma, kde je na prvním místě důvěrnost, je pochopitelně opatrná vůči novým systémům. Nechystali jsme se získat důvěru přepnutím vypínače a vyhlášením vítězství. Projekt jsme tedy vedli jako řadu malých, vratných kroků, každý prokazatelný před zahájením dalšího.

1. 1
   Nejprve jsme vymezili jeden bolestivý úkol

   Nesnažili jsme se 'přidat AI do firmy.' Vybrali jsme jednu vysokoobjemovou práci — shrnování dlouhých příchozích dokumentů — a stavěli pro ni. Jeden jasný cíl, snadné posoudit jako úspěch nebo neúspěch.
2. 2
   Postavili jsme na testovacím stroji s fiktivními daty

   Vše bylo nejprve postaveno na izolovaném stroji s vymyšlenými dokumenty, takže žádná skutečná klientská data nebyla ve hře, dokud nebyl systém prokázán a bezpečnostní model prověřen.
3. 3
   Spustili jsme uzavřený pilot s několika pokročilými uživateli

   Hrstka seniorních zaměstnanců jej používala na skutečné práci několik týdnů, souběžně se svým běžným procesem. Našli drsné hrany — divné formulace, pár dokumentů, které index zvládal špatně — a my je opravili.
4. 4
   Prověřili jsme to proti jejich vlastní směrnici

   Před jakýmkoli širším nasazením jejich vedoucí compliance přesně auditoval, kde data žijí a pohybují se. Protože odpověď zněla 'nikde jinde než tady', byla ta prověrka krátká — což byl celý cíl návrhu.
5. 5
   Otevřeli jsme to týmu s jednostránkovým průvodcem

   Teprve když se mu důvěřovalo, nasadili jsme to v celé firmě se srozumitelnou poznámkou o tom, v čem je dobré, v čem ne, a s připomínkou, že si nikdy nevymýšlí — cituje.

Výsledek: hodiny zpět a nic neopustilo budovu

Během pár měsíců od plného nasazení se asistent tiše stal součástí každodenní rutiny. Hlavním výsledkem byl ten, na kterém jim záleželo nejvíc: ani jediný bajt klientských dat nikdy neopustil jejich prostory, a mohli to dokázat komukoli, kdo se zeptal. Systém běží na jejich serveru, v jejich kanceláři, pod jejich kontrolou. Už jen to jim projekt ospravedlnilo.

Produktivní stránka byla bonus, který se vyplatil. První návrh shrnutí dlouhého dokumentu — dříve vícehodinová práce pro juniora — klesl na minuty kontroly a úprav. Zaměstnanci přestali znovu číst celé soubory kvůli jedné faktické otázce; zeptali se asistenta, dostali citovanou pasáž a ověřili ji za pár sekund. Napříč týmem se uvolněný čas sečetl do smysluplné části každého týdne, přesměrované z dřiny nad dokumenty k hodnotnější analýze, za kterou klienti skutečně platí.

Stejně výmluvná byla jemnější změna. Lidé, kteří byli tiše nervózní z AI — obávali se, že je to únik čekající na svou příležitost — se s ní stali pohodovými, právě proto, že pochopili proč je bezpečná. Důvěra nepřišla z toho, že jsme je uklidňovali. Přišla z architektury, kterou dokázali klientovi vysvětlit jednou větou: nikdy neopustí budovu.

Co to stálo, upřímně

On-premise AI není levná varianta a udělali bychom vám medvědí službu, kdybychom předstírali opak. Je tu skutečný server se skutečným GPU k nákupu, projekt nasazení k financování a průběžná údržba k rozpočtování — záplaty, aktualizace modelu, občasné doladění. Pro firmu, jejíž důvěrnost je smluvní, se ten náklad snadno ospravedlní. Pro firmu, které se jen líbí myšlenka soukromí, často ne, a my to řekneme.

Poctivý kompromis vypadá takto: vyšší počáteční náklad a o něco více odpovědnosti výměnou za úplnou kontrolu a žádné cloudové poplatky za zprávu, které rostou s používáním. Pro tým s intenzivním používáním, který zpracovává citlivý materiál, se ekonomika časem skutečně zlepšuje — koupili jste si kapacitu, místo abyste si ji pronajímali po dotazech. Pro lehké nebo příležitostné použití by byl cloudový nástroj téměř jistě levnější. Vědět, na které straně té čáry jste, je většina rozhodnutí.

• Výkonný server s vhodným GPU — jednorázová kapitálová investice, ne předplatné.
• Projekt nasazení: instalace a doladění modelu, sestavení indexu dokumentů, zapojení řízení přístupu.
• Průběžná údržba: bezpečnostní záplaty, aktualizace modelu, občasné doladění, jak se mění potřeby.
• Interní vlastnictví: jedna jmenovaná osoba, která na to dohlíží, přesně jako byste provozovali jakýkoli klíčový systém.
• Žádný cloudový účet za dotaz — používání, které by v cloudu bylo drahé, je v podstatě zdarma, jakmile je hardware zaplacen.

Hodilo by se to vaší firmě?

Nebyl to jednorázový případ. Stejný vzorec sedí na jakoukoli firmu, kde je omezením citlivost dat spíše než rozpočet: advokátní kanceláře, poskytovatelé zdravotní a zdravotně blízké péče, bezpečnostní a obranně zaměřená práce, finanční poradci, výzkumné a vývojové týmy sedící na obchodním tajemství. Pokud jste zjistili, že toužíte po pomoci AI, ale trhnete sebou při pomyšlení, kam by data šla, jste to publikum, pro které byl tento přístup postaven.

Stejně tak, pokud vaše data nejsou nijak zvlášť citlivá a platili byste jen příplatek za pocit, nasměrujeme vás k dobré cloudové variantě a ušetříme vám výdaje. Správná odpověď závisí zcela na vašich povinnostech, ne na tom, která technologie zní působivěji. Nejužitečnějším prvním krokem není výběr modelu — je jím poctivost ohledně toho, co vaše povinnosti mlčenlivosti skutečně vyžadují.

Časté otázky