Локален AI за фирма с приоритет върху поверителността: казус

Някои фирми не могат да сложат данните си в чужд облак — не защото са параноични, а защото поверителността е самият продукт, който продават. Това е историята на една такава фирма и как ѝ дадохме скоростта на съвременен AI асистент, без нито един клиентски файл някога да напусне собствените ѝ четири стени. Без маркетингов гланц. Само това, което опитахме, което се счупи и което накрая проработи.

Няколко пъти в годината получаваме особен вид запитване. Обикновено започва с изречение като: „Много бихме искали да ползваме AI, но по закон не можем да изпращаме данните си никъде.“ Човекът от другата страна вече е гледал как колеги поставят чувствителен материал в публичен чатбот, усетил е свиване под лъжичката и тихо е забранил цялата категория. Не са против технологиите. Заклещени са между реална възможност за продуктивност и непреклонно задължение за поверителност.

Този казус е за фирма точно от този вид. За да зачетем самата поверителност, която дефинира проекта, анонимизирахме всичко — името, хората, конкретиката за клиентите им. Числата са илюстративни и закръглени, не одитирани данни. Но формата на проблема и начинът, по който го решихме, са точно такива, каквито се случиха.

Ситуацията: продуктивност, заключена зад стена от поверителност

Клиентът беше средно голяма консултантска фирма в област, където дискретността не е приятна добавка — тя е цялата причина клиентите да ги наемат. Представете си практика, която работи с чувствителна корпоративна, правна или свързана със сигурността материя, където изтичане не би било просто неудобно; би прекратило бизнеса. Около тридесет души, сериозен обем от казуси и планина от дълги, плътни документи, които някой всяка седмица трябва да прочете, обобщи и кръстосано провери.

Екипът им гледаше как останалият свят ускорява с AI асистенти и усещаше как пропастта се разширява. Младши служител можеше да прекара половин ден в извличане на ключови точки от 90-странен доклад. Изготвянето на първо обобщение на досие поглъщаше часове, които никой не фактурираше. Работата беше точно този вид плътна, езиково натоварена черна работа, в която съвременният AI наистина е добър — а те не можеха да я докоснат.

Пречката беше проста и абсолютна. Клиентските им договори и собствената им вътрешна политика забраняваха изпращането на клиентски материал към каквато и да е услуга на трета страна. Нито анонимизиран, нито криптиран при пренос, нито „доставчикът обещава да не тренира върху него.“ Данните нямаха право да напускат помещенията им, точка. Всеки облачен AI инструмент на пазара беше по дефиниция изключен, колкото и добре да изглеждаше политиката му за поверителност на хартия.

Тази последна разлика е целият проект в едно изречение. Много предложения за „частен AI“ всъщност са чужд облак с по-строг договор. За този клиент това не беше достатъчно. Единственият приемлив отговор беше система, в която чувствителните данни физически никога не пътуват — където по принцип бихте могли да изключите мрежовия кабел и асистентът пак да работи.

Защо очевидните облачни отговори не пасваха

Преди да изградим каквото и да е, добросъвестно проверихме по-лесните пътища — защото on-premise е повече работа и няма да го препоръчаме, ако по-простата опция наистина пасва. За този клиент всяка пряка пътека се спъна в същата стена.

Големите доставчици всички предлагат enterprise нива с „не тренираме върху вашите данни“ и регионален хостинг. Успокоително и за много фирми напълно достатъчно. Но това пак означава, че клиентските файлове напускат сградата и стоят, макар и за кратко, върху инфраструктура, която фирмата не контролира. За практика, чиито договори изрично забраняват това, силното обещание пак си остава обещание — а обещанията не оцеляват при одиторски въпрос, който започва с „можете ли да гарантирате…“.

Изключихме и инстанция на частен облак — специализирана, изолирана среда, хоствана от доставчик. Технически по-силно и напълно добро решение за някои фирми. Но то пак поставяше данните върху нает хардуер в сграда, която клиентът не притежаваше, и запазваше зависимост от външен доставчик за нещо, което клиентът искаше изцяло под собствен покрив. Бяха готови да пожертват малко удобство за този контрол. Така че on-premise беше.

Какво всъщност изградихме

Решението, сведено до същността си, беше частен AI асистент, работещ на един мощен сървър в собствения офис на клиента. Екипът го достига през обикновена уеб страница в браузъра — изглежда и се усеща като чат инструментите, които всички вече познават. Зад този познат прозорец нищо никога не напуска локалната мрежа.

Умишлено държахме архитектурата скучна. Скучното е надеждно, а надеждността е това, от което се нуждае система, критична за поверителността. Имаше три подвижни части, които заслужават да бъдат назовани.

Модел с отворени тегла, работещ локално

Вместо да извикваме хостван модел, стартирахме способен езиков модел с отворени тегла директно на GPU-то на сървъра. Отворените тегла тук са от значение: файловете на модела живеят на диска на клиента, работят на хардуера на клиента и отговарят на въпроси без нито едно отиване до интернет. За тяхната натовареност — обобщаване, извличане, изготвяне на чернови, отговаряне на въпроси за собствените им документи — добре подбран модел от среден размер беше повече от достатъчен. Не им трябваше абсолютният фронт; трябваше им компетентност и поверителност.

Частен слой от знания върху техните собствени файлове

Истинската стойност не беше общ чатбот — беше асистент, който можеше да отговаря на въпроси за техните собствени досиета. Изградихме слой за извличане, който локално индексира документите им, така че когато някой попита „до какво заключение стигнахме относно X по делото Мюлер“, системата намира съответните пасажи и отговаря от тях. Този индекс, като всичко останало, се намира изцяло на локалната машина. Нито един документ, нито фрагмент от него, никога не се качва никъде.

Контрол на достъпа, съответстващ на съществуващите им правила

Фирма като тази вече има строги правила кой какви файлове може да вижда. Асистентът трябваше да ги зачита, а не да ги заобикаля. Затова достъпът огледа съществуващите им права: можете да питате AI само за материал, който вече имате право да отворите. Звучи очевидно, но точно това е частта, която превръща умна демонстрация в нещо, което служителят по съответствието наистина ще одобри.

Как го внедрихме, без да нарушим работата

Фирма с приоритет върху поверителността е разбираемо предпазлива към нови системи. Нямаше да спечелим доверие, като щракнем ключа и обявим победа. Затова водихме проекта като поредица от малки, обратими стъпки, всяка доказуема, преди да започне следващата.

1. 1
   Първо очертахме една болезнена задача

   Не се опитвахме да „добавим AI във фирмата.“ Избрахме една задача с голям обем — обобщаване на дълги входящи документи — и градихме за нея. Една ясна цел, лесна за оценяване като успех или провал.
2. 2
   Градихме на тестова машина с фиктивни данни

   Всичко първо беше вдигнато на изолирана машина с измислени документи, така че никакви реални клиентски данни не бяха замесени, докато системата не се докаже и моделът на сигурност не се прегледа.
3. 3
   Проведохме затворен пилот с няколко напреднали потребители

   Шепа старши служители го използваха върху реална работа няколко седмици, паралелно с обичайния си процес. Откриха грубите ръбове — странни формулировки, няколко документа, които индексът обработи зле — и ние ги поправихме.
4. 4
   Прегледахме го спрямо тяхната собствена политика

   Преди по-широко внедряване, ръководителят им по съответствието одитира точно къде живеят данните и накъде се движат. Тъй като отговорът беше „никъде освен тук“, този преглед беше кратък — което беше цялата цел на дизайна.
5. 5
   Отворихме го за екипа с едностранично ръководство

   Едва след като спечели доверие, го внедрихме в цялата фирма, с бележка на достъпен език за това в какво е добър, в какво не е, и напомняне, че никога не измисля — цитира.

Резултатът: върнати часове и нищо не напусна сградата

В рамките на няколко месеца от пълното внедряване асистентът тихо стана част от ежедневната рутина. Основният резултат беше този, който ги вълнуваше най-много: нито един байт клиентски данни никога не напусна помещенията им, и можеха да го докажат на всеки, който попита. Системата работи на техния сървър, в техния офис, под техен контрол. Само това оправда проекта пред тях.

Страната на продуктивността беше бонусът, който го направи изгоден. Първото обобщение на дълъг документ — преди многочасова работа за младши служител — падна до минути преглед и редакция. Служителите спряха да препрочитат цели файлове, за да отговорят на един фактически въпрос; питаха асистента, получаваха цитиран пасаж и го проверяваха за секунди. В целия екип освободеното време се събра в значима част от всяка седмица, пренасочена от мъчителното преглеждане на документи към по-ценния анализ, за който клиентите всъщност плащат.

Също толкова показателна беше една по-мека промяна. Хора, които тихо се притесняваха от AI — тревожеха се, че е изтичане, което чака да се случи — станаха спокойни в използването му, точно защото разбраха защо е безопасен. Доверието не дойде от нашето успокояване. Дойде от архитектура, която можеха да обяснят на клиент в едно изречение: никога не напуска сградата.

Колко струваше, честно

On-premise AI не е евтината опция и бихме ви направили лоша услуга, ако се преструваме на обратното. Има реален сървър с реален GPU за купуване, проект за постановка за финансиране и текуща поддръжка за бюджетиране — кръпки, обновления на модела, случайно донастройване. За фирма, чиято поверителност е договорна, този разход е лесен за оправдаване. За фирма, на която просто ѝ харесва идеята за поверителност, често не е, и ще го кажем.

Честният компромис изглежда така: по-висок първоначален разход и малко повече отговорност в замяна на пълен контрол и никакви облачни такси на съобщение, които растат с употребата. За екип с интензивна употреба, работещ с чувствителен материал, икономиката всъщност се подобрява с времето — купили сте капацитета, вместо да го наемате на заявка. За лека или случайна употреба облачен инструмент почти сигурно би бил по-евтин. Да знаете на коя страна на тази линия сте е по-голямата част от решението.

• Способен сървър с подходящ GPU — еднократна капиталова покупка, не абонамент.
• Проект за постановка: инсталиране и настройване на модела, изграждане на индекса на документите, свързване на контрола на достъпа.
• Текуща поддръжка: кръпки за сигурност, обновления на модела, случайно донастройване с промяна на нуждите.
• Вътрешна собственост: едно назначено лице, което го наглежда, точно както бихте управлявали всяка ключова система.
• Никаква облачна сметка на заявка — употреба, която в облака би поскъпнала, е по същество безплатна, след като хардуерът е платен.

Би ли пасвало на вашия бизнес?

Това не беше еднократен случай. Същият модел пасва на всяка фирма, където ограничението е чувствителността на данните, а не бюджетът: правни практики, медицински и свързани със здравето доставчици, работа по сигурност и отбрана, финансови консултанти, R&D екипи, седящи върху търговски тайни. Ако сте се уловили да искате помощта на AI, но да се стряскате при мисълта къде биха отишли данните, вие сте публиката, за която е изграден този подход.

Също така, ако данните ви не са особено чувствителни и просто бихте плащали премия за усещане, ще ви насочим към добра облачна опция и ще ви спестим разхода. Правилният отговор изцяло зависи от вашите задължения, а не от това коя технология звучи по-впечатляващо. Най-полезната първа стъпка не е избор на модел — тя е честно изясняване какво всъщност изискват задълженията ви за поверителност.

Често задавани въпроси