On-premise AI voor een privacy-first kantoor: een casestudy

Sommige bedrijven kunnen hun data niet in de cloud van een ander zetten — niet uit paranoia, maar omdat vertrouwelijkheid het eigenlijke product is dat ze verkopen. Dit is het verhaal van zo'n kantoor, en hoe we hen de snelheid van een moderne AI-assistent gaven zonder dat er ooit één klantdossier hun eigen vier muren verliet. Geen marketingglans. Gewoon wat we probeerden, wat stukliep en wat uiteindelijk werkte.

Een paar keer per jaar krijgen we een bepaald soort vraag. Meestal begint die met een zin als: “We zouden graag AI gebruiken, maar juridisch mogen we onze data nergens naartoe sturen.” De persoon aan de andere kant heeft al gezien hoe collega's gevoelig materiaal in een openbare chatbot plakten, voelde de bodem uit hun maag zakken en verbood stilletjes de hele categorie. Ze zijn niet tegen technologie. Ze zitten klem tussen een echte productiviteitskans en een niet-onderhandelbare geheimhoudingsplicht.

Deze casestudy gaat over precies zo'n kantoor. Om juist de vertrouwelijkheid te respecteren die het project bepaalde, hebben we alles geanonimiseerd — de naam, de mensen, de details over hun klanten. De cijfers zijn illustratief en afgerond, geen gecontroleerde bedragen. Maar de aard van het probleem, en de manier waarop we het oplosten, is exact zoals het gebeurde.

De situatie: productiviteit opgesloten achter een muur van vertrouwelijkheid

De klant was een middelgroot adviesbureau in een vakgebied waar discretie geen leuke extra is — het is de hele reden waarom klanten hen inhuren. Denk aan een praktijk die gevoelig zakelijk, juridisch of security-gerelateerd werk behandelt, waar een lek niet alleen gênant zou zijn; het zou het bedrijf einde oefening maken. Zo'n dertig mensen, een stevige caseload en een berg lange, dichte documenten die iemand elke week weer moet lezen, samenvatten en met elkaar in verband brengen.

Hun team had de rest van de wereld zien versnellen met AI-assistenten en voelde de kloof groter worden. Een junior kon een halve dag bezig zijn om de kernpunten uit een rapport van 90 pagina's te vissen. Een eerste concept-samenvatting van een dossier opstellen kostte uren die niemand factureerde. Het werk was precies het soort dichte, taalzware ploeteren waar moderne AI echt goed in is — en ze mochten er niets van aanraken.

De blokkade was eenvoudig en absoluut. Hun klantovereenkomsten en hun eigen interne beleid verboden het versturen van klantmateriaal naar welke externe dienst dan ook. Niet geanonimiseerd, niet versleuteld-in-transit, niet “de leverancier belooft er niet op te trainen.” De data mocht het pand niet verlaten, punt. Elke AI-clouddienst op de markt viel per definitie af, hoe mooi het privacybeleid op papier ook oogde.

Dat laatste onderscheid vat het hele project samen in één zin. Veel “private AI”-aanbiedingen zijn eigenlijk iemand anders zijn cloud met een strenger contract. Voor deze klant was dat niet genoeg. Het enige aanvaardbare antwoord was een systeem waarbij de gevoelige data fysiek nooit reisde — waarbij je in principe de netwerkkabel kon lostrekken en de assistent nog steeds zou werken.

Waarom de voor de hand liggende cloudantwoorden niet pasten

Voordat we iets bouwden, deden we ons huiswerk over de makkelijkere paden — want on-premise is meer werk, en we raden het niet aan als een eenvoudiger optie echt past. Voor deze klant sneuvelde elke shortcut op dezelfde muur.

De grote aanbieders bieden allemaal enterprise-abonnementen met “we trainen niet op uw data” en regionale hosting. Geruststellend, en voor veel bedrijven volledig voldoende. Maar het betekent nog steeds dat klantbestanden het pand verlaten en, hoe kort ook, op infrastructuur staan die het kantoor niet beheert. Voor een praktijk waarvan de contracten dat uitdrukkelijk verbieden, blijft een sterke belofte een belofte — en beloftes overleven geen auditvraag die begint met “kunt u garanderen…”.

We hebben ook een private cloud-instantie uitgesloten — een toegewijde, geïsoleerde omgeving die door een aanbieder wordt gehost. Technisch sterker, en prima geschikt voor sommige kantoren. Maar het plaatste de data nog steeds op gehuurde hardware in een gebouw dat de klant niet bezat, en het hield een afhankelijkheid van een externe leverancier in stand voor iets dat de klant volledig onder eigen dak wilde. Ze waren bereid wat gemak in te ruilen voor die controle. Dus werd het on-premise.

Wat we daadwerkelijk bouwden

De oplossing, teruggebracht tot de essentie, was een privé-AI-assistent die op één capabele server draait binnen het kantoor van de klant zelf. Het team bereikt hem via een gewone webpagina in hun browser — het ziet en voelt aan als de chattools die iedereen al kent. Achter dat vertrouwde venster verlaat er nooit iets het lokale netwerk.

We hielden de architectuur bewust saai. Saai is betrouwbaar, en betrouwbaar is precies wat een privacykritisch systeem nodig heeft. Er waren drie onderdelen die het noemen waard zijn.

Een open-weight model dat lokaal draait

In plaats van een gehost model aan te roepen, draaiden we een capabel open-weight taalmodel rechtstreeks op de GPU van de server. Open-weight is hier belangrijk: de modelbestanden staan op de schijf van de klant, draaien op de hardware van de klant en beantwoorden vragen zonder enige internetrondgang. Voor hun werk — samenvatten, extraheren, opstellen, vragen beantwoorden over hun eigen documenten — was een goed gekozen middelgroot model ruimschoots voldoende. Ze hadden niet de absolute voorhoede nodig; ze hadden iets competents en privé nodig.

Een private kennislaag over hun eigen bestanden

De echte waarde zat niet in een generieke chatbot — het was een assistent die vragen kon beantwoorden over hun eigen dossiers. We bouwden een retrieval-laag die hun documenten lokaal indexeert, zodat het systeem, wanneer iemand vraagt “wat concludeerden we over X in de zaak-Müller,” de relevante passages vindt en daaruit antwoordt. Die index staat, net als al het andere, volledig op de lokale machine. Geen document, en geen fragment daarvan, wordt ooit ergens geüpload.

Toegangsbeheer dat aansloot op hun bestaande regels

Een kantoor als dit heeft al strikte regels over wie welke bestanden mag zien. De assistent moest die respecteren, niet omzeilen. Dus de toegang spiegelde hun bestaande rechten: je kunt de AI alleen iets vragen over materiaal dat je al mag openen. Dit klinkt vanzelfsprekend, maar het is het onderdeel dat een slimme demo verandert in iets waar een compliance-verantwoordelijke daadwerkelijk zijn handtekening onder zet.

Hoe we het uitrolden zonder het werk te verstoren

Een privacy-first kantoor is, begrijpelijkerwijs, voorzichtig met nieuwe systemen. We gingen geen vertrouwen winnen door een schakelaar om te zetten en de overwinning uit te roepen. Dus voerden we het project uit als een reeks kleine, omkeerbare stappen, elk bewijsbaar voordat de volgende begon.

1. 1
   Eerst één pijnlijke taak afgebakend

   We probeerden niet 'AI aan het kantoor toe te voegen.' We kozen één taak met veel volume — lange binnenkomende documenten samenvatten — en bouwden daarvoor. Eén duidelijk doel, makkelijk te beoordelen als succes of mislukking.
2. 2
   Gebouwd op een testmachine met dummydata

   Alles werd eerst opgezet op een geïsoleerde machine met verzonnen documenten, zodat er geen echte klantdata bij betrokken was totdat het systeem bewezen en het beveiligingsmodel beoordeeld was.
3. 3
   Een gesloten pilot met een paar power-users

   Een handvol senior medewerkers gebruikte het enkele weken op echt werk, naast hun normale proces. Zij vonden de ruwe randjes — vreemde formuleringen, een paar documenten die de index slecht aankon — en die losten we op.
4. 4
   Getoetst aan hun eigen beleid

   Voor enige bredere uitrol controleerde hun compliance-verantwoordelijke exact waar data stond en zich bewoog. Omdat het antwoord 'nergens behalve hier' was, was die controle kort — wat het hele ontwerpdoel was.
5. 5
   Opengesteld voor het team met een handleiding van één pagina

   Pas toen het vertrouwd was, rolden we het kantoorbreed uit, met een begrijpelijke notitie over waar het goed in is, waar niet, en de herinnering dat het nooit verzint — het citeert.

Het resultaat: uren terug, en niets verliet het pand

Binnen een paar maanden na de volledige uitrol was de assistent geruisloos onderdeel van de dagelijkse routine geworden. De belangrijkste uitkomst was die waar zij het meest om gaven: geen enkele byte klantdata verliet ooit hun pand, en ze konden het aan iedereen die ernaar vroeg bewijzen. Het systeem draait op hun server, in hun kantoor, onder hun controle. Dat alleen al rechtvaardigde het project voor hen.

De productiviteitskant was de bonus die het liet renderen. De eerste concept-samenvatting van een lang document — voorheen een klus van meerdere uren voor een junior — daalde tot enkele minuten nalezen-en-bewerken. Medewerkers stopten met hele dossiers herlezen om één feitelijke vraag te beantwoorden; ze vroegen het de assistent, kregen een geciteerde passage en verifieerden die in seconden. Over het hele team opgeteld vormde de vrijgekomen tijd een betekenisvol deel van elke week, omgeleid van ploeteren door documenten naar de waardevollere analyse waar klanten daadwerkelijk voor betalen.

Even veelzeggend was een zachtere verandering. Mensen die stiekem nerveus waren over AI — bang dat het een lek in wording was — raakten er comfortabel mee, juist omdat ze begrepen waarom het veilig was. Vertrouwen kwam niet doordat wij hen geruststelden. Het kwam voort uit een architectuur die ze in één zin aan een klant konden uitleggen: het verlaat nooit het gebouw.

Wat het kostte, eerlijk gezegd

On-premise AI is niet de goedkope optie, en we zouden u tekortdoen door anders voor te wenden. Er is een echte server met een echte GPU te kopen, een opzetproject om te financieren en doorlopend onderhoud om te budgetteren — patches, model-updates, af en toe een bijstelling. Voor een kantoor waarvan de vertrouwelijkheid contractueel is, is die kost makkelijk te rechtvaardigen. Voor een kantoor dat het idee van privacy alleen maar leuk vindt, is het dat vaak niet, en dat zeggen we ook.

De eerlijke afweging ziet er zo uit: hogere aanloopkosten en wat meer verantwoordelijkheid in ruil voor volledige controle en geen cloudkosten per bericht die meegroeien met het gebruik. Voor een team met zwaar gebruik dat gevoelig materiaal verwerkt, verbetert de economie zelfs na verloop van tijd — u hebt de capaciteit gekocht in plaats van hem per vraag te huren. Voor licht of incidenteel gebruik zou een cloudtool vrijwel zeker goedkoper zijn. Weten aan welke kant van die lijn u zit, is het grootste deel van de beslissing.

• Een capabele server met een geschikte GPU — een eenmalige kapitaalaankoop, geen abonnement.
• Een opzetproject: het model installeren en afstemmen, de documentindex bouwen, toegangsbeheer inrichten.
• Doorlopend onderhoud: beveiligingspatches, model-updates, af en toe bijstellen naarmate behoeften veranderen.
• Intern eigenaarschap: één benoemde persoon die er een oogje op houdt, precies zoals u elk kernsysteem beheert.
• Geen cloudrekening per vraag — gebruik dat in de cloud duur zou worden, is in wezen gratis zodra de hardware is afbetaald.

Zou dit bij uw bedrijf passen?

Dit was geen eenmalig geval. Hetzelfde patroon past bij elk kantoor waar de gevoeligheid van data de beperking is en niet het budget: advocatenkantoren, medische en zorggerelateerde aanbieders, security- en defensiegerelateerd werk, financieel adviseurs, R&D-teams die op bedrijfsgeheimen zitten. Als u zichzelf betrapte op de wens om AI in te zetten maar terugdeinsde bij de gedachte waar de data heen zou gaan, dan bent u het publiek waarvoor deze aanpak is gebouwd.

Even goed: als uw data niet bijzonder gevoelig is en u alleen maar zou betalen voor een gevoel, wijzen we u op een goede cloudoptie en besparen we u de uitgave. Het juiste antwoord hangt volledig af van uw verplichtingen, niet van welke technologie indrukwekkender klinkt. De nuttigste eerste stap is niet een model kiezen — het is eerlijk worden over wat uw vertrouwelijkheidsplichten werkelijk vereisen.

Veelgestelde vragen