Gizliliği Önceleyen Bir Firma İçin Yerel Yapay Zeka: Bir Vaka İncelemesi

Bazı işletmeler verilerini bir başkasının bulutuna koyamaz; paranoyak oldukları için değil, gizlilik sattıkları asıl ürün olduğu için. Bu, tam da böyle bir firmanın hikayesi ve tek bir müşteri dosyası bile kendi dört duvarından çıkmadan onlara modern bir yapay zeka asistanının hızını nasıl verdiğimizin öyküsü. Pazarlama cilası yok. Yalnızca denediğimiz, bozulan ve sonunda işe yarayan şeyler.

Yılda birkaç kez belirli türde bir talep alırız. Genellikle şöyle bir cümleyle başlar: «Yapay zekayı çok isterdik ama yasal olarak verilerimizi hiçbir yere gönderemiyoruz.» Karşı taraftaki kişi, meslektaşlarının hassas materyalleri herkese açık bir sohbet botuna yapıştırdığını çoktan görmüş, midesi kalkmış ve bütün bu kategoriyi sessizce yasaklamıştır. Teknolojiye karşı değiller. Gerçek bir verimlilik fırsatı ile pazarlıksız bir gizlilik yükümlülüğü arasında sıkışıp kalmışlardır.

Bu vaka incelemesi tam da böyle bir firmayla ilgili. Projeyi tanımlayan gizliliğe saygı göstermek için her şeyi anonimleştirdik: adı, kişileri, müşterilerinin ayrıntılarını. Rakamlar örnekleyici ve yuvarlanmıştır; denetlenmiş kesin veriler değildir. Ama sorunun biçimi ve onu çözme şeklimiz, tam olarak yaşandığı gibidir.

Durum: gizlilik duvarının ardında kilitli verimlilik

Müşteri, ketumluğun «olsa iyi olur» bir özellik değil, müşterilerin onları işe almasının bütün sebebi olduğu bir alanda faaliyet gösteren orta ölçekli bir danışmanlık firmasıydı. Sızıntının yalnızca utanç verici olmakla kalmayıp işi bitireceği; hassas kurumsal, hukuki ya da güvenliğe yakın işler yürüten bir ofis düşünün. Yaklaşık otuz kişi, ciddi bir dosya yükü ve her hafta birinin okuması, özetlemesi ve çapraz karşılaştırması gereken uzun, yoğun belgelerden oluşan bir dağ.

Ekipleri, dünyanın geri kalanının yapay zeka asistanlarıyla hızlandığını izledi ve aranın açıldığını hissetti. Bir asistan, 90 sayfalık bir rapordan kilit noktaları çıkarmak için yarım gün harcayabiliyordu. Bir dava dosyasının ilk taslak özetini hazırlamak, kimsenin faturalandıramadığı saatleri yiyordu. İş, tam da modern yapay zekanın gerçekten iyi olduğu türden yoğun, dil ağırlıklı bir uğraştı ve hiçbirine dokunamıyorlardı.

Engel basit ve mutlaktı. Müşteri sözleşmeleri ve kendi iç politikaları, müşteri materyallerinin herhangi bir üçüncü taraf hizmete gönderilmesini yasaklıyordu. Anonimleştirilmiş olsa da, aktarım sırasında şifrelense de, «satıcı üzerinde eğitim yapmayacağına söz veriyor» olsa da olmaz. Verilerin ofisten çıkmasına izin yoktu, nokta. Piyasadaki her bulut yapay zeka aracı, gizlilik politikası kağıt üzerinde ne kadar iyi görünürse görünsün, tanımı gereği masadaki seçenek değildi.

Bu son ayrım, projenin tamamını tek bir cümlede özetliyor. Pek çok «özel yapay zeka» teklifi aslında daha katı bir sözleşmeyle sunulan başkasının bulutudur. Bu müşteri için bu yeterli değildi. Kabul edilebilir tek yanıt, hassas verilerin fiziksel olarak asla yol almadığı bir sistemdi; ilke olarak ağ kablosunu çekseniz bile asistanın çalışmaya devam ettiği bir sistem.

Bariz bulut yanıtları neden uymadı

Hiçbir şey inşa etmeden önce daha kolay yollar için gereken özeni gösterdik; çünkü yerel kurulum daha çok emek ister ve daha basit bir seçenek gerçekten uyuyorsa onu önermeyiz. Ama bu müşteride her kestirme, aynı duvarda tökezledi.

Büyük sağlayıcıların hepsi, «verinizle eğitim yapmıyoruz» ve bölgesel barındırma sunan kurumsal katmanlara sahip. Güven verici ve birçok işletme için tamamen yeterli. Ama bu yine de müşteri dosyalarının binadan çıkıp, ne kadar kısa olursa olsun, firmanın kontrol etmediği bir altyapıda durması anlamına gelir. Sözleşmeleri bunu açıkça yasaklayan bir ofis için güçlü bir söz de sonuçta bir sözdür ve sözler, «garanti edebilir misiniz…» diye başlayan bir denetim sorusunun karşısında ayakta kalamaz.

Özel bir bulut örneğini, yani bir sağlayıcı tarafından barındırılan ayrılmış, izole bir ortamı da eledik. Teknik olarak daha güçlü ve bazı firmalar için gayet uygun. Ama yine de veriyi, müşterinin sahibi olmadığı bir binadaki kiralık donanıma yerleştiriyor ve müşterinin tamamen kendi çatısı altında olmasını istediği bir şey için dış bir satıcıya bağımlılığı sürdürüyordu. O kontrol karşılığında biraz kolaylıktan feragat etmeye razıydılar. Böylece yerel kurulum oldu.

Gerçekte ne kurduk

Çözüm, özüne indirgendiğinde, müşterinin kendi ofisinin içindeki yetenekli tek bir sunucuda çalışan özel bir yapay zeka asistanıydı. Ekip ona tarayıcısındaki sıradan bir web sayfası üzerinden erişiyor; herkesin zaten bildiği sohbet araçları gibi görünüyor ve öyle hissettiriyor. O tanıdık pencerenin ardında hiçbir şey yerel ağdan çıkmıyor.

Mimariyi bilinçli olarak sıkıcı tuttuk. Sıkıcı olan güvenilirdir ve gizliliğin kritik olduğu bir sistemin ihtiyaç duyduğu şey güvenilirliktir. Adını anmaya değer üç hareketli parça vardı.

Yerel olarak çalışan açık ağırlıklı bir model

Barındırılan bir modele çağrı yapmak yerine, yetenekli bir açık ağırlıklı dil modelini doğrudan sunucunun GPU'sunda çalıştırdık. Modelin açık ağırlıklı olması burada önemli: model dosyaları müşterinin diskinde bulunur, müşterinin donanımında çalışır ve internete hiçbir gidiş-dönüş olmadan soruları yanıtlar. İş yükleri için (özetleme, çıkarım, taslak yazma, kendi belgeleri hakkında soru yanıtlama) iyi seçilmiş orta boy bir model fazlasıyla yeterliydi. Mutlak zirveye ihtiyaçları yoktu; yetkin ve özel olana ihtiyaçları vardı.

Kendi dosyalarının üzerinde özel bir bilgi katmanı

Asıl değer genel bir sohbet botu değil, kendi dava dosyaları hakkında soru yanıtlayabilen bir asistandı. Belgelerini yerel olarak dizinleyen bir erişim katmanı kurduk; böylece biri «Müller dosyasında X konusunda ne sonuca varmıştık» diye sorduğunda, sistem ilgili pasajları buluyor ve onlardan yanıtlıyor. Bu dizin de, her şey gibi, tamamen yerel makinede duruyor. Hiçbir belge ve hiçbir parçası, hiçbir yere yüklenmiyor.

Mevcut kurallarına uyan erişim denetimi

Bunun gibi bir firmanın kimin hangi dosyaları görebileceğine dair zaten katı kuralları vardır. Asistanın bunları aşması değil, onlara saygı göstermesi gerekiyordu. Bu yüzden erişim mevcut izinleri yansıttı: yapay zekaya yalnızca zaten açmaya yetkili olduğunuz materyaller hakkında soru sorabilirsiniz. Bu bariz gelebilir ama zekice bir demoyu, bir uyum sorumlusunun gerçekten onaylayacağı bir şeye dönüştüren kısım tam da budur.

İşi aksatmadan nasıl devreye aldık

Gizliliği önceleyen bir firma, anlaşılır biçimde yeni sistemlere karşı temkinlidir. Bir düğmeye basıp zaferi ilan ederek güven kazanacak değildik. Bu yüzden projeyi, her biri bir sonrakine geçmeden önce kanıtlanabilir olan küçük, geri alınabilir adımlar dizisi olarak yürüttük.

1. 1
   Önce tek bir zahmetli işi kapsama aldık

   «Firmaya yapay zeka eklemeye» kalkmadık. Yüksek hacimli tek bir işi (gelen uzun belgeleri özetlemeyi) seçtik ve ona göre kurduk. Başarı ya da başarısızlık olarak değerlendirmesi kolay, net tek bir hedef.
2. 2
   Sahte verilerle bir test makinesinde kurduk

   Her şey önce, uydurma belgeler kullanılarak izole bir makinede ayağa kaldırıldı; böylece sistem kanıtlanıp güvenlik modeli gözden geçirilene dek hiçbir gerçek müşteri verisi işin içine girmedi.
3. 3
   Birkaç ileri düzey kullanıcıyla kapalı bir pilot yürüttük

   Bir avuç kıdemli çalışan, olağan süreçlerinin yanında, birkaç hafta boyunca gerçek işlerde kullandı. Pürüzleri (garip ifadeleri, dizinin kötü işlediği birkaç belgeyi) buldular, biz de düzelttik.
4. 4
   Kendi politikalarına karşı gözden geçirdik

   Daha geniş bir yayılımdan önce, uyum sorumluları verinin tam olarak nerede durduğunu ve nereye hareket ettiğini denetledi. Yanıt «burası dışında hiçbir yerde» olduğu için o inceleme kısa sürdü; asıl tasarım hedefi de buydu.
5. 5
   Tek sayfalık bir kılavuzla ekibe açtık

   Ancak güven kazandıktan sonra firma genelinde devreye aldık; neyde iyi olduğuna, neyde olmadığına dair sade dilde bir not ve asla uydurmadığı, kaynak gösterdiği hatırlatmasıyla.

Sonuç: geri kazanılan saatler ve binadan çıkmayan hiçbir şey

Tam yayılımdan birkaç ay içinde asistan sessizce günlük rutinin parçası oldu. Öne çıkan sonuç, en çok önemsedikleri şeydi: tek bir bayt müşteri verisi bile ofislerinden çıkmadı ve bunu soran herkese kanıtlayabiliyorlardı. Sistem kendi sunucularında, kendi ofislerinde, kendi kontrolleri altında çalışıyor. Bu tek başına projeyi onlar için gerekçelendirdi.

Verimlilik tarafı, işi kâra geçiren ikramiyeydi. Uzun bir belgenin ilk taslak özeti (eskiden bir asistan için birkaç saatlik iş) gözden geçirip düzenlemenin dakikalarına indi. Çalışanlar tek bir olgusal soruyu yanıtlamak için tüm dosyaları yeniden okumayı bıraktı; asistana soruyor, kaynak gösterilen bir pasaj alıyor ve saniyeler içinde doğruluyorlardı. Ekip genelinde açığa çıkan zaman, her haftanın anlamlı bir dilimine ulaştı ve belgeleri didiklemekten, müşterilerin asıl bedelini ödediği daha yüksek değerli analize yönlendirildi.

Aynı ölçüde dikkat çeken şey, daha yumuşak bir değişimdi. Yapay zeka konusunda sessizce tedirgin olan (bunun patlamayı bekleyen bir sızıntı olduğundan endişe eden) insanlar, onu kullanmakta rahatladı; tam da neden güvenli olduğunu anladıkları için. Güven, bizim onları rahatlatmamızdan gelmedi. Bir müşteriye tek cümlede açıklayabilecekleri bir mimariden geldi: bina asla terk edilmiyor.

Dürüstçe, neye mal oldu

Yerel yapay zeka ucuz seçenek değildir ve aksini iddia etmek size haksızlık olur. Satın alınacak gerçek bir GPU'lu gerçek bir sunucu, fonlanacak bir kurulum projesi ve bütçelenecek süregelen bir bakım (yamalar, model güncellemeleri, ara sıra ince ayar) var. Gizliliği sözleşmesel olan bir firma için bu maliyeti gerekçelendirmek kolaydır. Sadece gizlilik fikrini seven bir firma için çoğu zaman değildir ve bunu söyleriz.

Dürüst denge şöyle görünür: tam kontrol ve kullanımla ölçeklenen mesaj başına bulut ücretlerinin olmaması karşılığında, daha yüksek bir peşin maliyet ve biraz daha fazla sorumluluk. Hassas materyalle çalışan yoğun kullanımlı bir ekip için ekonomi zamanla aslında iyileşir; kapasiteyi sorgu başına kiralamak yerine satın almış olursunuz. Hafif ya da ara sıra kullanımda bir bulut aracı neredeyse kesinlikle daha ucuz olur. O çizginin hangi tarafında olduğunuzu bilmek, kararın büyük kısmıdır.

• Uygun bir GPU'lu yetenekli bir sunucu — abonelik değil, tek seferlik bir sermaye alımı.
• Bir kurulum projesi: modelin kurulup ayarlanması, belge dizininin oluşturulması, erişim denetiminin bağlanması.
• Süregelen bakım: güvenlik yamaları, model güncellemeleri, ihtiyaçlar değiştikçe ara sıra yeniden ayar.
• İç sahiplik: herhangi bir çekirdek sistemi işlettiğiniz gibi, ona göz kulak olan adı belli bir kişi.
• Sorgu başına bulut faturası yok — bulutta pahalıya patlayacak kullanım, donanımın parası ödendikten sonra esasen bedelsizdir.

Bu sizin işinize uyar mı?

Bu tek seferlik değildi. Aynı örüntü, kısıtın bütçe değil veri hassasiyeti olduğu her firmaya uyar: hukuk büroları, tıbbi ve sağlığa yakın hizmet sağlayıcılar, güvenliğe ve savunmaya yakın işler, mali müşavirler, ticari sırların üzerinde oturan Ar-Ge ekipleri. Kendinizi yapay zekanın yardımını isterken ama verinin nereye gideceği düşüncesiyle irkilirken bulduysanız, bu yaklaşımın kurulduğu kitle sizsiniz.

Aynı şekilde, veriniz özellikle hassas değilse ve yalnızca bir his için ek ücret ödeyecekseniz, sizi iyi bir bulut seçeneğine yönlendirir ve o harcamadan kurtarırız. Doğru yanıt tamamen yükümlülüklerinize bağlıdır; hangi teknolojinin daha etkileyici geldiğine değil. En yararlı ilk adım bir model seçmek değil, gizlilik yükümlülüklerinizin gerçekte neyi gerektirdiği konusunda dürüst olmaktır.

Sık sorulan sorular