Bir SaaS Platformuna Yapay Zeka Asistanını Nasıl Ekledik — Bozmadan

Konuştuğumuz her SaaS ekibi eninde sonunda aynı cümleyi yüksek sesle söylüyor: "Buraya bir yapay zeka asistanı koymalıyız." Kimi zaman yönetim kurulundan gelen bir baskı, kimi zaman bir rakibin lansmanı, kimi zaman da gerçek bir ihtiyaç. İlginç olan asla fikrin kendisi değil — neredeyse herkeste bu fikir var. İlginç olan, o cümle ile gerçek kullanıcıların gerçekten güvendiği bir özellik arasındaki uçurum. Bu, o uçurumu aşan bir ekibin ve onları oraya taşıyan gösterişsiz kararların hikâyesi.

Başlamadan önce kısa bir not: Müşteriyi anonimleştirdik ve sayıları yuvarladık. Küçük, kârlı bir B2B SaaS şirketi — yirmi kişinin altında — operasyon ekiplerine bir iş akışı aracı satıyorlar. Onları tanıyamayacağınız kadar ayrıntıyı değiştirdik ama projenin biçimi tam olarak yaşandığı gibi. Sayılar örnekleyicidir, denetlenmiş değil; bir grafiği süslemektense size örüntüyü göstermeyi tercih ederiz.

Bunu yazıyoruz çünkü proje, bu işlerin gerçekte nasıl yürüdüğünün neredeyse kusursuz bir örneği. Açılış sunumunun söylediği gibi gitmedi. Daha iyi gitti — ama yalnızca ilk sürümü silmeye razı olduğumuz için.

Durum: Tek kostüm giymiş iki problem

Kurucu ilk kez ulaştığında istek basitti: "Uygulamada bir yapay zeka chatbot istiyoruz." Çoğu proje burada başlar ve çoğu da sessizce burada yoldan çıkar. "Yapay zeka chatbot" bir hedef değil, bir biçimdir. Bu yüzden ilk işimiz, chatbot'un hangi problemi çözmesi gerektiğini — ve bunun aslında tek bir problem olup olmadığını — anlamaktı.

Değildi. O tek isteğin altında tamamen farklı iki acı yatıyordu. Birincisi destek yükü: iki kişilik müşteri başarısı ekibi, tekrar eden taleplerin içinde boğuluyordu — "bunu nasıl dışa aktarırım", "şunun ayarı nerede", "raporum neden çalışmadı". Gelen taleplerin kabaca %60'ı, yardım belgelerinin bir yerinde zaten yanıtı olan sorulardı. İkinci acı daha sessiz ve daha pahalıydı: etkinleştirme. Ürünlerinde üç tık derinde gömülü, neredeyse hiç kimsenin kendi başına keşfetmediği, gerçekten güçlü bir özellik vardı. Onu bulan kullanıcılar yıllarca kaldı. Bulamayanlar ilk iki ayda ayrıldı.

Aynı kostüm, iki problem. Ve farklı yönlere çekiyorlardı. Bir destek botu soruları savuşturup kenara çekilmek ister. Bir etkinleştirme asistanı ise konuşmaları başlatmak ve insanları sormadıkları şeylere doğru dürtmek ister. Bunları ayırmadan "bir yapay zeka chatbot" inşa etseydik, iki işi de kötü yapan bir şey inşa etmiş olurduk.

Bitirebileceğimiz bir şeye kapsamı daraltmak

İki problemle karşılaşınca, ilk günden ikisini de halleden görkemli bir asistan inşa etme cazibesi doğar. Ekibi bundan vazgeçirdik. Vizyon yanlış olduğu için değil, altı aylık bir "her şeyi yapan asistan" tam da geç teslim edilen, yavan iniş yapan ve sonraki iki yıl herkesi yapay zeka konusunda gergin eden türden bir proje olduğu için.

Bu yüzden birini seçtik. Önce destek savuşturmayı seçtik, sıkıcı ama belirleyici üç nedenle. Net, ölçülebilir bir hedefi vardı — talep hacmi. Zaten var olan içeriği kullanıyordu — yardım belgeleri ve geçmiş talepler. Ve iyi performans göstermezse zararı küçüktü: iyi bir yanıt alamayan kullanıcı, zaten yaptığı şeyi yapar ve bir talep açardı. Düşük risk, hızlı geri bildirim, dürüst metrik. Her seferinde iyi bir ilk yapay zeka özelliği budur.

Etkinleştirme asistanı ortadan kalkmadı — kâğıt üzerinde, net bir notla park ettik: ikinci faz, geri getirme katmanı kanıtlandığında. O tek karar muhtemelen projeyi kurtardı. Ekibe, çeyrekler yerine haftalar içinde gerçekten ulaşabilecekleri bir bitiş çizgisi verdi.

İnşa ettiğimiz — ve sildiğimiz ilk prototip

İşte çoğu vaka incelemesinin atladığı kısım. İlk çalışan prototipimiz, kibarca söylemek gerekirse, iyi değildi. Bariz olanı yaptık: ürünün yardım makalelerini büyük bir dil modeline bağladık, bir sohbet kutusu ekledik ve kullanıcıların soru sormasına izin verdik. Demoda büyülü görünüyordu. Gerçek testte ise çok belirli, çok öğretici bir biçimde dağıldı.

Model kendinden emin bir şekilde yanılıyordu. Altı ay önce adı değiştirilmiş bir ayar sorulduğunda, neşeyle eski menü yolunu uydurdu. Üst kademe bir plandaki bir özellik sorulduğunda, ona erişemeyen bir müşteriye nasıl kullanılacağını anlattı. Her yanıt yetkili gibi geliyordu, bu da yanlış olanları hiç yanıt olmamasından daha kötü yapıyordu. Kibarca yalan söyleyen bir destek botu talepleri azaltmaz; daha öfkeli talepler yaratır.

Bunu istem ayarlamalarıyla üstünü örtebilirdik. Bunun yerine geri adım gibi hissettiren ama aslında oyunun tamamı olan bir şey yaptık: ilk prototipi çöpe attık ve onu katı bir kural etrafında yeniden inşa ettik — asistan yalnızca kaynak gösterebildiği bilgilerden yanıt verebilir, aksi halde "bilmiyorum" demek zorundadır.

Aslında ne inşa ettik

Yayınlanan sürüm, denediği şeyde bilinçli olarak alçakgönüllü, davranışında ise katıydı. Kaputun altında geri getirmeye dayalı bir asistandı: kullanıcı bir şey sorduğunda, sistem önce özenle düzenlenmiş, güncel bir bilgi tabanında arama yapıyor, sonra modelden yalnızca bulduğu şeyden, kaynağa geri dönen bir bağlantıyla yanıt vermesini istiyordu. Kaynak yoksa, kendinden emin yanıt da yok — yalnızca bir insana temiz bir devir.

Üç tasarım kararı ağır işin çoğunu üstlendi ve hiçbiri heyecan verici değil. Mesele de bu — bir yapay zeka özelliğinin güvenilir mi olacağını yoksa sessizce mi kapatılacağını genellikle sıkıcı kararlar belirler.

Zekâdan önce dayanak

Her yanıt gerçek, güncel bir belgeye bağlıydı. Modeli ince ayarlamaktan çok bilgi tabanını temizlemeye ve yapılandırmaya zaman harcadık. Gösterişsiz ve projedeki en yüksek kaldıraçlı iş. Mükemmel, iyi bakımlı içerik üzerinde vasat bir model, bayat bir dağınıklık üzerindeki parlak bir modeli yener.

Zarif bir devir

Asistan emin olmadığında tahmin yürütmedi. Öyle olduğunu söyledi ve tek tıkla bir insana giden bir yol sundu — konuşma bağlamını da yanında taşıyarak, böylece kullanıcı kendini tekrar etmek zorunda kalmadı. Sezginin tersine, bu insanları bota daha çok güvendirdi: sınırlarını kabul eden bir asistan dürüst hissettirir ve kullanıcılar tam da zor %40'ta kenara çekildiği için kolay %60'ta ona yaslandı.

Kimin sorduğunun farkında

Ürünün içinde yaşadığı için asistan, kullanıcının planını, rolünü ve uygulamada nerede olduğunu biliyordu. Böylece erişemedikleri bir özelliği asla anlatmadı ve "aradığınız düğme, zaten üzerinde olduğunuz ekranda" diyebildi. Bu ürün farkındalığı, bir pazarlama sitesine yamanmış genel bir chatbot'a kıyasla uygulama içi bir asistanın asıl avantajıdır.

1. 1
   Bilgi tabanını temizledik ve yapılandırdık

   Her yardım belgesini denetledik, güncelliğini yitirmişleri eledik, kalanları plana ve özelliğe göre etiketledik. Bu birinci haftaydı ve en önemli haftaydı.
2. 2
   Geri getirme katmanını inşa ettik

   Önce arama, sonra yanıt. Model yalnızca denetlenmiş, güncel içeriği gördü — ve bir kaynağa dayandıramadığı her şeyi reddetmesi talimatı aldı.
3. 3
   Ürün bağlamını bağladık

   Asistanı kullanıcının planına, rolüne ve mevcut ekranına bağladık, böylece yanıtlar kişiye özeldi ve asla kullanamayacakları özellikleri işaret etmedi.
4. 4
   Dürüst yedek yolu tasarladık

   'Emin değilim — işte bir insan' yolunu birinci sınıf bir özellik olarak inşa ettik, tam konuşma bağlamı destek ekibine devredildi.
5. 5
   Bir bayrak arkasında kullanıcıların %10'una yayınladık

   Hesapların bir dilimine sessizce açtık, iki hafta boyunca gerçek konuşmaları izledik, bozulanı düzelttik, sonra yayılımı genişlettik.

Sonuçlar — ve bizi şaşırtan biri

Asistan yaklaşık üç ay boyunca herkese açık olduktan sonra tablo netti. Size yuvarlanmış, örnekleyici rakamlar vereceğiz — yön, ondalıklardan daha önemli.

Destek sayısı söz verdiğimizdi ve tuttu: tekrar eden taleplerin yarısından biraz fazlası basitçe gelmeyi durdurdu ve iki kişilik ekip, gerçekten bir insana ihtiyaç duyan vakalarla ilgilenmek için haftasını geri kazandı. İyi bir sonuç, tam da kapsamlandırıldığı gibi.

Ama kurucuyu gerçekten şaşırtan sonuç, hiç optimize etmediğimiz bir şeydi. Asistan gün boyu "X'i nasıl yaparım" sorularını yanıtladığı için, doğal olarak kullanıcıları o gömülü, tutucu özelliğe — elde tutmaya bağlı olana — yönlendirip durdu. Etkinleştirme asistanını henüz inşa etmemiştik. Destek botu, sırf yardımcı ve ürün farkında olduğu için, işinin bir dilimini yan etki olarak sessizce yapıyordu. Yeni kullanıcılar özelliği eskisinden haftalar önce buluyordu.

Bir sonraki ekibe söyleyeceklerimiz

Aynı "bir yapay zeka asistanı eklemeliyiz" cümlesine bakan bir SaaS ekibiyseniz, bu projeden birkaç şey onun çok ötesinde de iyi genelleşir.

• İnşa etmeden önce problemleri ayırın. "Yapay zeka chatbot" neredeyse her zaman farklı tasarımlar isteyen iki ya da üç ayrı işi gizler.
• Yanlış bir yanıtın en az maliyete mal olduğu kullanım senaryosuyla başlayın. Destek savuşturma neredeyse kusursuz bir ilk hamledir; yedek plan mevcut durumdur.
• Çabanızın çoğunu modele değil içeriğe ayırın. Temiz, güncel veriye dayanma, bir asistanı güvenilir kılan şeydir.
• "Bilmiyorum"u bir başarısızlık değil, bir özellik yapın. Dürüst bir devir, kullanıcıların botun iyi yaptığı kısımlara güvenmesini sağlayan güveni inşa eder.
• Önce bir bayrak arkasında küçük bir dilime yayınlayın. Gerçek konuşmalar size hiçbir demonun öğretemeyeceği şeyleri öğretir.

Sık sorulan sorular