Hogyan tettünk AI-asszisztenst egy SaaS-platformba — anélkül, hogy tönkretettük volna

Minden SaaS-csapat, amellyel beszélünk, előbb-utóbb hangosan kimondja ugyanazt a mondatot: „Kellene ide egy AI-asszisztens.” Néha az igazgatóság nyomása, néha egy versenytárs piacra lépése, néha valódi igény. Az érdekes rész sosem maga az ötlet — az szinte mindenkinek megvan. Az érdekes rész a szakadék e mondat és egy olyan funkció között, amelyre a valódi felhasználók tényleg támaszkodnak. Ez egy csapat története, amely átjutott rajta, és a hétköznapi döntéseké, amelyek odáig vezették.

Egy gyors megjegyzés, mielőtt belekezdenénk: az ügyfelet anonimizáltuk, a számokat kerekítettük. Egy kicsi, nyereséges B2B SaaS-cégről van szó — húsz fő alatt —, amely egy munkafolyamat-eszközt árul üzemeltetési csapatoknak. Elég részletet megváltoztattunk ahhoz, hogy ne ismerje fel őket, de a projekt alakja pontosan olyan, ahogyan megtörtént. A számok szemléltető jellegűek, nem auditáltak; szívesebben mutatjuk meg a mintázatot, mint hogy feldíszítsünk egy grafikont.

Azért írjuk le, mert a projekt szinte tökéletes példája annak, hogyan alakulnak ezek a dolgok valójában. Nem úgy ment, ahogy a nyitó prezentáció ígérte. Jobban ment — de csak azért, mert hajlandók voltunk törölni az első verziót.

A helyzet: két probléma egyetlen jelmezben

Amikor az alapító először jelentkezett, a kérés egyszerű volt: „AI chatbotot szeretnénk az alkalmazásba.” Itt indul a legtöbb projekt, és itt is siklik ki csendben a legtöbb. Az „AI chatbot” nem cél, hanem forma. Az első feladatunk tehát az volt, hogy kiderítsük, milyen problémát hivatott megoldani a chatbot — és hogy egyáltalán egy probléma-e.

Nem az volt. Az egyetlen kérés alatt két teljesen különböző fájdalom lapult. Az első a támogatási teher volt: egy kétfős ügyfélsiker-csapat fuldoklott az ismétlődő jegyekben — „hogyan exportálom ezt”, „hol van a beállítás ehhez”, „miért nem futott le a riportom”. A beérkező jegyek nagyjából 60%-a olyan kérdés volt, amelyre a súgójukban már megvolt a válasz valahol. A másik fájdalom halkabb és drágább volt: az aktiválás. A termékükben volt egy valóban erős funkció, három kattintás mélyre temetve, amelyet szinte senki nem fedezett fel magától. Aki megtalálta, évekig maradt. Aki nem, az első két hónapban lemorzsolódott.

Ugyanaz a jelmez, két probléma. És különböző irányba húztak. Egy támogató bot el akarja hárítani a kérdéseket, és félre akar állni az útból. Egy aktiváló asszisztens elindítani akarja a beszélgetéseket, és olyasmik felé terelni az embereket, amiről nem is kérdeztek. Ha „egy AI chatbotot” építettünk volna ezek szétválasztása nélkül, olyasmit építettünk volna, ami mindkét feladatot rosszul végzi.

Leszűkítés valamire, amit be tudtunk fejezni

Két probléma előtt állva a kísértés az, hogy egy grandiózus asszisztenst építsünk, amely az első naptól mindkettőt kezeli. Lebeszéltük róla a csapatot. Nem azért, mert a vízió rossz lett volna, hanem mert egy hat hónapos „mindent tudó asszisztens” pontosan az a fajta projekt, amely késve érkezik, laposan sül el, és a következő két évre mindenkit idegessé tesz az AI-tól.

Így hát egyet választottunk. Először a támogatás elhárítását választottuk, három unalmas, de döntő okból. Volt egy világos, mérhető célja — a jegyek száma. Már meglévő tartalmat használt — a súgójukat és a korábbi jegyeket. És ha alulteljesített volna, a hátrány kicsi: az a felhasználó, aki nem kapott jó választ, egyszerűen azt tette, amit addig is, és nyitott egy jegyet. Alacsony kockázat, gyors visszajelzés, őszinte mérőszám. Ez mindig jó első AI-funkció.

Az aktiváló asszisztens nem tűnt el — leparkoltuk papíron, világos megjegyzéssel: második fázis, amint a keresési réteg bizonyított. Ez az egyetlen döntés valószínűleg megmentette a projektet. Olyan célvonalat adott a csapatnak, amelyet ténylegesen elérhetett hetek, nem negyedévek alatt.

Az első prototípus, amelyet megépítettünk — és töröltünk

Itt van az a rész, amelyet a legtöbb esettanulmány kihagy. Az első működő prototípusunk, enyhén szólva, nem volt jó. A kézenfekvőt tettük: rákötöttük a termék súgócikkeit egy nagy nyelvi modellre, hozzáadtunk egy chatablakot, és hagytuk, hogy a felhasználók kérdezzenek. A demóban varázslatosnak tűnt. Valódi tesztelésben nagyon konkrét és nagyon tanulságos módon esett szét.

A modell magabiztosan tévedett. Egy fél évvel korábban átnevezett beállításról kérdezve vidáman kitalálta a régi menüútvonalat. Egy magasabb csomag funkciójáról kérdezve elmagyarázta a használatát — egy olyan ügyfélnek, aki hozzá sem fért. Minden válasz tekintélyesnek hangzott, ami a rosszakat rosszabbá tette, mintha nem lett volna válasz. Egy udvariasan hazudó támogató bot nem csökkenti a jegyeket; dühösebbeket generál.

Elmaszatolhattuk volna promptfinomhangolással. Ehelyett valami olyat tettünk, ami visszalépésnek tűnt, és az egész játék lényegének bizonyult: eldobtuk az első prototípust, és egy szigorú szabály köré építettük újra — az asszisztens csak olyan forrásokból válaszolhat, amelyeket meg tud jelölni, egyébként pedig azt kell mondania, hogy „nem tudom”.

Amit valójában megépítettünk

A kiadott verzió szándékosan szerény volt abban, amit megkísérelt, és szigorú abban, ahogyan viselkedett. A motorháztető alatt egy keresésre alapozott asszisztens volt: amikor a felhasználó kérdezett valamit, a rendszer először egy kurált, naprakész tudásbázisban keresett, majd megkérte a modellt, hogy kizárólag abból válaszoljon, amit talált, a forrásra visszamutató hivatkozással. Nincs forrás, nincs magabiztos válasz — csak tiszta átadás egy embernek.

Három tervezési döntés végezte a munka nagy részét, és egyik sem izgalmas. Épp ez a lényeg — az unalmas döntések általában azok, amelyek eldöntik, hogy egy AI-funkcióban megbíznak-e, vagy csendben lekapcsolják.

Megalapozás az okoskodás helyett

Minden válasz egy valódi, aktuális dokumentumhoz volt kötve. Több időt töltöttünk a tudásbázis tisztításával és strukturálásával, mint a modell hangolásával. Hétköznapi, és messze a projekt legnagyobb hatású munkája. Egy közepes modell kiváló, jól karbantartott tartalmon legyőz egy briliáns modellt egy elavult összevisszaságon.

Elegáns átadás

Amikor az asszisztens nem volt biztos, nem tippelt. Kimondta, és egy kattintással utat kínált egy emberhez — magával vitte a beszélgetés kontextusát, hogy a felhasználónak sose kelljen ismételnie magát. Ellentmondásos módon ez arra késztette az embereket, hogy jobban megbízzanak a botban: egy asszisztens, amely bevallja a korlátait, őszintének hat, és épp azért támaszkodtak rá a könnyű 60%-nál, mert a nehéz 40%-nál félreállt.

Tudja, ki kérdez

Mivel a terméken belül élt, az asszisztens ismerte a felhasználó csomagját, szerepét és azt, hol jár az alkalmazásban. Így sosem magyarázott el olyan funkciót, amelyhez nem fért hozzá, és azt is mondhatta: „a keresett gomb azon a képernyőn van, amelyen épp áll.” Ez a termékismeret a beépített asszisztens valódi előnye egy marketingoldalra rábütykölt általános chatbottal szemben.

1. 1
   Tisztítottuk és strukturáltuk a tudásbázist

   Átnéztünk minden súgócikket, kiirtottuk az elavultakat, a többit pedig csomag és funkció szerint címkéztük. Ez volt az első hét, és ez volt a legfontosabb hét.
2. 2
   Megépítettük a keresési réteget

   Előbb keresés, aztán válasz. A modell csak ellenőrzött, aktuális tartalmat látott — és utasítottuk, hogy utasítson vissza mindent, amit nem tudott forráshoz kötni.
3. 3
   Bekötöttük a termékkontextust

   Összekapcsoltuk az asszisztenst a felhasználó csomagjával, szerepével és aktuális képernyőjével, hogy a válaszok személyre szabottak legyenek, és sose mutassanak elérhetetlen funkciókra.
4. 4
   Megterveztük az őszinte tartalékutat

   A „nem vagyok biztos — itt egy ember” útvonalat elsőrendű funkcióként építettük meg, a teljes beszélgetési kontextust átadva a támogatási csapatnak.
5. 5
   Kiadtuk a felhasználók 10%-ának jelző mögött

   Csendben bevezettük a fiókok egy szeletén, két hétig figyeltük a valós beszélgetéseket, kijavítottuk, ami elromlott, majd kiszélesítettük a bevezetést.

Az eredmények — és az, amelyik meglepett minket

Miután az asszisztens körülbelül három hónapja élt mindenki számára, a kép tiszta volt. Kerekített, szemléltető számokat adunk — az irány többet számít, mint a tizedesek.

A támogatási szám volt az, amelyet megígértünk, és teljesült: az ismétlődő jegyek valamivel több mint fele egyszerűen abbamaradt, és a kétfős csapat visszakapta a hetét azokra az esetekre, amelyek valóban embert igényeltek. Jó eredmény, pontosan a hatókör szerint.

De az eredmény, amely valóban meglepte az alapítót, az volt, amelyre egyáltalán nem optimalizáltunk. Mivel az asszisztens egész nap a „hogyan csinálom az X-et” kérdésekre válaszolt, természetes módon folyton az eltemetett, ragadós funkció felé terelte a felhasználókat — arra, amely a megtartáshoz kötődött. Az aktiváló asszisztenst még meg sem építettük. A támogató bot csendben elvégezte a munkája egy szeletét mellékhatásként, pusztán azzal, hogy hasznos volt és ismerte a terméket. Az új felhasználók hetekkel korábban találták meg a funkciót, mint azelőtt.

Amit a következő csapatnak mondanánk

Ha SaaS-csapat, amely ugyanarra a „AI-asszisztenst kellene hozzáadnunk” mondatra mered, néhány dolog ebből a projektből jóval azon túl is jól általánosítható.

• Válassza szét a problémákat, mielőtt építene. Az „AI chatbot” szinte mindig két-három különálló feladatot rejt, amelyek más-más tervezést kívánnak.
• Azzal a felhasználási esettel kezdje, ahol egy rossz válasz a legkevesebbe kerül. A támogatás elhárítása szinte tökéletes első lépés; a visszaesési út a jelenlegi állapot.
• Az erőfeszítés nagy részét a tartalomra szánja, ne a modellre. A tiszta, aktuális adaton való megalapozás teszi az asszisztenst megbízhatóvá.
• Tegye a „nem tudom”-ot funkcióvá, ne kudarccá. Az őszinte átadás építi a bizalmat, amitől a felhasználók a bot által jól végzett részekre támaszkodnak.
• Előbb jelző mögött, egy kis szeletnek adja ki. A valós beszélgetések olyasmire tanítják, amire egy demó soha.

Gyakori kérdések