Ako sme do SaaS platformy pridali AI asistenta — bez toho, aby sme ju pokazili

Každý SaaS tím, s ktorým hovoríme, skôr či neskôr nahlas vysloví tú istú vetu: "Mali by sme sem dať AI asistenta." Niekedy je to tlak predstavenstva, niekedy spustenie konkurenta, niekedy je to úprimné. Zaujímavá časť nikdy nie je nápad — nápad má takmer každý. Zaujímavá časť je priepasť medzi tou vetou a funkciou, na ktorú sa skutoční používatelia naozaj spoliehajú. Toto je príbeh jedného tímu, ktorý ju prekonal, a nelesklých rozhodnutí, ktoré ho k cieľu doviedli.

Krátka poznámka na úvod: klienta sme anonymizovali a čísla zaokrúhlili. Ide o malú, ziskovú B2B SaaS firmu — menej ako dvadsať ľudí — ktorá predáva nástroj na pracovné postupy prevádzkovým tímom. Zmenili sme dosť detailov, aby ste ich nespoznali, ale tvar projektu je presne taký, aký sa naozaj stal. Čísla sú ilustratívne, nie auditované; radšej vám ukážeme vzorec, než by sme prikrášľovali graf.

Píšeme to preto, lebo projekt je takmer dokonalým príkladom toho, ako tieto veci naozaj prebiehajú. Nešlo to tak, ako sľubovala úvodná prezentácia. Šlo to lepšie — ale len preto, že sme boli ochotní zmazať prvú verziu.

Situácia: dva problémy v jednom kostýme

Keď sa zakladateľ prvýkrát ozval, požiadavka bola jednoduchá: "Chceme AI chatbota v aplikácii." Tam väčšina projektov začína a tam sa väčšina z nich aj potichu pokazí. "AI chatbot" nie je cieľ, je to tvar. Naším prvým úlohou bolo zistiť, aký problém má ten chatbot riešiť — a či vôbec ide o jeden problém.

Nešlo. Pod tou jednou požiadavkou sa skrývali dve úplne odlišné bolesti. Prvou bolo zaťaženie podpory: dvojčlenný tím zákazníckej podpory sa topil v opakujúcich sa ticketoch — "ako toto vyexportujem", "kde je nastavenie pre tamto", "prečo sa môj report nespustil". Približne 60 % prichádzajúcich ticketov boli otázky už niekde zodpovedané v ich dokumentácii. Druhá bolesť bola tichšia a drahšia: aktivácia. Ich produkt mal naozaj mocnú funkciu skrytú tri kliknutia hlboko, ktorú takmer nikto sám neobjavil. Používatelia, ktorí ju našli, ostávali roky. Tí, čo nie, odchádzali v prvých dvoch mesiacoch.

Rovnaký kostým, dva problémy. A ťahali opačným smerom. Bot na podporu chce odkloniť otázky a uhnúť z cesty. Asistent na aktiváciu chce začínať rozhovory a postrkovať ľudí k veciam, na ktoré sa nepýtali. Keby sme postavili "AI chatbota" bez ich oddelenia, postavili by sme niečo, čo obe úlohy robí zle.

Zúženie rozsahu na niečo, čo dokážeme dokončiť

Keď stojíte pred dvoma problémami, prichádza pokušenie postaviť veľkolepého asistenta, ktorý od prvého dňa zvláda oboje. Tím sme od toho odhovorili. Nie preto, že by bola vízia zlá, ale preto, že šesťmesačný "asistent na všetko" je presne ten typ projektu, ktorý mešká, spadne do prázdna a na ďalšie dva roky všetkých okolo AI znervózni.

Tak sme vybrali jedno. Najprv sme zvolili odklonenie podpory, z troch nudných, ale rozhodujúcich dôvodov. Malo jasný, merateľný cieľ — objem ticketov. Využívalo obsah, ktorý už existoval — ich dokumentáciu a minulé tickety. A ak by podalo slabý výkon, škoda bola malá: používateľ, ktorý nedostal dobrú odpoveď, jednoducho urobil to, čo aj predtým, a otvoril ticket. Nízke riziko, rýchla spätná väzba, úprimná metrika. To je vždy dobrá prvá AI funkcia.

Asistent na aktiváciu nezmizol — zaparkovali sme ho, na papieri, s jasnou poznámkou: druhá fáza, hneď ako sa vrstva vyhľadávania osvedčí. To jedno rozhodnutie projekt pravdepodobne zachránilo. Dalo tímu cieľovú čiaru, na ktorú naozaj dosiahol v týždňoch namiesto kvartálov.

Prvý prototyp, ktorý sme postavili — a zmazali

Toto je časť, ktorú väčšina prípadových štúdií vynechá. Náš prvý funkčný prototyp bol, mierne povedané, zlý. Urobili sme to zrejmé: prepojili sme články pomocníka produktu s veľkým jazykovým modelom, pridali chatovacie okno a nechali používateľov klásť otázky. V ukážke to vyzeralo čarovne. V skutočnom testovaní sa to rozpadlo veľmi špecifickým, veľmi poučným spôsobom.

Model sa sebavedomo mýlil. Na otázku o nastavení premenovanom pred šiestimi mesiacmi veselo vymyslel starú cestu v menu. Na otázku o funkcii vo vyššom pláne vysvetlil, ako ju používať — zákazníkovi, ktorý k nej nemal prístup. Každá odpoveď znela autoritatívne, čo tie chybné robilo horšími než žiadna odpoveď. Bot na podporu, ktorý zdvorilo klame, počet ticketov neznižuje; vytvára nahnevanejšie.

Mohli sme to zaplátať úpravami promptu. Namiesto toho sme urobili niečo, čo pôsobilo ako krok späť, a ukázalo sa to ako celá podstata: prvý prototyp sme zahodili a prestavali okolo prísneho pravidla — asistent smie odpovedať len zo zdrojov, ktoré vie odcitovať, a inak musí povedať "neviem".

Čo sme naozaj postavili

Verzia, ktorá sa nasadila, bola zámerne skromná v tom, o čo sa pokúšala, a prísna v tom, ako sa správala. Pod kapotou išlo o asistenta ukotveného vo vyhľadávaní: keď používateľ niečo položil, systém najprv prehľadal starostlivo udržiavanú, aktuálnu bázu znalostí, potom požiadal model, aby odpovedal len z toho, čo našiel, s odkazom na zdroj. Žiadny zdroj, žiadna sebavedomá odpoveď — len čisté odovzdanie človeku.

Tri návrhové rozhodnutia odviedli väčšinu ťažkej práce a ani jedno nie je vzrušujúce. To je práve tá podstata — nudné rozhodnutia sú zvyčajne tie, ktoré rozhodujú, či AI funkcii ľudia dôverujú alebo ju potichu vypnú.

Ukotvenie namiesto vynaliezavosti

Každá odpoveď bola naviazaná na skutočný, aktuálny dokument. Viac času sme strávili čistením a štruktúrovaním bázy znalostí než ladením modelu. Nelesklé a zďaleka najúčinnejšie práca v projekte. Priemerný model na výbornom, dobre udržiavanom obsahu poráža brilantný model na zatuchnutom neporiadku.

Elegantné odovzdanie

Keď si asistent nebol istý, nehádal. Povedal to a ponúkol jednoklikovú cestu k človeku — nesúc so sebou kontext rozhovoru, aby ho používateľ nikdy nemusel opakovať. Naopak než by ste čakali, práve to prinútilo ľudí botovi viac dôverovať: asistent, ktorý priznáva svoje hranice, pôsobí úprimne, a spoliehali sa naň pri ľahkých 60 % práve preto, že pri ťažkých 40 % ustúpil.

Vedomý toho, kto sa pýta

Keďže žil vnútri produktu, asistent poznal používateľov plán, rolu a to, kde sa v aplikácii nachádza. Preto nikdy nevysvetľoval funkciu, ku ktorej používateľ nemal prístup, a vedel povedať "tlačidlo, ktoré hľadáte, je na obrazovke, na ktorej práve ste." Táto znalosť produktu je skutočná výhoda asistenta v aplikácii oproti generickému chatbotovi prilepenému na marketingovú stránku.

1. 1
   Vyčistili a štruktúrovali bázu znalostí

   Prešli sme každý dokument pomocníka, zrušili zastarané a zvyšok označili podľa plánu a funkcie. To bol prvý týždeň a bol najdôležitejší.
2. 2
   Postavili vrstvu vyhľadávania

   Najprv vyhľadanie, potom odpoveď. Model vždy videl len preverený, aktuálny obsah — s pokynom odmietnuť čokoľvek, čo nevie ukotviť v zdroji.
3. 3
   Zapojili kontext produktu

   Prepojili sme asistenta s používateľovým plánom, rolou a aktuálnou obrazovkou, takže odpovede boli prispôsobené a nikdy neukazovali na funkcie, ktoré nemohli použiť.
4. 4
   Navrhli úprimnú záložnú cestu

   Cestu 'nie som si istý — tu je človek' sme postavili ako prvotriednu funkciu s plným kontextom rozhovoru odovzdaným tímu podpory.
5. 5
   Nasadili pre 10 % používateľov za prepínačom

   Potichu sme funkciu spustili časti účtov, dva týždne sledovali skutočné rozhovory, opravili, čo sa lámalo, a potom nasadenie rozšírili.

Výsledky — a ten, ktorý nás prekvapil

Keď bol asistent naostro pre všetkých asi tri mesiace, obraz bol jasný. Dáme vám zaokrúhlené, ilustratívne čísla — smer je dôležitejší než desatinné miesta.

Číslo podpory bolo to, ktoré sme sľúbili, a dodalo: o niečo viac než polovica opakujúcich sa ticketov jednoducho prestala prichádzať a dvojčlenný tím dostal späť svoj týždeň na prípady, ktoré človeka naozaj potrebovali. Dobrý výsledok, presne podľa rozsahu.

No výsledok, ktorý zakladateľa naozaj prekvapil, bol ten, na ktorý sme vôbec neoptimalizovali. Keďže asistent celý deň odpovedal na otázky "ako urobím X", prirodzene stále smeroval používateľov k tej skrytej, priľnavej funkcii — tej naviazanej na udržanie. Asistenta na aktiváciu sme ešte nepostavili. Bot na podporu potichu odvádzal časť jeho práce ako vedľajší efekt, len tým, že bol nápomocný a znalý produktu. Noví používatelia nachádzali funkciu o týždne skôr než predtým.

Čo by sme povedali ďalšiemu tímu

Ak ste SaaS tím, ktorý civí na tú istú vetu "mali by sme pridať AI asistenta", niekoľko vecí z tohto projektu sa dobre zovšeobecňuje aj mimo neho.

• Oddeľte problémy skôr, než začnete stavať. "AI chatbot" takmer vždy skrýva dve či tri odlišné úlohy, ktoré chcú iný dizajn.
• Začnite prípadom použitia, kde nesprávna odpoveď stojí najmenej. Odklonenie podpory je takmer dokonalý prvý krok; záložnou možnosťou je status quo.
• Vyhraďte väčšinu úsilia na obsah, nie na model. Ukotvenie na čistých, aktuálnych dátach je to, čo robí asistenta dôveryhodným.
• Nech je 'neviem' funkcia, nie zlyhanie. Úprimné odovzdanie buduje dôveru, vďaka ktorej sa používatelia spoľahnú na časti, ktoré bot robí dobre.
• Najprv nasaďte za prepínačom malej časti. Skutočné rozhovory vás naučia to, čo žiadna ukážka nikdy nedokáže.

Časté otázky