Πώς προσθέσαμε έναν βοηθό AI σε μια πλατφόρμα SaaS — χωρίς να τη χαλάσουμε

Κάθε ομάδα SaaS με την οποία μιλάμε, αργά ή γρήγορα λέει φωναχτά την ίδια πρόταση: «Πρέπει να βάλουμε εδώ έναν βοηθό AI.» Άλλοτε είναι πίεση από το διοικητικό συμβούλιο, άλλοτε το λανσάρισμα ενός ανταγωνιστή, άλλοτε είναι γνήσια ανάγκη. Το ενδιαφέρον δεν είναι ποτέ η ίδια η ιδέα — αυτήν την έχουν σχεδόν όλοι. Το ενδιαφέρον είναι το χάσμα ανάμεσα σε αυτή την πρόταση και σε μια λειτουργία στην οποία πραγματικοί χρήστες πραγματικά στηρίζονται. Αυτή είναι η ιστορία μιας ομάδας που το διέσχισε, και των αδιάφορων αποφάσεων που την έφεραν εκεί.

Μια γρήγορη σημείωση πριν ξεκινήσουμε: έχουμε ανωνυμοποιήσει τον πελάτη και στρογγυλοποιήσει τους αριθμούς. Πρόκειται για μια μικρή, κερδοφόρα εταιρεία B2B SaaS — κάτω από είκοσι άτομα — που πουλά ένα εργαλείο ροής εργασιών σε ομάδες λειτουργιών. Έχουμε αλλάξει αρκετές λεπτομέρειες ώστε να μην τους αναγνωρίσετε, αλλά το σχήμα του έργου είναι ακριβώς όπως συνέβη. Οι αριθμοί είναι ενδεικτικοί, όχι ελεγμένοι· προτιμούμε να σας δείξουμε το μοτίβο παρά να στολίσουμε ένα γράφημα.

Το καταγράφουμε γιατί το έργο είναι ένα σχεδόν τέλειο παράδειγμα του πώς εξελίσσονται πραγματικά αυτά τα πράγματα. Δεν πήγε όπως έλεγε η αρχική παρουσίαση εκκίνησης. Πήγε καλύτερα — αλλά μόνο επειδή ήμασταν πρόθυμοι να διαγράψουμε την πρώτη έκδοση.

Η κατάσταση: δύο προβλήματα με ένα κοστούμι

Όταν ο ιδρυτής επικοινώνησε πρώτη φορά, το αίτημα ήταν απλό: «Θέλουμε ένα AI chatbot στην εφαρμογή.» Από εκεί ξεκινούν τα περισσότερα έργα, και εκεί επίσης πάνε αθόρυβα στραβά τα περισσότερα. Το «AI chatbot» δεν είναι στόχος, είναι σχήμα. Έτσι η πρώτη μας δουλειά ήταν να καταλάβουμε ποιο πρόβλημα υποτίθεται ότι θα έλυνε το chatbot — και αν ήταν καν ένα πρόβλημα.

Δεν ήταν. Κάτω από αυτό το ένα αίτημα κρύβονταν δύο εντελώς διαφορετικοί πόνοι. Ο πρώτος ήταν το φορτίο υποστήριξης: μια διμελής ομάδα επιτυχίας πελατών πνιγόταν σε επαναλαμβανόμενα αιτήματα — «πώς εξάγω αυτό», «πού είναι η ρύθμιση για εκείνο», «γιατί δεν έτρεξε η αναφορά μου». Περίπου το 60% των εισερχόμενων αιτημάτων ήταν ερωτήσεις που ήδη απαντούσαν κάπου στα έγγραφα βοήθειάς τους. Ο δεύτερος πόνος ήταν πιο σιωπηλός και πιο ακριβός: η ενεργοποίηση. Το προϊόν τους είχε μια πραγματικά ισχυρή λειτουργία θαμμένη τρία κλικ βαθιά, την οποία σχεδόν κανείς δεν ανακάλυπτε μόνος του. Όσοι τη βρήκαν έμεναν για χρόνια. Όσοι δεν τη βρήκαν έφευγαν μέσα στους πρώτους δύο μήνες.

Ίδιο κοστούμι, δύο προβλήματα. Και τραβούσαν προς διαφορετικές κατευθύνσεις. Ένα bot υποστήριξης θέλει να αποτρέπει ερωτήσεις και να παραμερίζεται. Ένας βοηθός ενεργοποίησης θέλει να ξεκινά συζητήσεις και να σπρώχνει τους ανθρώπους προς πράγματα που δεν ζήτησαν. Αν είχαμε φτιάξει «ένα AI chatbot» χωρίς να τα διαχωρίσουμε, θα είχαμε φτιάξει κάτι που έκανε και τις δύο δουλειές άσχημα.

Περιορισμός σε κάτι που μπορούσαμε να ολοκληρώσουμε

Μπροστά σε δύο προβλήματα, ο πειρασμός είναι να φτιάξεις έναν μεγαλεπήβολο βοηθό που τα χειρίζεται και τα δύο από την πρώτη μέρα. Πείσαμε την ομάδα να μην το κάνει. Όχι επειδή το όραμα ήταν λάθος, αλλά επειδή ένας «βοηθός για όλα» έξι μηνών είναι ακριβώς το είδος έργου που παραδίδεται καθυστερημένα, πέφτει στο κενό και κάνει τους πάντες νευρικούς με την AI για τα επόμενα δύο χρόνια.

Έτσι διαλέξαμε ένα. Επιλέξαμε πρώτα την αποτροπή υποστήριξης, για τρεις βαρετούς αλλά καθοριστικούς λόγους. Είχε ξεκάθαρο, μετρήσιμο στόχο — τον όγκο αιτημάτων. Χρησιμοποιούσε περιεχόμενο που υπήρχε ήδη — τα έγγραφα βοήθειάς τους και τα παλιά αιτήματα. Και αν υποαπέδιδε, το μειονέκτημα ήταν μικρό: ένας χρήστης που δεν έπαιρνε καλή απάντηση απλώς έκανε ό,τι έκανε ήδη και άνοιγε ένα αίτημα. Χαμηλό ρίσκο, γρήγορη ανατροφοδότηση, ειλικρινής μετρική. Αυτή είναι μια καλή πρώτη λειτουργία AI, κάθε φορά.

Ο βοηθός ενεργοποίησης δεν εξαφανίστηκε — τον παρκάραμε στο χαρτί, με μια ξεκάθαρη σημείωση: φάση δύο, μόλις αποδειχθεί το επίπεδο ανάκτησης. Αυτή η μία απόφαση πιθανότατα έσωσε το έργο. Έδωσε στην ομάδα μια γραμμή τερματισμού που μπορούσε πραγματικά να φτάσει σε εβδομάδες αντί για τρίμηνα.

Το πρώτο πρωτότυπο που φτιάξαμε — και διαγράψαμε

Εδώ είναι το μέρος που τα περισσότερα case studies παραλείπουν. Το πρώτο μας λειτουργικό πρωτότυπο ήταν, για να το πούμε ευγενικά, όχι καλό. Κάναμε το προφανές: συνδέσαμε τα άρθρα βοήθειας του προϊόντος με ένα μεγάλο γλωσσικό μοντέλο, προσθέσαμε ένα πλαίσιο συνομιλίας και αφήσαμε τους χρήστες να ρωτούν. Στο demo φαινόταν μαγικό. Στις πραγματικές δοκιμές κατέρρευσε με έναν πολύ συγκεκριμένο και πολύ διδακτικό τρόπο.

Το μοντέλο ήταν με αυτοπεποίθηση λάθος. Ρωτημένο για μια ρύθμιση που είχε μετονομαστεί έξι μήνες νωρίτερα, εφηύρε χαρωπά το παλιό μονοπάτι του μενού. Ρωτημένο για μια λειτουργία σε υψηλότερο πακέτο, εξήγησε πώς να τη χρησιμοποιήσεις — σε έναν πελάτη που δεν είχε πρόσβαση σε αυτήν. Κάθε απάντηση ακουγόταν αυθεντική, κάτι που έκανε τις λάθος χειρότερες από καμία απάντηση. Ένα bot υποστήριξης που λέει ευγενικά ψέματα δεν μειώνει τα αιτήματα· δημιουργεί πιο θυμωμένα.

Θα μπορούσαμε να το μπαλώσουμε με τσιμπήματα στα prompts. Αντ' αυτού κάναμε κάτι που έμοιαζε με βήμα πίσω και αποδείχθηκε όλο το παιχνίδι: πετάξαμε το πρώτο πρωτότυπο και το ξαναχτίσαμε γύρω από έναν αυστηρό κανόνα — ο βοηθός επιτρέπεται να απαντά μόνο από πηγές που μπορεί να παραθέσει, και αλλιώς πρέπει να λέει «δεν ξέρω».

Τι φτιάξαμε στην πραγματικότητα

Η έκδοση που κυκλοφόρησε ήταν σκόπιμα μετριοπαθής σε αυτό που επιχειρούσε και αυστηρή στο πώς συμπεριφερόταν. Κάτω από το καπό ήταν ένας βοηθός θεμελιωμένος στην ανάκτηση: όταν ένας χρήστης ρωτούσε κάτι, το σύστημα πρώτα έψαχνε μια επιμελημένη, ενημερωμένη βάση γνώσης, και μετά ζητούσε από το μοντέλο να απαντήσει μόνο από ό,τι βρήκε, με σύνδεσμο πίσω στην πηγή. Καμία πηγή, καμία αυτοπεποίθηση απάντηση — μόνο μια καθαρή παράδοση σε άνθρωπο.

Τρεις σχεδιαστικές επιλογές έκαναν το μεγαλύτερο μέρος της βαριάς δουλειάς, και καμία τους δεν είναι συναρπαστική. Αυτό είναι το θέμα — οι βαρετές επιλογές είναι συνήθως εκείνες που κρίνουν αν μια λειτουργία AI θα εμπιστευθεί ή θα σβήσει αθόρυβα.

Θεμελίωση αντί για εξυπνάδα

Κάθε απάντηση ήταν δεμένη με ένα πραγματικό, τρέχον έγγραφο. Ξοδέψαμε περισσότερο χρόνο καθαρίζοντας και δομώντας τη βάση γνώσης παρά ρυθμίζοντας το μοντέλο. Αδιάφορη, και μακράν η πιο αποδοτική δουλειά του έργου. Ένα μέτριο μοντέλο πάνω σε εξαιρετικό, καλά συντηρημένο περιεχόμενο νικά ένα λαμπρό μοντέλο πάνω σε ένα ξεπερασμένο χάος.

Μια κομψή παράδοση

Όταν ο βοηθός δεν ήταν σίγουρος, δεν μάντευε. Το έλεγε και πρόσφερε μια διαδρομή ενός κλικ προς έναν άνθρωπο — μεταφέροντας μαζί το πλαίσιο της συζήτησης, ώστε ο χρήστης να μη χρειάζεται ποτέ να επαναλάβει τον εαυτό του. Αντίθετα με τη διαίσθηση, αυτό έκανε τους ανθρώπους να εμπιστεύονται το bot περισσότερο: ένας βοηθός που παραδέχεται τα όριά του νιώθει ειλικρινής, και στηρίζονταν σε αυτόν για το εύκολο 60% ακριβώς επειδή παραμεριζόταν στο δύσκολο 40%.

Ξέρει ποιος ρωτά

Επειδή ζούσε μέσα στο προϊόν, ο βοηθός ήξερε το πακέτο του χρήστη, τον ρόλο του και πού βρισκόταν στην εφαρμογή. Έτσι δεν εξηγούσε ποτέ μια λειτουργία στην οποία δεν είχε πρόσβαση, και μπορούσε να πει «το κουμπί που ψάχνετε είναι στην οθόνη στην οποία ήδη βρίσκεστε.» Αυτή η επίγνωση του προϊόντος είναι το πραγματικό πλεονέκτημα ενός ενσωματωμένου βοηθού έναντι ενός γενικού chatbot βιδωμένου σε μια σελίδα μάρκετινγκ.

1. 1
   Καθαρίσαμε και δομήσαμε τη βάση γνώσης

   Ελέγξαμε κάθε έγγραφο βοήθειας, καταργήσαμε τα ξεπερασμένα και ετικετάραμε τα υπόλοιπα ανά πακέτο και λειτουργία. Ήταν η πρώτη εβδομάδα, και ήταν η πιο σημαντική εβδομάδα.
2. 2
   Χτίσαμε το επίπεδο ανάκτησης

   Πρώτα αναζήτηση, μετά απάντηση. Το μοντέλο έβλεπε μόνο ελεγμένο, τρέχον περιεχόμενο — και είχε οδηγία να αρνηθεί οτιδήποτε δεν μπορούσε να θεμελιώσει σε μια πηγή.
3. 3
   Συνδέσαμε το πλαίσιο του προϊόντος

   Συνδέσαμε τον βοηθό με το πακέτο, τον ρόλο και την τρέχουσα οθόνη του χρήστη, ώστε οι απαντήσεις να είναι προσαρμοσμένες και να μη δείχνουν ποτέ σε λειτουργίες που δεν μπορούσε να χρησιμοποιήσει.
4. 4
   Σχεδιάσαμε την ειλικρινή εναλλακτική

   Χτίσαμε τη διαδρομή «δεν είμαι σίγουρος — ορίστε ένας άνθρωπος» ως πρωτεύουσα λειτουργία, με ολόκληρο το πλαίσιο της συζήτησης να παραδίδεται στην ομάδα υποστήριξης.
5. 5
   Κυκλοφορήσαμε στο 10% των χρηστών πίσω από μια σημαία

   Το βγάλαμε αθόρυβα σε ένα κομμάτι των λογαριασμών, παρακολουθήσαμε πραγματικές συνομιλίες για δύο εβδομάδες, διορθώσαμε ό,τι χάλασε και μετά διευρύναμε την κυκλοφορία.

Τα αποτελέσματα — και αυτό που μας εξέπληξε

Αφού ο βοηθός ήταν ζωντανός για όλους περίπου τρεις μήνες, η εικόνα ήταν ξεκάθαρη. Θα σας δώσουμε στρογγυλοποιημένα, ενδεικτικά νούμερα — η κατεύθυνση μετράει περισσότερο από τα δεκαδικά.

Ο αριθμός υποστήριξης ήταν αυτός που είχαμε υποσχεθεί, και τον πέτυχε: λίγο πάνω από τα μισά επαναλαμβανόμενα αιτήματα απλώς σταμάτησαν να έρχονται, και η διμελής ομάδα πήρε πίσω την εβδομάδα της για να χειριστεί τις υποθέσεις που πραγματικά χρειάζονταν άνθρωπο. Καλό αποτέλεσμα, ακριβώς όπως οριοθετήθηκε.

Αλλά το αποτέλεσμα που πραγματικά εξέπληξε τον ιδρυτή ήταν ένα για το οποίο δεν είχαμε βελτιστοποιήσει καθόλου. Επειδή ο βοηθός απαντούσε σε ερωτήσεις «πώς κάνω το Χ» όλη μέρα, φυσικά έδειχνε συνεχώς τους χρήστες προς εκείνη τη θαμμένη, «κολλητική» λειτουργία — αυτή που συνδεόταν με τη διατήρηση. Δεν είχαμε φτιάξει ακόμα τον βοηθό ενεργοποίησης. Το bot υποστήριξης έκανε αθόρυβα ένα κομμάτι της δουλειάς του ως παρενέργεια, απλώς με το να είναι χρήσιμο και να ξέρει το προϊόν. Οι νέοι χρήστες έβρισκαν τη λειτουργία εβδομάδες νωρίτερα από πριν.

Τι θα λέγαμε στην επόμενη ομάδα

Αν είστε ομάδα SaaS που κοιτάζει την ίδια πρόταση «πρέπει να προσθέσουμε έναν βοηθό AI», μερικά πράγματα από αυτό το έργο γενικεύονται καλά πολύ πέρα από αυτό.

• Διαχωρίστε τα προβλήματα πριν χτίσετε. Το «AI chatbot» σχεδόν πάντα κρύβει δύο ή τρεις διακριτές δουλειές που θέλουν διαφορετικό σχεδιασμό.
• Ξεκινήστε από την περίπτωση όπου μια λάθος απάντηση κοστίζει το λιγότερο. Η αποτροπή υποστήριξης είναι μια σχεδόν τέλεια πρώτη κίνηση· η εναλλακτική είναι το status quo.
• Προϋπολογίστε το μεγαλύτερο μέρος της προσπάθειάς σας για το περιεχόμενο, όχι το μοντέλο. Η θεμελίωση σε καθαρά, τρέχοντα δεδομένα είναι αυτό που κάνει έναν βοηθό αξιόπιστο.
• Κάντε το «δεν ξέρω» λειτουργία, όχι αποτυχία. Μια ειλικρινής παράδοση χτίζει την εμπιστοσύνη που κάνει τους χρήστες να στηρίζονται στα κομμάτια που το bot κάνει καλά.
• Κυκλοφορήστε πρώτα πίσω από μια σημαία σε ένα μικρό κομμάτι. Οι πραγματικές συνομιλίες θα σας μάθουν πράγματα που κανένα demo δεν θα μπορέσει ποτέ.

Συχνές ερωτήσεις