בינה מלאכותית מקומית לחברה ששומרת על סודיות: מקרה בוחן

יש עסקים שאינם יכולים להניח את הנתונים שלהם בענן של מישהו אחר — לא מפני שהם פרנואידים, אלא מפני שהסודיות היא המוצר שהם באמת מוכרים. זהו סיפורה של חברה כזו, וכיצד נתנו לה את המהירות של עוזר בינה מלאכותית מודרני בלי שאף קובץ לקוח יצא אי פעם מארבעת הקירות שלה. בלי ברק שיווקי. רק מה ניסינו, מה נשבר, ומה בסופו של דבר עבד.

מספר פעמים בשנה אנו מקבלים סוג מסוים של פנייה. היא נפתחת בדרך כלל במשפט כמו: «היינו שמחים להשתמש בבינה מלאכותית, אבל מבחינה חוקית איננו יכולים לשלוח את הנתונים שלנו לשום מקום.» האדם בצד השני כבר ראה עמיתים מדביקים חומר רגיש לצ'טבוט ציבורי, הרגיש את הבטן מתהפכת, ואסר בשקט על כל הקטגוריה. הם אינם מתנגדים לטכנולוגיה. הם תקועים בין הזדמנות פרודוקטיביות אמיתית לבין חובת סודיות שאינה ניתנת למשא ומתן.

מקרה בוחן זה עוסק בחברה בדיוק כזו. כדי לכבד את אותה סודיות עצמה שהגדירה את הפרויקט, הפכנו הכול לאנונימי — השם, האנשים, הפרטים הספציפיים של לקוחותיהם. המספרים הם להמחשה ומעוגלים, לא נתונים מבוקרים. אבל צורת הבעיה, והדרך שבה פתרנו אותה, היא בדיוק כפי שקרתה.

המצב: פרודוקטיביות נעולה מאחורי חומת סודיות

הלקוח היה חברת ייעוץ בינונית בתחום שבו הדיסקרטיות אינה תוספת נחמדה — היא כל הסיבה שלקוחות שוכרים אותם. חשבו על משרד שמטפל בעבודה תאגידית, משפטית או קרובה לביטחון רגישה, שבה דליפה לא רק תביך; היא תסיים את העסק. כשלושים איש, עומס תיקים רציני, והר של מסמכים ארוכים וצפופים שמישהו צריך לקרוא, לסכם ולהצליב מדי שבוע.

הצוות שלהם צפה בשאר העולם מאיץ עם עוזרי בינה מלאכותית והרגיש את הפער מתרחב. עובד זוטר יכול היה לבזבז חצי יום בשליפת נקודות מפתח מדוח בן 90 עמודים. ניסוח טיוטה ראשונה של סיכום תיק בלע שעות שאיש לא חייב עליהן. העבודה הייתה בדיוק מסוג העמל הצפוף ורווי־השפה שבו בינה מלאכותית מודרנית באמת טובה — והם לא יכלו לגעת בכלום מזה.

המחסום היה פשוט ומוחלט. הסכמי הלקוחות שלהם והמדיניות הפנימית שלהם עצמם אסרו לשלוח חומר לקוח לכל שירות של צד שלישי. לא אנונימי, לא מוצפן בעת מעבר, לא «הספק מבטיח לא להתאמן על זה». הנתונים לא הורשו לצאת מהמתחם שלהם, נקודה. כל כלי בינה מלאכותית בענן בשוק היה פסול בהגדרה, לא משנה כמה טובה נראתה מדיניות הפרטיות שלו על הנייר.

ההבחנה האחרונה הזו היא כל הפרויקט במשפט אחד. הרבה הצעות של «בינה מלאכותית פרטית» הן למעשה הענן של מישהו אחר עם חוזה מחמיר יותר. עבור הלקוח הזה, זה לא הספיק. התשובה היחידה שהתקבלה הייתה מערכת שבה הנתונים הרגישים פיזית לעולם לא נסעו — שבה ניתן, עקרונית, לנתק את כבל הרשת והעוזר עדיין יעבוד.

מדוע פתרונות הענן המובנים מאליהם לא התאימו

לפני שבנינו משהו, ביצענו בדיקת נאותות על המסלולים הקלים יותר — כי מקומי הוא יותר עבודה, ולא נמליץ עליו אם אפשרות פשוטה יותר באמת מתאימה. עבור הלקוח הזה, כל קיצור דרך נפל על אותה חומה.

הספקים הגדולים כולם מציעים רמות ארגוניות עם «איננו מתאמנים על הנתונים שלכם» ואחסון אזורי. מרגיע, ועבור עסקים רבים מספיק לחלוטין. אבל זה עדיין אומר שקבצי הלקוחות יוצאים מהבניין ויושבים, ולו לרגע, על תשתית שהחברה אינה שולטת בה. עבור משרד שחוזיו אוסרים זאת במפורש, הבטחה חזקה היא עדיין הבטחה — והבטחות לא שורדות שאלת ביקורת שמתחילה במילים «האם תוכלו להבטיח…».

פסלנו גם מופע ענן פרטי — סביבה ייעודית ומבודדת המתארחת אצל ספק. חזק יותר טכנית, ופתרון טוב לחלוטין עבור חלק מהחברות. אבל זה עדיין הניח את הנתונים על חומרה מושכרת בבניין שהלקוח לא היה בבעלותו, ושמר על תלות בספק חיצוני עבור משהו שהלקוח רצה לחלוטין תחת הגג שלו. הם היו מוכנים להקריב מעט נוחות עבור השליטה הזו. אז מקומי זה היה.

מה בנינו בפועל

הפתרון, מקולף למהותו, היה עוזר בינה מלאכותית פרטי שרץ על שרת יכולת יחיד בתוך המשרד של הלקוח עצמו. הצוות מגיע אליו דרך דף אינטרנט רגיל בדפדפן — הוא נראה ומרגיש כמו כלי הצ'אט שכולם כבר מכירים. מאחורי החלון המוכר הזה, שום דבר לעולם אינו יוצא מהרשת המקומית.

שמרנו את הארכיטקטורה משעממת בכוונה. משעמם הוא אמין, ואמינות היא מה שמערכת קריטית לפרטיות צריכה. יש שלושה חלקים נעים ששווה לתת להם שם.

מודל במשקלים פתוחים שרץ מקומית

במקום לקרוא למודל מתארח, הרצנו מודל שפה יכולת במשקלים פתוחים ישירות על ה־GPU של השרת. משקלים פתוחים חשובים כאן: קבצי המודל חיים על הדיסק של הלקוח, רצים על החומרה של הלקוח, ועונים על שאלות ללא כל נסיעה הלוך ושוב לאינטרנט. עבור עומס העבודה שלהם — סיכום, חילוץ, ניסוח, מענה על שאלות לגבי המסמכים שלהם — מודל בינוני שנבחר היטב היה יותר מטוב דיו. הם לא היו זקוקים לחזית המוחלטת; הם היו זקוקים למשהו מוכשר ופרטי.

שכבת ידע פרטית מעל הקבצים שלהם

הערך האמיתי לא היה צ'טבוט גנרי — הוא היה עוזר שיכול לענות על שאלות לגבי תיקי הלקוחות שלהם. בנינו שכבת אחזור שמאנדקסת את המסמכים שלהם מקומית, כך שכשמישהו שואל «למה הגענו לגבי X בעניין מולר», המערכת מוצאת את הקטעים הרלוונטיים ועונה מהם. אינדקס זה, כמו כל השאר, יושב לחלוטין על המכונה המקומית. שום מסמך, ואף לא חלק ממנו, אינו מועלה לעולם לשום מקום.

בקרת גישה שהתאימה לכללים הקיימים שלהם

לחברה כזו כבר יש כללים נוקשים לגבי מי יכול לראות אילו קבצים. העוזר היה צריך לכבד אותם, לא לעקוף אותם. אז הגישה שיקפה את ההרשאות הקיימות שלהם: אתם יכולים לשאול את הבינה המלאכותית רק על חומר שכבר מותר לכם לפתוח. זה נשמע מובן מאליו, אבל זה החלק שהופך הדגמה חכמה למשהו שקצין ציות באמת יאשר.

כיצד פרסנו את זה בלי לשבש את העבודה

חברה ששומרת על סודיות, באופן מובן, זהירה לגבי מערכות חדשות. לא התכוונו לזכות באמון בכך שנעביר מתג ונכריז על ניצחון. אז ניהלנו את הפרויקט כסדרה של צעדים קטנים והפיכים, כל אחד ניתן להוכחה לפני שהבא התחיל.

1. 1
   תחילה תחמנו משימה כואבת אחת

   לא ניסינו 'להוסיף בינה מלאכותית לחברה.' בחרנו עבודה בנפח גבוה אחת — סיכום מסמכים נכנסים ארוכים — ובנינו עבורה. יעד ברור אחד, קל לשפוט כהצלחה או ככישלון.
2. 2
   בנינו על מכונת בדיקה עם נתונים פיקטיביים

   הכול הוקם תחילה על מכונה מבודדת עם מסמכים בדויים, כך שאף נתון לקוח אמיתי לא היה מעורב עד שהמערכת הוכחה ומודל האבטחה נבדק.
3. 3
   הרצנו פיילוט סגור עם כמה משתמשי־על

   קומץ עובדים בכירים השתמשו בו על עבודה אמיתית במשך מספר שבועות, לצד התהליך הרגיל שלהם. הם מצאו את הקצוות המחוספסים — ניסוחים מוזרים, כמה מסמכים שהאינדקס טיפל בהם גרוע — ואנחנו תיקנו אותם.
4. 4
   בדקנו את זה מול המדיניות שלהם עצמם

   לפני כל פריסה רחבה יותר, אחראי הציות שלהם ביקר בדיוק היכן הנתונים חיים ונעים. מכיוון שהתשובה הייתה 'בשום מקום מלבד כאן', הביקורת הזו הייתה קצרה — וזו הייתה כל מטרת התכנון.
5. 5
   פתחנו את זה לצוות עם מדריך בן עמוד אחד

   רק כאשר בטחו בו, פרסנו אותו בכל החברה, עם הערה בשפה פשוטה על מה הוא טוב בו, מה לא, והתזכורת שהוא לעולם לא ממציא — הוא מצטט.

התוצאה: שעות בחזרה, ושום דבר לא יצא מהבניין

תוך חודשיים מהפריסה המלאה, העוזר הפך בשקט לחלק מהשגרה היומית. התוצאה המרכזית הייתה זו שהכי היה אכפת להם ממנה: אף בייט של נתוני לקוח לא יצא לעולם מהמתחם שלהם, והם יכלו להוכיח זאת לכל מי ששאל. המערכת רצה על השרת שלהם, במשרד שלהם, בשליטתם. כבר זה לבדו הצדיק את הפרויקט עבורם.

צד הפרודוקטיביות היה הבונוס שהפך את זה למשתלם. הטיוטה הראשונה של סיכום מסמך ארוך — בעבר עבודה של שעות רבות עבור עובד זוטר — ירדה לדקות של סקירה ועריכה. העובדים הפסיקו לקרוא מחדש קבצים שלמים כדי לענות על שאלה עובדתית אחת; הם שאלו את העוזר, קיבלו קטע מצוטט, ואימתו אותו בשניות. ברחבי הצוות, הזמן שהתפנה הצטבר לחלק משמעותי מכל שבוע, מנותב מהטחינה על מסמכים לניתוח בעל ערך גבוה יותר שלקוחות באמת משלמים עליו.

מובהק לא פחות היה שינוי עדין יותר. אנשים שהיו לחוצים בשקט מבינה מלאכותית — חוששים שהיא דליפה שממתינה לקרות — הפכו נוחים להשתמש בה, בדיוק מפני שהבינו מדוע היא בטוחה. האמון לא הגיע מכך שאנחנו הרגענו אותם. הוא הגיע מארכיטקטורה שהם יכלו להסביר ללקוח במשפט אחד: היא לעולם לא יוצאת מהבניין.

כמה זה עלה, בכנות

בינה מלאכותית מקומית אינה האפשרות הזולה, והיינו עושים לכם עוול אם היינו מעמידים פנים אחרת. יש שרת אמיתי עם GPU אמיתי לקנות, פרויקט הקמה לממן, ותחזוקה שוטפת לתקצב — עדכוני אבטחה, עדכוני מודל, כוונון מדי פעם. עבור חברה שהסודיות שלה חוזית, העלות הזו קלה להצדקה. עבור חברה שרק אוהבת את רעיון הפרטיות, לעתים קרובות היא לא, ואנחנו נאמר זאת.

הפשרה הכנה נראית כך: עלות התחלתית גבוהה יותר וקצת יותר אחריות בתמורה לשליטה מלאה וללא עמלות ענן לכל הודעה שמתרחבות עם השימוש. עבור צוות עם שימוש כבד המטפל בחומר רגיש, הכלכלה למעשה משתפרת עם הזמן — קניתם את הקיבולת במקום לשכור אותה לכל שאילתה. עבור שימוש קל או מזדמן, כלי ענן היה כמעט בוודאות זול יותר. לדעת באיזה צד של הקו הזה אתם נמצאים הוא רוב ההחלטה.

• שרת יכולת עם GPU מתאים — רכישת הון חד־פעמית, לא מנוי.
• פרויקט הקמה: התקנה וכוונון של המודל, בניית אינדקס המסמכים, חיווט בקרת הגישה.
• תחזוקה שוטפת: עדכוני אבטחה, עדכוני מודל, כוונון מחדש מדי פעם ככל שהצרכים משתנים.
• בעלות פנימית: אדם ממונה אחד ששומר עליו עין, בדיוק כפי שהייתם מפעילים כל מערכת ליבה.
• אין חשבון ענן לכל שאילתה — שימוש שהיה נעשה יקר בענן הוא בעצם חינם ברגע שהחומרה שולמה.

האם זה יתאים לעסק שלכם?

זה לא היה מקרה חד־פעמי. אותו דפוס מתאים לכל חברה שבה רגישות הנתונים היא המגבלה ולא התקציב: משרדי עורכי דין, נותני שירותים רפואיים וקרובים לבריאות, עבודה קרובה לביטחון ולהגנה, יועצים פיננסיים, צוותי מו"פ שיושבים על סודות מסחריים. אם מצאתם את עצמכם רוצים בעזרת הבינה המלאכותית אך נרתעים מהמחשבה לאן ילכו הנתונים, אתם הקהל שעבורו נבנתה הגישה הזו.

באותה מידה, אם הנתונים שלכם אינם רגישים במיוחד והייתם רק משלמים תוספת עבור תחושה, נפנה אתכם לאפשרות ענן טובה ונחסוך לכם את ההוצאה. התשובה הנכונה תלויה כולה בחובות שלכם, לא באיזו טכנולוגיה נשמעת מרשימה יותר. הצעד הראשון המועיל ביותר אינו בחירת מודל — הוא להיות כנים לגבי מה שחובות הסודיות שלכם באמת דורשות.

שאלות נפוצות