프라이버시를 최우선하는 기업을 위한 온프레미스 AI: 사례 연구

어떤 기업은 자사 데이터를 남의 클라우드에 둘 수 없습니다. 편집증적이어서가 아니라, 기밀 유지 그 자체가 그들이 파는 상품이기 때문입니다. 이것은 바로 그런 한 회사의 이야기이며, 고객 파일을 단 한 건도 사옥 밖으로 내보내지 않으면서 최신 AI 어시스턴트의 속도를 안겨준 기록입니다. 과장된 마케팅은 없습니다. 우리가 시도한 것, 무너진 것, 그리고 마침내 통한 것만을 이야기합니다.

우리는 해마다 몇 차례, 특정한 종류의 문의를 받습니다. 대개 이런 문장으로 시작합니다. “AI를 쓰고 싶지만, 법적으로 데이터를 어디로도 보낼 수 없습니다.” 연락한 분은 이미 동료가 민감한 자료를 공개 챗봇에 붙여넣는 것을 지켜보며 가슴이 철렁했고, 그 분야 전체를 조용히 금지한 경험이 있습니다. 그들은 기술을 반대하지 않습니다. 현실적인 생산성 기회와, 타협할 수 없는 기밀 유지 의무 사이에 갇혀 있을 뿐입니다.

이 사례 연구는 바로 그런 회사에 관한 것입니다. 이 프로젝트를 규정했던 그 기밀 유지를 존중하기 위해, 우리는 회사명, 인물, 고객의 세부 사항 등 모든 것을 익명화했습니다. 수치는 예시적이며 반올림한 것으로, 감사받은 실제 수치가 아닙니다. 그러나 문제의 형태와 우리가 해결한 방식은 실제로 일어난 그대로입니다.

상황: 기밀 유지의 벽 뒤에 갇힌 생산성

고객은 신중함이 ‘있으면 좋은’ 것이 아니라 고객이 그들을 고용하는 이유 그 자체인 분야의 중견 자문 회사였습니다. 민감한 기업 법무나 보안 인접 업무를 다루는 사무소를 떠올려 보십시오. 정보 유출은 단순한 망신이 아니라 사업의 끝을 의미합니다. 약 30명의 인원, 만만찮은 사건 부담, 그리고 누군가가 매주 읽고 요약하고 상호 참조해야 하는 길고 빽빽한 문서의 산이 있습니다.

그들의 팀은 세상의 나머지가 AI 어시스턴트로 속도를 내는 것을 지켜보며 격차가 벌어지는 것을 느꼈습니다. 신입이 90페이지짜리 보고서에서 핵심을 뽑아내는 데 반나절을 쓰기도 했습니다. 사건 파일의 초안 요약을 작성하는 일은 아무도 청구하지 못하는 몇 시간을 삼켰습니다. 그 일은 바로 최신 AI가 정말로 잘하는, 빽빽하고 언어 처리가 많은 고된 작업이었습니다. 그런데도 그들은 그 어느 것에도 손댈 수 없었습니다.

걸림돌은 단순하고 절대적이었습니다. 고객 계약과 자사 내부 규정이 고객 자료를 제3자 서비스로 보내는 것을 금지했습니다. 익명화해도, 전송 구간을 암호화해도, ‘학습에 쓰지 않겠다고 공급업체가 약속’해도 안 됩니다. 데이터는 사옥을 벗어날 수 없었습니다, 그게 전부입니다. 시장에 나온 모든 클라우드 AI 도구는 프라이버시 정책이 서류상 아무리 훌륭해 보여도 정의상 선택지에서 제외되었습니다.

이 마지막 구분이 프로젝트 전체를 한 문장으로 담고 있습니다. 많은 ‘프라이빗 AI’ 상품은 사실 더 엄격한 계약이 붙은 남의 클라우드일 뿐입니다. 이 고객에게는 그것으로 충분하지 않았습니다. 받아들일 수 있는 유일한 답은, 민감한 데이터가 물리적으로 단 한 번도 이동하지 않는 시스템이었습니다. 원리상 네트워크 케이블을 뽑아도 어시스턴트가 여전히 작동하는 구조 말입니다.

왜 뻔한 클라우드 답이 맞지 않았는가

무언가를 구축하기 전에, 우리는 더 쉬운 길들을 충분히 검토했습니다. 온프레미스는 손이 더 가기에, 더 단순한 선택지가 진짜로 맞는다면 우리는 그것을 권하지 않습니다. 그러나 이 고객의 경우, 모든 지름길이 같은 벽 앞에서 무너졌습니다.

대형 공급업체는 모두 ‘고객 데이터로 학습하지 않는다’는 조항과 지역 내 호스팅을 갖춘 엔터프라이즈 등급을 제공합니다. 안심되고, 많은 기업에게는 전적으로 충분합니다. 그러나 그래도 고객 파일은 사옥을 벗어나, 아무리 짧은 순간일지라도, 사무소가 통제하지 않는 인프라 위에 놓입니다. 그것을 계약으로 명시적으로 금지한 사무소에게는, 강력한 약속도 여전히 약속일 뿐입니다. “보장할 수 있습니까…”로 시작하는 감사 질문 앞에서 약속은 버티지 못합니다.

프라이빗 클라우드 인스턴스, 즉 공급업체가 호스팅하는 전용 격리 환경도 검토에서 제외했습니다. 기술적으로는 더 견고하고, 일부 사무소에는 더할 나위 없이 맞습니다. 그러나 그래도 데이터는 고객이 소유하지 않은 건물 안 임대 하드웨어 위에 놓이고, 자사의 지붕 아래에서 온전히 완결하고 싶었던 일에 대해 외부 공급업체에 대한 의존이 남습니다. 그들은 그 통제권을 위해 얼마간의 편리함을 기꺼이 내놓을 각오였습니다. 그래서 온프레미스로 정해졌습니다.

우리가 실제로 구축한 것

해결책을 본질까지 덜어내면, 고객 자신의 사무실 안에 있는 한 대의 고성능 서버 위에서 돌아가는 프라이빗 AI 어시스턴트였습니다. 팀은 브라우저의 평범한 웹페이지를 통해 접속합니다. 이미 모두가 아는 채팅 도구처럼 보이고 그렇게 느껴집니다. 그 익숙한 창 뒤에서는 아무것도 로컬 네트워크를 벗어나지 않습니다.

우리는 의도적으로 아키텍처를 지루하게 유지했습니다. 지루함은 신뢰할 수 있다는 뜻이며, 프라이버시가 중요한 시스템에 필요한 것은 신뢰성입니다. 이름을 붙일 만한 움직이는 부품은 셋이었습니다.

로컬에서 돌아가는 오픈 웨이트 모델

호스팅된 모델을 호출하는 대신, 우리는 고성능 오픈 웨이트 언어 모델을 서버의 GPU 위에서 직접 돌렸습니다. 여기서 오픈 웨이트라는 점이 중요합니다. 모델 파일은 고객의 디스크에 놓이고, 고객의 하드웨어에서 작동하며, 인터넷 왕복 없이 질문에 답합니다. 그들의 업무, 즉 요약, 추출, 초안 작성, 자사 문서에 대한 질문 답변에는 잘 고른 중형 모델로 차고 넘쳤습니다. 그들에게 필요한 것은 최전선이 아니라, 유능하고 프라이빗한 것이었습니다.

자사 파일 위에 쌓은 프라이빗 지식 계층

진짜 가치는 범용 챗봇이 아니라, 자사의 사건 파일에 대해 질문에 답할 수 있는 어시스턴트였습니다. 우리는 그들의 문서를 로컬에서 색인하는 검색 계층을 구축했습니다. 그래서 누군가 “뮐러 건에서 X에 대해 우리가 어떻게 결론지었지”라고 물으면, 시스템은 관련 대목을 찾아 거기에서 답합니다. 그 색인도, 다른 모든 것과 마찬가지로, 전적으로 로컬 머신에 있습니다. 어떤 문서도, 그 조각 하나도, 어디로도 업로드되지 않습니다.

기존 규칙에 맞춘 접근 통제

이런 사무소에는 누가 어떤 파일을 볼 수 있는지에 대한 엄격한 규칙이 이미 있습니다. 어시스턴트는 그것을 우회하지 않고 존중해야 했습니다. 그래서 접근 권한은 기존 권한을 그대로 반영했습니다. 여러분은 이미 열어볼 수 있는 자료에 대해서만 AI에 물을 수 있습니다. 당연하게 들리지만, 이것이야말로 기발한 데모를, 컴플라이언스 책임자가 실제로 승인할 무언가로 바꾸는 부분입니다.

업무를 방해하지 않고 도입한 방법

프라이버시를 최우선하는 사무소가 새 시스템에 신중한 것은 당연합니다. 스위치를 켜고 승리를 선언한다고 신뢰를 얻을 수는 없었습니다. 그래서 우리는 프로젝트를 작고 되돌릴 수 있는 일련의 단계로 진행했고, 각 단계는 다음으로 넘어가기 전에 증명될 수 있게 했습니다.

1. 1
   먼저 하나의 골치 아픈 작업으로 좁혔다

   ‘사무소에 AI를 도입한다’를 목표로 삼지 않았습니다. 길게 들어오는 문서를 요약하는, 물량이 많은 한 가지 일을 골라 그것을 위해 구축했습니다. 명확한 하나의 표적은 성공인지 실패인지 판단하기 쉽습니다.
2. 2
   더미 데이터로 테스트 장비 위에 구축했다

   모든 것은 우선 가공의 문서를 써서 격리된 장비 위에 세웠습니다. 그래서 시스템이 입증되고 보안 모델이 검토될 때까지 실제 고객 데이터는 전혀 관여하지 않았습니다.
3. 3
   소수의 파워 유저로 비공개 파일럿을 돌렸다

   몇 명의 고참 직원이 평소 절차와 나란히, 실제 업무에서 몇 주간 이것을 썼습니다. 그들은 거친 부분, 즉 어색한 표현과 색인이 잘 다루지 못한 몇몇 문서를 찾아냈고, 우리가 고쳤습니다.
4. 4
   자사 규정에 비추어 검토했다

   더 넓은 도입에 앞서, 그들의 컴플라이언스 책임자가 데이터가 정확히 어디에 있고 어디로 움직이는지 감사했습니다. 답이 ‘여기 말고는 어디에도 없다’였기에 그 검토는 짧게 끝났습니다. 그것이 바로 설계의 목표였습니다.
5. 5
   한 장짜리 안내와 함께 팀에 개방했다

   신뢰를 얻고 나서야 사무소 전체에 도입했습니다. 잘하는 것, 못하는 것, 그리고 결코 지어내지 않고 반드시 출처를 밝힌다는 당부를 쉬운 말로 정리한 안내를 곁들여서.

결과: 되찾은 시간, 그리고 사옥을 벗어나지 않은 모든 것

전면 도입 후 두어 달 만에, 어시스턴트는 조용히 일상의 일부가 되었습니다. 대표적인 성과는 그들이 가장 중시하던 것이었습니다. 고객 데이터가 단 1바이트도 사옥을 벗어나지 않았다는 것, 그리고 그것을 묻는 누구에게든 증명할 수 있었다는 것입니다. 시스템은 그들의 서버 위에서, 그들의 사무실에서, 그들의 통제 아래 돌아갑니다. 그것만으로도 그들에게 프로젝트는 정당화되었습니다.

생산성 측면은 투자를 회수시켜 준 덤이었습니다. 긴 문서의 초안 요약은, 예전에는 신입에게 몇 시간짜리 일이었지만, 검토하고 다듬는 몇 분으로 줄었습니다. 직원들은 하나의 사실 질문에 답하려고 파일 전체를 다시 읽는 것을 그만두고, 어시스턴트에 물어 출처가 달린 대목을 얻고 몇 초 만에 확인했습니다. 팀 전체에서 확보된 시간은 매주의 상당 부분으로 쌓였고, 문서를 갈아 넘기는 일에서 고객이 실제로 대가를 치르는 더 높은 가치의 분석으로 돌려졌습니다.

그만큼 시사적이었던 것은 더 잔잔한 변화였습니다. AI에 조용히 불안해하던 사람들, 유출이 일어나기만을 기다리는 것이라 걱정하던 사람들이 편하게 쓰게 되었습니다. 그것은 바로 왜 안전한지를 그들이 이해했기 때문입니다. 신뢰는 우리가 안심시킨 데서 나온 것이 아닙니다. 고객에게 한 문장으로 설명할 수 있는 아키텍처에서 나왔습니다. ‘결코 사옥을 벗어나지 않습니다’라고.

솔직히 말하는 비용

온프레미스 AI는 저렴한 선택지가 아니며, 그렇지 않은 척하는 것은 여러분께 도리가 아닐 것입니다. 진짜 GPU를 얹은 진짜 서버를 사야 하고, 구축 프로젝트에 자금을 대야 하며, 지속적인 유지보수, 즉 패치, 모델 업데이트, 이따금의 조정을 예산에 넣어야 합니다. 기밀 유지가 계약상의 것인 사무소에게 그 비용은 정당화하기 쉽습니다. 단지 프라이버시라는 발상을 마음에 들어할 뿐인 사무소에게는 흔히 그렇지 않으며, 우리는 그렇게 말씀드립니다.

솔직한 맞교환은 이렇습니다. 온전한 통제권과, 사용량에 따라 불어나는 메시지당 클라우드 요금이 없는 것과 맞바꾸어, 초기 비용이 더 높고 책임도 조금 늘어납니다. 민감한 자료를 다루는 사용량 많은 팀에게는 채산성이 시간이 갈수록 오히려 좋아집니다. 질의마다 빌리는 대신 처리 용량을 사두었기 때문입니다. 가볍거나 이따금의 사용이라면, 클라우드 도구가 거의 확실히 더 쌉니다. 자신이 그 선의 어느 쪽에 있는지 아는 것이 결정의 대부분입니다.

• 적합한 GPU를 얹은 고성능 서버 — 구독이 아니라 한 번의 자본 지출.
• 구축 프로젝트: 모델 설치와 조정, 문서 색인 구축, 접근 통제 연결.
• 지속적인 유지보수: 보안 패치, 모델 업데이트, 필요 변화에 따른 이따금의 재조정.
• 내부 소유: 어떤 핵심 시스템을 운영하듯, 눈여겨보는 지정된 담당자 한 명.
• 질의당 클라우드 청구 없음 — 클라우드에서라면 비싸질 사용량이, 하드웨어 값을 치르고 나면 사실상 무료가 된다.

당신의 사업에 맞을까요?

이것은 한 번뿐인 사례가 아니었습니다. 같은 패턴은 제약이 예산이 아니라 데이터 민감성인 어떤 회사에도 들어맞습니다. 법률 사무소, 의료와 건강 인접 사업자, 보안과 국방 인접 업무, 금융 자문가, 영업 비밀을 안고 있는 R&D 팀. AI의 도움을 원하면서도 데이터가 어디로 갈지 생각에 움츠러든 적이 있다면, 여러분이야말로 이 접근이 겨냥한 대상입니다.

마찬가지로, 데이터가 특별히 민감하지 않고 그저 안심을 위해 웃돈을 치르는 것뿐이라면, 우리는 좋은 클라우드 선택지를 알려드리고 그 지출을 아껴드리겠습니다. 옳은 답은 어떤 기술이 더 인상적으로 들리는지가 아니라, 전적으로 여러분의 의무에 달려 있습니다. 가장 유익한 첫걸음은 모델을 고르는 것이 아니라, 자사의 기밀 유지 의무가 실제로 무엇을 요구하는지에 대해 솔직해지는 것입니다.

자주 묻는 질문