클라우드 AI와 온프레미스 AI, 우리 회사에 정말 맞는 건 무엇일까

AI를 어디서 돌려야 하는지 공급업체 셋에게 물으면, 자신만만하면서도 서로 모순되는 세 가지 답이 돌아옵니다. 게다가 하나같이, 그 업체가 마침 파는 것과 수상하리만치 들어맞습니다. 클라우드 회사는 클라우드라고 합니다. 하드웨어 회사는 온프레미스라고 합니다. 컨설턴트는 '경우에 따라 다르다'고 한 뒤, 그걸 알아보는 비용을 청구합니다. 진실은 더 단순하고 훨씬 덜 극적입니다. 대부분의 중소기업에게 이것은 변수가 몇 개 안 되는 실무적 결정이며, 누군가 그 요소들을 정직하게 설명해 준다면 한나절이면 충분히 잘 내릴 수 있습니다.

저는 이 대화를 수십 번 나눠 봤습니다. 대개는 데이터 유출에 관한 기사 제목에 겁을 먹었거나, 주권이나 에어갭 같은 말로 가득한 영업 자료에 휘둘린 사업주가 상대입니다. 그분들은 이 선택이 엄청나고 되돌릴 수 없다고 확신한 채 찾아오십니다. 대개는 그렇지 않습니다. 소음 아래에서 사실 당신이 답하고 있는 것은 두 가지 질문입니다. 데이터가 어디에 있고 누가 손댈 수 있는가, 그리고 무엇을 소유하고 무엇을 빌릴 것인가. 나머지는 전부 세부 사항입니다.

그러니 군더더기를 걷어 내 봅시다. 이것은 15명 규모의 회사를 운영하면서 과하게 지불하거나 과하게 만들지 않고 그저 옳은 일을 하고 싶어 하는 친구에게 제가 들려줄 버전입니다. 공포 마케팅도, 얼버무림도 없이―클라우드와 온프레미스가 당신에게 실제로 무엇을 의미하는지, 각각이 진짜로 이기는 지점이 어디인지, 그리고 회계사에게도 감사인에게도 변호할 수 있는 결정 방법만 전합니다.

이 말들이 실제로 뜻하는 것 (마케팅을 걷어내고)

클라우드 AI는 모델이 남의 컴퓨터에서 돌아간다는 뜻입니다. 텍스트나 이미지, 문서를 인터넷을 통해 제공업체에 보내면, 그쪽 하드웨어가 처리하고, 답이 돌아옵니다. 기계를 소유하지도 유지보수하지도 않으며, 쓴 만큼―보통 요청당 또는 토큰당―지불합니다. 이미 아시는 AI 도구 대부분이 이런 방식입니다.

온프레미스 AI는 모델이 당신이 통제하는 하드웨어에서 돌아간다는 뜻입니다. 사무실의 서버, 임대한 데이터센터의 랙, 또는 당신의 시스템만 닿을 수 있는 전용 머신 같은 것입니다. 데이터는 당신의 경계를 벗어나지 않습니다. 그 장비를 소유(또는 완전히 통제)한다는 것은 유지보수도 떠안는다는 뜻입니다. 패치, 업데이트, 전기 요금, 그리고 무언가 응답을 멈춘 새벽 2시의 전화까지 말입니다.

이 이분법 속에서 잊히는 유용한 중간 지대가 있습니다. 프라이빗 클라우드, 즉 임대한 인프라 위에서의 셀프호스팅입니다. 여기서는 호스팅 업체에서 빌린 서버에 오픈 모델을 올리되, 데이터가 격리되고 외부 AI 제공업체와 아무것도 공유되지 않도록 구성합니다. 물리 하드웨어를 사서 돌보지 않고도, 데이터 통제 관점에서는 온프레미스에 상당히 가깝게 느껴집니다. 많은 중견기업에게 이것은 아무도 언급하지 않는 절묘한 지점입니다. 영업 멘트에 깔끔하게 들어맞지 않기 때문입니다.

다들 핵심이라 여기는 것―그리고 진짜 핵심

사람들이 "우리는 온프레미스 AI가 필요하다"고 말할 때, 거의 언제나 둘 중 하나를 뜻하며, 대개 그 둘을 뒤섞어 놓습니다. 첫째는 프라이버시입니다. 민감한 데이터가 어디로 가는지에 대한, 현실적이고 흔히 정당한 걱정입니다. 둘째는 통제입니다. 가격을 바꾸거나, 모델을 단종하거나, 가장 필요한 아침에 장애를 낼 수 있는 업체에 휘둘리고 싶지 않다는 바람입니다. 이 둘은 해법이 다른 별개의 문제이며, 뒤섞으면 비용이 많이 드는 과잉 대응으로 이어집니다.

공포를 파는 이들이 건너뛰는 대목은 이것입니다. 제대로 된 클라우드 AI 제공업체는 매우 많은 기업에게 진정 충분한 계약상 데이터 보호를 제공합니다. 데이터를 모델 학습에 쓰지 않고, 전송 중에도 저장 중에도 암호화하며, 처리 후 삭제하겠다고 약속하는 기업용 계약입니다. 자사 블로그 초안을 요약하는 마케팅 대행사에게는 그것으로 차고 넘칩니다. 온프레미스라는 반사적 선택이 옳은 답이 되는 건, 반드시 그래야 할 구체적인 이유가 있을 때뿐입니다.

그리고 반대편 함정도 그만큼 흔합니다. 수많은 회사가 무엇이든 클라우드 API에 의존하다가, 여섯 달 뒤에야 제대로 검증한 적 없는 제3자에게 기밀 고객 문서를 흘려보내고 있으며 무엇이 어디에 기록되는지 전혀 모른다는 사실을 조용히 깨닫습니다. 두 극단 모두 대개, 아무도 자리에 앉아 따분한 질문을 던지지 않았다는 신호입니다. 그 질문을 던져 봅시다.

정직한 비교, 요소별로

구호는 잊으십시오. 실무에서 체감할 것들―돈, 데이터, 속도, 신뢰성, 그리고 이 모든 걸 살아 움직이게 하는 수고―에서 두 방식이 실제로 어떻게 다른지 보여 드립니다.

아무도 또렷이 그려 주지 않는 비용의 전모

클라우드가 더 싸 보이는 건 실제로 더 싸기 때문입니다―더 싸지 않게 되기 전까지는요. 낮고 적당한 사용량에서는, 절반쯤 노는 서버를 사는 것보다 요청당 지불이 낫습니다. 비용이 뒤집히는 건 사용량이 크고 꾸준해질 때뿐입니다. 즉, 종량제 API보다 고정 머신이 더 경제적으로 감당하는 높고 예측 가능한 부하일 때 말입니다. 실수는, 그 지점에서 한참 멀었는데도 이미 도달했다고 가정하는 것입니다. 대부분의 중소기업은 자사 사용량을 큰 폭으로 과대평가합니다.

'우리가 직접 돌리지'에 숨은 유지보수 비용

온프레미스에는 청구서에 결코 나타나지 않는 가격표가 있습니다. 누군가는 계속 돌아가게 만들어야 합니다. 보안 패치, 모델 업데이트, 모니터링, 하드웨어가 죽었을 때의 장애 조치 계획. 여유 인력이 있는 사내 IT 팀이 있다면 좋습니다. 없다면 '셀프호스트'란 조용히 '이제 당신이 시간을 쓰게 될 사람', 또는 대가를 치르고 맡기는 관리 파트너를 뜻합니다. 이것을 정직하게 예산에 넣으십시오. 그러지 않으면 상상했던 절감액은 증발합니다.

온프레미스(또는 프라이빗)가 진짜로 옳은 선택일 때

AI를 사내에 두는 것이 편집증이 아니라 올바른 엔지니어링이자 사업적 결정이 되는, 현실적이고 구체적인 상황들이 있습니다. 그중 하나에 해당한다면, 온프레미스 질문을 손사래 치며 넘기지 말고 진지하게 받아들이십시오.

• 법적으로 자국이나 자사의 벽을 벗어날 수 없는 데이터를 다룬다―환자 기록, 특정 법무 파일, 국방이나 보안에 민감한 자료.
• 구속력 있는 고객 계약이나 업계 규제가 그들의 데이터를 제3자 처리자에게 보내는 것을 금지한다.
• AI 사용량이 높고 일정하며 예측 가능해, 당신의 규모에서는 고정 머신이 종량제 API보다 실제로 더 저렴하다.
• 인터넷 의존 없이 기능해야 한다―공장 현장, 외딴 사업장, 장애가 용납되지 않는 환경.
• 경쟁 우위가, 계약상 약속조차 감수하고 싶지 않을 만큼 민감한 모델이나 데이터셋이다.

이 방아쇠들 중 어느 것도 감정이 아니라는 점에 주목하십시오. 검증 가능합니다. 그게 핵심입니다. 정말로 하나가 해당된다면, 우리는 기꺼이 프라이빗이나 온프레미스 구성을 만들어 드립니다―규제 분야의 고객 중 적지 않은 분들이 바로 그렇게 운영하고 있습니다. 하지만 해당되지 않을 때는 분명히 그렇다고 말씀드립니다. 필요 없는 서버를 누군가 사는 걸 지켜보는 것은 아무에게도 도움이 되지 않으니까요.

클라우드가 부끄럽지 않은 당연한 답일 때

상당수의 소규모 기업에게 클라우드 AI는 그저 옳은 출발점이며, 거기에 이류라 할 구석은 전혀 없습니다. 시험해 보는 중이라면, 사용량이 적당하다면, 데이터가 유난히 민감하지 않다면, 또는 자본을 들이기 전에 AI가 도움이 되는지부터 알고 싶다면―클라우드는 커피 몇 잔 값으로 이번 주에 시작했다가, 효과가 없다고 판단되는 순간 멈추게 해 줍니다.

전략적 논거는 재무적 논거보다 한층 더 강합니다. 아직 검증하지 않은 용도를 위해 인프라를 사서는 안 됩니다. 클라우드에서 시작하고, AI가 정말 제값을 한다는 것을 입증하고, 당신의 실제 사용량과 요건을 익히십시오―그리고 그제야, 짐작이 아닌 사실로 무장한 채 사내 이전이 타당한지 결정하십시오. 그 순서로 하면, (언젠가 한다 해도) 이전은 차분하고 충분한 정보에 기반합니다. 거꾸로 하면, 직감에 하드웨어 자금을 건 셈입니다.

어떻게 결정할까―짧고 실용적인 경로

6주짜리 연구는 필요 없습니다. 정직한 질문 몇 개에 순서대로 답하고, 그 답이 길을 가리키게 하면 됩니다. 제가 사업주들을 안내하는 경로를 보여 드립니다.

1. 1
   데이터를 명확히 짚기

   AI가 다룰 데이터가 정확히 무엇인지 적어 보십시오. 구체적으로. '고객 지원 이메일'과 '환자 진료 기록'은 다릅니다. 데이터의 민감도가 이후의 모든 것을 좌우합니다.
2. 2
   엄격한 규칙이 있는지 확인하기

   그 데이터가 갈 수 있는 곳을 제한하는 법률, 규제, 서명된 계약이 있습니까? 있다면 그 제약이 당신을 대신해 답을 정합니다―프라이빗이나 온프레미스로 가십시오. 없다면 계속 진행합니다.
3. 3
   실제 사용량 가늠하기

   여섯 달 뒤, 현실적으로 하루 몇 건의 AI 요청이 발생할까요? 대부분의 사업주는 높게 잡습니다. 적당하고 불확실한 사용량은 클라우드를 단단히 가리키고, 거대하고 일정한 사용량은 온프레미스 비용 검토의 문을 엽니다.
4. 4
   누가 유지보수할지 정직하게 따지기

   서버를 운영할 시간과 역량을 가진 인력, 또는 맡아 줄 파트너가 있습니까? 없다면 그 비용을 반영하거나, 그것이 당신을 관리형 클라우드로 이끌게 하십시오.
5. 5
   가장 저렴하게 검증할 수 있는 곳에서 시작하기

   강제하는 것이 없다면 클라우드에서 시작해 가치를 입증하고, 예측이 아닌 실제 숫자를 손에 쥔 뒤 인프라 질문으로 되돌아오십시오.

이 다섯 단계를 밟으면 답은 대개 저절로 떨어집니다. 엄격한 규칙이 일찌감치 일을 매듭짓거나, 아니면 저렴하게 시작해 나중에 제대로 결정할 자유가 있다는 걸 알게 되거나입니다. 피하고 싶은 것은, 다섯 번째 단계의 반대로 곧장 건너뛰는 버전입니다―먼저 큰 해법을 사 놓고, 거꾸로 정당화를 지어내는 것 말입니다.

희소식: 이것은 한 방향 문이 아닙니다

가장 마음을 가볍게 해 주는 깨달음은, 이 결정이 좀처럼 영구적이지 않다는 것입니다. 공급업체들은 다시는 되돌아갈 수 없는 갈림길처럼 묘사합니다. 절박함이 잘 팔리기 때문입니다. 실제로는, 분별 있게 만든다면―AI 부분을 나머지 시스템과 느슨하게 결합해 둔다면―필요가 바뀜에 따라 클라우드에서 프라이빗으로, 다시 온프레미스로, 모든 걸 갈아엎지 않고도 옮겨 갈 수 있습니다.

우리는 양방향으로 고객을 이전시켜 봤습니다. 클라우드에서 시작해 가치를 검증하고, 실제 사용량에 도달해, 비용을 아끼고 통제를 조이려 일정한 작업 부하를 사내로 옮긴 회사. 그리고 누군가의 조언으로 너무 일찍 하드웨어를 샀다가, 그것이 놀고 있고 짐스럽다는 걸 알고, 종량제 서비스로 돌아가 더 만족한 회사. 두 이전 모두 재앙이 아니었던 것은, AI가 처음부터 이식 가능하게 설계되었기 때문입니다. 그것을 염두에 두고 설계하면, '클라우드냐 온프레미스냐'라는 질문은 그 무게의 대부분을 잃습니다.

자주 묻는 질문