2026년에도 AI가 여전히 당신의 비즈니스를 위해 할 수 없는 것

지난 한 해 동안 저는 어떤 특정한 대화를 열 번도 넘게 나눴습니다. 사업주가 자리에 앉아 휴대폰을 테이블 너머로 밀어 보내며, 챗봇이 쓴, 진심으로 감탄한 무언가를 보여줍니다. 그러고는 거의 같은 호흡으로, 이것이 자신의 고객 응대, 채용, 가격 책정을, 사실상 사업 전체를 운영할 수 있는지 묻습니다. 정직한 답은 불편한 답입니다. 당신이 그리고 있는 방식으로는 아니며, 일부는 아예 할 수 없습니다. 이 글은 바로 그 간극에 관한 것입니다. AI를 파는 어느 누구도 그것에 대해 말하고 싶어 하지 않기 때문입니다.

저는 AI 실무를 운영합니다. 중소기업을 위해 이런 것들을 하루 종일 만들며, 저 자신이 신봉자입니다. 여유 시간이 전혀 없던 사람들에게 실제 시간을 되찾아 주는 모습을 지켜봤습니다. 그러나 2026년의 가장 큰 목소리들은 여전히 환상을 팝니다. AI를 문제에 겨눠 놓고 떠나면 된다는 환상입니다. 그 환상은 비즈니스에서 조용히 돈과 신뢰를, 때로는 고객을 앗아갑니다. 그래서 AI가 할 수 있는 것에 대한 또 한 번의 숨 가쁜 목록 대신, 더 쓸모 있는 지도를 보여드립니다. 어디에서 여전히 무너지는지, 왜인지, 그리고 그럼에도 어떻게 함께 일할지입니다.

이 가운데 어느 것도 AI에 반대하는 것이 아닙니다. 정반대입니다. 지금 AI에서 가장 많은 것을 얻어내는 기업은 그 가장자리를 정확히 이해하는 이들입니다. 잘하는 일만 정확히 맡기고, 나머지는 사람이 단단히 키를 쥡니다. 한계를 아는 것은 비관이 아닙니다. 그것이 기술의 전부입니다.

할 수 없는 것 — 자신이 틀렸음을 아는 것

한 가지 한계만 기억한다면, 바로 이것으로 하십시오. 오늘날의 AI는 자신이 언제 틀리는지 안정적으로 알지 못합니다. 맞는 답에 쓰는 것과 정확히 같은 어조로, 자신만만하게 틀린 답을 내놓습니다. 작은 의심의 흔들림도, "이 부분은 확신이 없습니다"도 없습니다. 지어낸 전화번호, 만들어 낸 규정, 잘못된 부가가치세율 — 모두 진실과 똑같은 차분한 권위로 건네집니다.

업계 사람들은 이것을 환각(hallucination)이라 부르는데, 그 말은 마치 드물고 이국적인 것처럼 들리게 합니다. 둘 다 아닙니다. 이 시스템이 작동하는 방식에서 비롯되는, 정상적이고 예상된 동작입니다. 장부에서 사실을 찾아보는 것이 아니라, 그럴듯하게 들리는 텍스트를 예측하는 것입니다. 대개는 가장 그럴듯한 답이 곧 맞는 답이기도 하며, 그래서 신뢰할 만하게 느껴집니다. 하지만 그 답이 고객 견적이나 법적 문서로 들어갈 때, "대개"는 무서운 기준입니다.

이 한 가지 특성이 이 글의 나머지 모든 것을 빚어냅니다. 그래서 AI는 초안 작성에는 훌륭하고 결정에는 위험합니다. 그래서 "휴먼 인 더 루프"는 유행어가 아니라 중요한 모든 일에 대한 엄격한 요건입니다. 그리고 그래서 질문은 결코 "AI가 이 일을 할 수 있는가"가 아니라 "AI가 이 일을 틀렸을 때 내게 얼마의 대가가 따르며, 나는 그것을 도대체 어떻게 알아차릴 것인가"입니다.

판단이 진짜로 필요할 때, 걸린 것이 진짜일 때

AI는 명확한 정답이 있거나 틀려도 대가가 낮은 일에 진정으로 능합니다. 이 이메일을 요약해 줘. 친근한 답장을 초안 잡아 줘. 이 메시지들을 세 더미로 분류해 줘. 깔끔하게 측정할 수 없는 것 — 공정함, 위험, 평판, 특정 고객과의 긴 승부 — 을 저울질해야 하는 일이 되는 순간, 비틀거리기 시작합니다.

까다로운 일회성 작업의 가격을 매기는 것을 생각해 보십시오. 견적을 내는 사람은 단지 숫자를 돌리는 것이 아닙니다. 이 고객이 최고의 고객이 소개한 사람이라는 것, 전화로 긴장했다는 것, 지금 곤란한 마감에 응하면 나중에 쉬운 일 세 건이 열릴 수 있다는 것을 읽어냅니다. AI는 그 맥락의 한 조각 한 조각을 일일이 풀어 주지 않는 한 아무것도 보지 못하며, 그렇게 해도 그것은 패턴 매칭이지 판단이 아닙니다. 걸린 이해관계가 없습니다. 너무 낮게 견적을 냈다는 걱정으로 밤에 잠 못 이루는 일은 결코 없습니다.

AI는 당신의 비즈니스를 모릅니다

일반적인 AI 모델은 공개된 인터넷의 놀라울 만큼 많은 부분을 읽었습니다. 한 번도 읽지 않은 것은 당신 비즈니스의 구체입니다 — 당신의 가격, 재고, 단골손님, 호퍼 부인은 늘 구석 자리를 받는다는 암묵의 규칙, 지난봄에 거래를 끊은 공급처. 기본 상태에서는 세상 일반은 알아도 당신의 회사는 전혀 모릅니다.

이 가운데 많은 것은 해결할 수 있습니다. 모델에 당신의 문서, 가격, 규정을 먹이는 것 — 이 기법은 리트리벌(retrieval) 또는 그라운딩(grounding)이라 불립니다 — 은 당신의 특정 상황에 대한 유용함과 정확함을 극적으로 끌어올립니다. 솔직히 이것이 좋은 AI 프로젝트에서 실제 작업의 대부분입니다. 똑똑한 모델이 아니라, 그것을 당신의 실제 데이터에 잇는 화려하지 않은 배관입니다. 그러나 그렇게 해도 두 가지는 여전히 참입니다. 이것이 작동하려면 당신의 정보가 정돈되고 최신이어야 합니다 — 어수선하고 오래된 가격표에 AI를 겨누면, 작년 가격을 자신만만하게 불러줍니다. 그리고 오직 당신의 머릿속에만 있고 한 번도 적힌 적 없는 것들은 여전히 알지 못합니다.

똑같은 일을 두 번 그대로 하는 것

이것은 사람들의 허를 찌릅니다. AI에게 같은 질문을 두 번 하면 서로 다른 두 답을 받을 수 있습니다. 대개는 둘 다 괜찮고, 때로는 한쪽이 눈에 띄게 낫고, 가끔은 한쪽이 그냥 틀립니다. 창의적인 초안 작성에는 그 다양성이 장점입니다. 그러나 매번 똑같이 작동해야 하는 프로세스 — 할인 계산, 규칙 적용, 규제 기관이 확인할 수도 있는 숫자 산출 — 에는 진짜 책임 위험이 됩니다.

그래서 누군가 언어 모델에 산술이나 엄격한 규칙을 맡기려 하면 저는 불안해집니다. 작업이 "500유로가 넘는 주문에 12%를 적용하라"라면, 계산을 대개 맞히는 것이 필요한 게 아닙니다. 100% 맞히는 것이 필요합니다. 말 그대로 그 외에는 아무것도 할 수 없기 때문에 맞히는 것입니다. 정말로 언어나 판단이 필요한 부분에 AI를 아껴 두고, 정확해야 하는 부분은 믿음직한 구식 로직에 맡기십시오.

인간적인 것들 — 그리고 그것이 여전히 상업적으로 중요한 이유

"인간적인 손길"을 마치 물렁하고 감상적인 것인 양 손사래 치기는 쉽습니다. 그렇지 않습니다. 작은 비즈니스에는 그것이 흔히 경쟁 우위 그 자체입니다 — 고객이 얼굴 없는 체인이 아니라 당신을 택하는 이유입니다. 그리고 그것이야말로 AI가 흉내 낼 수는 있어도 실제로 가질 수는 없는 부분입니다.

AI는 공감적으로 들리는 말을 쓸 수 있습니다. 할 수 없는 것은, 단골손님의 주문이 그 집 딸 생일 아침에 깨진 채로 도착했다는 사실을 진심으로 마음 쓰고, 그러고는 나쁜 하루를 친구들에게 들려줄 이야기로 바꾸는 일을 조용히 해내는 것입니다. AI에게는 관계도, 걸린 평판도, 그 같은 고객이 배송이 늦었을 때 당신을 감싸 준 기억도 없습니다. 텍스트로서의 공감은 이제 값쌉니다. 잃을 것이 있는 누군가의, 행동으로서의 공감이야말로 사람들이 앞으로도 웃돈을 내고 계속 살 바로 그것입니다.

책임도 있습니다. 이는 철학적이라기보다 실무적입니다. 무언가 잘못되면 고객은 사람이 그것을 떠맡기를 바랍니다. "AI가 실수했다"는 누구도 만족시키지 못합니다 — 그리고 점점 더, 어떤 규제 기관도 만족시키지 못합니다. AI가 누군가에게 영향을 주는 결정에 손을 댄다면, 그 결과에 대한 책임은 여전히 당신에게 있습니다. 그 책임은 모델에 외주 줄 수 없으며, 그럴 수 있는 척하는 것이야말로 평판이 망가지는 길입니다.

데모에서는 아무도 말하지 않는 조용한 비용

매끈한 데모는 현실에서 AI 프로젝트의 성패를 가르는 지루한 부분을 결코 보여주지 않습니다. 그것들은 이름 붙일 가치가 있습니다. 여러 해 도움이 되는 도구와 석 달 만에 조용히 버려지는 도구의 차이이기 때문입니다.

• 감독. 고객을 향하는 것은 무엇이든 초기 산출물을 확인하는 사람이 필요합니다. 그것은 실제 시간이며, 특히 초반에 그러하고, 결코 완전히 0으로 떨어지지 않습니다.
• 유지보수. 가격이 바뀌고, 규정이 바뀌고, 모델 자체가 바뀝니다. 작년 정보를 먹은 AI 도우미는 작년의 답을 자신만만하게 내놓습니다.
• 껄끄러운 20%. AI는 쉬운 다수의 경우를 멋지게 처리하고는, 이상하고 화나 있고 걸린 게 큰 것들을 당신에게 넘깁니다 — 어차피 늘 어려운 부분이었던 것들을요.
• 한 번 잃은 신뢰. 고객에게 건넨 단 하나의 자신만만한 오답이 몇 달의 호의를 되돌릴 수 있습니다. 평판의 하방은 비대칭입니다. 작은 승리는 여럿, 큰 패배는 하나.

이 가운데 어느 것도 AI를 쓰지 말아야 할 이유가 아닙니다. 눈을 뜨고 쓰라는 이유입니다. 감독이 싸고 오류의 대가를 견딜 수 있는 작업에서 말입니다. 마침 편리하게도, 그것이 어차피 진정으로 유용한 일의 대부분입니다.

그렇다면 실제로 어떻게 잘 쓰는가?

이 모든 것은 과대광고가 암시하는 것보다 훨씬 차분하고 — 훨씬 수익성 있는 — 일하는 방식을 가리킵니다. AI에게 직원이 되라고 요구하기를 멈추고, 초안을 잡고 분류하고 제안하는 빠르고 지치지 않는 도우미로 쓰며, 무게가 실린 것은 무엇이든 사람이 키를 계속 쥐는 것입니다. 그 모양을 보여드립니다.

1. 1
   모든 작업을 오류 비용으로 분류하라

   AI에 맡기고 싶은 하나하나에 대해 물으십시오. 이것이 틀리면 어깨 한 번 으쓱일 일인가, 손보면 될 일인가, 재앙인가? 으쓱일 일과 손쉬운 수정은 공정한 대상입니다. 재앙은 사람이 키를 계속 쥡니다.
2. 2
   AI는 초안을 잡게 하고, 결코 결정하게 하지 마라

   믿을 만한 패턴은 AI가 준비하고 사람이 승인하는 것입니다. 5초 만에 훑는 초안 답장. 사람이 고르는 후보 명단. 상식으로 검산하는 요약. 판단은 당신에게 남습니다.
3. 3
   진짜이고 정돈된 데이터로 그라운딩하라

   실제 운영에 들어가기 전에, AI가 답의 근거로 삼는 정보가 적혀 있고, 한 곳에 있으며, 최신인지 확인하십시오. 쓰레기를 넣으면 자신만만한 쓰레기가 나옵니다.
4. 4
   정확해야 하는 것에는 순수한 자동화를 쓰라

   계산, 규칙, 매번 똑같아야 하는 것은 언어 모델이 아니라 믿음직한 로직에 넘기십시오. AI는 어수선한, 언어 형태의 부분을 위해 아껴 두십시오.
5. 5
   사람 책임자와 실패를 알아차릴 방법을 유지하라

   산출물을 지켜볼 한 사람을 지정하고, AI가 무언가를 틀렸을 때 — 고객이 알아차리기 전에 — 그것을 잡아낼 간단한 방법을 만드십시오.

이렇게 하면 한계는 더 이상 무섭지 않습니다. 설계의 지침이 됩니다. AI가 잡일의 시간을 조용히 걷어내는 것을 보게 될 것입니다 — 초안 잡기, 분류, 첫 패스의 답변 — 그러는 동안 당신의 비즈니스를 진정으로 규정하는 부분은 있어야 할 곳에 정확히 남습니다. 결과에 마음 쓰고 그것에 책임지는 사람들의 손에 말입니다.

자주 묻는 질문