실패는 모델이 아니라 그 앞뒤에서 일어난다
한 제조사 임원이 회의 자리에서 이렇게 말한 적이 있다. "작년에 AI 파일럿 두 개를 돌렸는데, 둘 다 언제 사라졌는지도 모르겠어요." 모델이 형편없어서 그런 게 아니었다. 시작할 때 정의가 흐릿했고, 끝낼 때도 합의가 없었다.
지난 회 AI 도입 ROI 측정법에서 도입 후 무엇을 어떻게 측정해야 하는지 정리했다. 그런데 현장에선 그 측정을 시작할 만한 결과 자체가 나오지 않는 경우가 더 많다. 한 시장 분석에서는 기업 AI 파일럿의 80% 이상이 본 운용에 들어가지 못한 채 폐기된다고 본다. 모델 성능 문제일까. 거의 아니다. 패턴은 대체로 정해져 있다.
1. 범위가 흐릿한 채로 시작한다
"AI로 뭔가 해봅시다"가 첫 회의의 결론으로 잡힌 프로젝트는 대부분 6개월 뒤 같은 자리에 있다. 무엇을 자동화할지, 어떤 지표가 좋아져야 성공인지, 누가 의사결정을 하는지가 정해지지 않은 채 출발하기 때문이다.
회피법은 단순하다. 시작 전에 한 문장으로 답할 수 있어야 한다. "고객 문의 응대 시간을 3개월 안에 30% 줄인다"처럼 업무·지표·기간이 같이 들어간 문장이다. 이 문장이 안 만들어진다면 그 프로젝트는 아직 출발할 단계가 아니다.
2. 데이터가 준비되지 않은 채 모델만 본다
AI 실패의 상당 부분이 데이터 품질에 묶여 있다는 분석은 업계에서 반복해서 나온다. 기업이 가진 데이터 중 실제로 AI가 활용할 수 있는 비율이 1%도 안 된다는 지적도 있다. 엑셀 여기저기, 노션 한구석, 누군가의 메일함에 흩어져 있는 상태에서 모델만 좋다고 결과가 나올 리 없다.
도입 검토 단계에서 모델 데모보다 먼저 봐야 할 것은 "우리 데이터가 어디에, 어떤 상태로 있는가"다. 데이터 정리에 1~2개월을 먼저 쓰는 편이 모델 선정 회의를 다섯 번 하는 것보다 훨씬 좋은 결과를 만든다.
3. 조직 합의 없이 IT 부서만 움직인다
현장에서 가장 흔한 좌초 지점이다. IT팀이 도구를 골라 도입했는데, 실제로 쓸 영업·운영·CS 부서가 "왜 이걸 우리한테 떠넘기느냐"고 반발한다. 보안 심사, 법무 검토, 구매 절차가 뒤늦게 끼어들면서 일정은 더 늘어진다.
이걸 피하려면 첫 회의에 도구를 쓸 현업 부서장을 같이 앉혀야 한다. 의사결정 라인을 사전에 정렬하지 않으면, 기술이 아무리 잘 작동해도 사람이 안 쓴다. 안 쓰는 도구는 곧 사라진다.
4. 기대치가 현실과 어긋난다
"AI를 넣으면 인력이 절반으로 줄 거다"라는 기대로 시작한 프로젝트는 거의 실망으로 끝난다. 30%라는 숫자가 작아 보이지만, 매일 100건의 단순 업무가 70건이 된다는 뜻이고 그것만으로도 한 사람의 하루가 달라진다. 그러나 한 분기 만에 성과가 안 보인다고 중단하면, 그 직전에 도달했을지 모르는 변곡점을 영영 못 본다.
경영진 단에서는 첫 도입을 "보수적인 효율화 + 3개월 이상의 운영 학습 기간"으로 잡는 편이 안전하다. 5회 비용·기간 가이드에서 짚은 PoC 예산 범위가 이 기대치 조정의 출발선이다.
5. 운영 설계가 빠져 있다
파일럿은 잘 돌아갔는데 본 운용에선 무너지는 사례가 의외로 많다. 누가 결과를 매일 점검할 것인지, 답이 이상하게 나올 때 누구에게 에스컬레이션할 것인지, 모델을 언제 어떻게 업데이트할 것인지. 이 운영 설계가 PoC 단계에서 빠지면 사람이 손을 떼는 순간 시스템도 흐트러진다.
도입 의사결정을 마무리할 때 "운영 담당자가 정해져 있는가"를 한 번 더 묻는 것만으로 절반 이상의 사고가 예방된다. 솔직히 말하면, 다섯 가지 중 가장 자주 놓치는 항목도 이것이다.
다음 회, 그리고 점검 도구
다음 회에서는 중소기업의 AI 도입 비포·애프터를 다룬다. 여기서 정리한 다섯 가지 패턴이 실제 도입 현장에서 어떻게 드러나고 어떻게 회피되었는지, 한 회사의 흐름을 따라 추적할 예정이다.
그 전에 자기 회사의 현재 상태를 점검해보고 싶다면, 5years+ 무료 진단 상담을 통해 도입 전 체크리스트를 받아볼 수 있다. 30분 통화로 다섯 가지 항목 중 어디가 가장 약한지를 같이 짚어드린다.