1년 전에 통과시킨 견적서
어젯밤 사무실 서랍 두 번째 칸에서, 1년 전 결재판에 올렸던 견적서 한 부를 꺼냈다. 종이 귀퉁이가 살짝 접혀 있었고, 왼쪽 상단에는 그날 급하게 눌러 쓴 "승인/2025-08"이라는 사인이 남아 있었다. 숫자 옆에는 그때 임원 한 분이 형광펜으로 그어 놓은 밑줄이 있었다. "이게 다인가요?"라고 물으셨던 게 기억난다. 그때 나는 "네"라고 답했다. 지금 다시 보면, 그 대답이 정확히 어디에서 어긋났는지 보인다.
지난 회에서 다룬 4줄 스코어카드가 결재판을 통과시키기 위한 도구였다면, 이번 회는 통과시킨 뒤 1년이 지난 시점의 이야기다. 결재는 시작이고, 그 뒤에 오는 12개월이 실제 견적서의 진짜 모양을 결정한다.
실제 vs 예측 — 개발비는 맞고, 그 뒤가 틀렸다
개발비 자체는 대체로 예측 범위 안에 들어왔다. 오차는 10% 내외. 놀랍게도 여기서는 크게 어긋나지 않는다. 문제는 그 다음이었다. 운용·재학습·통합·모니터링에 들어간 비용이 초기 견적의 25~40%를 조용히 갉아먹었다. 국내 리포트도 개발비의 20~40%가 매년 운영비로 재발생하는 것을 일반적 수준으로 본다. Flexera 조사에서는 지난 12개월간 AI 비용이 예산을 초과한 기업이 79%였다.
더 뼈아픈 건 예측이 얼마나 자주 틀렸는가다. 응답 기업의 80~85%가 AI 인프라 예산을 25% 이상 빗나갔다. 실시간으로 자신들이 얼마를 쓰고 있는지 파악하는 기업은 4곳 중 1곳뿐이었다. 나머지는 분기가 지나서야 카드값을 보고 놀란다.
가트너가 올해 4월 발표한 조사에서는 AI 활용 사례 중 ROI 기대를 온전히 충족한 비율이 28%, 완전히 실패한 비율이 20%였다. 나머지 절반은 회색 지대에 있다. 견적서를 다시 펼쳐 놓고 보면, 우리도 한동안 그 회색 지대에서 헤맸다.
1년을 되짚어 남은 3가지 교훈
구체적인 숫자만큼 남는 것은 결국 몇 개의 문장이다. 다시 시작한다면 무엇을 다르게 할까. 세 가지가 떠오른다.
첫째, "작게 시작"이 아니라 "작게 운영해 보기"였어야 한다. PoC가 성공했다는 사실과 그것이 매일 돌아간다는 사실은 다르다. 통합 레이어, 로그 모니터링, 재학습 파이프라인, 사내 헬프데스크 — 이 네 가지가 시작가의 25~40%를 조용히 얹는다. 2회에서 다룬 PoC 예산 감은 "돌아가는가"를 보는 도구지, "매일 돌리며 살 만한가"를 보는 도구가 아니다. 다시 한다면 PoC 예산과 별개로 3개월치 운영 시뮬레이션 예산을 처음부터 분리해서 잡는다.
둘째, 결재판의 숫자는 3년 총비용으로 다시 그려야 한다. 1년만 끊어 보면 왜곡이 심하다. 1년차는 대개 비용이 과대로, 효과는 과소로 잡히는 구간이다. 초기 통합 비용은 그해에 몰리고, 학습 곡선 때문에 효과는 뒤로 밀린다. 3년 지평선으로 재계산하면 견적서의 표정이 확 달라진다. 성과 실현까지 1~3년이 걸리는 프로젝트가 대다수라는 국내 관측과도 정확히 겹친다. 4회에서 다룬 운용 비용을 세 번 더한 뒤에 개발비 옆에 나란히 붙여 놓고 결재 미팅에 들어가면, 임원의 질문 자체가 달라진다.
셋째, "모델 선정"보다 "책임 소재"가 훨씬 비쌌다. 이게 가장 뜻밖의 발견이었다. 처음엔 어떤 모델을 쓸지, 자체 구축이냐 API냐로 몇 주를 태웠다. 그런데 1년이 지나 되짚어 보면, 예산이 새는 지점은 늘 모델이 아니라 그 앞뒤 통합 구간이었다. 글로벌 조사에서도 AI 프로젝트의 68%가 모델이 아니라 통합에서 멈춘다고 보고된다. 통합에서 멈추는 이유는 대개 기술이 아니라 오너십이다. 비즈니스 스폰서와 기술 스폰서 두 이름이 명시되지 않은 프로젝트는, 예산이 새는 것을 아무도 자기 문제로 여기지 않는다.
6회 시리즈를 관통하는 하나의 문장
이 시리즈를 6회에 걸쳐 쓰면서 다룬 것들은 각각 예산 감, PoC, 자체 LLM vs API, 운용 비용, ROI 스코어카드, 그리고 오늘의 회고였다. 여섯 개의 주제가 있는 것처럼 보이지만, 다 쓰고 나서 남은 문장은 하나였다. AI 도입은 기술 결정이 아니라 예산 결정이고, 예산 결정은 결국 책임 소재의 문제였다.
솔직히 이 결론을 처음부터 들고 있었던 건 아니다. 1회를 쓸 때만 해도 "예산 감을 잘 잡는 법"에 관한 시리즈라고 생각했다. 회차를 쌓아 가며 관점이 조금씩 옆으로 밀렸다. 숫자를 잘 잡는 것보다, 그 숫자를 책임질 사람의 이름을 결재판에 함께 적는 것이 훨씬 더 결정적이라는 것 — 이건 지난 회 스코어카드를 실무에 붙여 본 몇 팀의 반응에서 반복해서 확인한 것이다.
1년 뒤 서랍에서 이 시리즈를 다시 꺼내 봤을 때 후회 없는 결정을 내리려면, 지금 결재판의 숫자 옆에 이름 두 개를 함께 적어 두는 데서 시작하면 된다. 비즈니스 스폰서와 기술 스폰서. 그 이름이 비어 있다면, 견적서에 아무리 정교한 숫자가 있어도 1년 뒤에 다시 꺼내 볼 이유는 사라진다.
회고 워크숍이나 3년 총비용 재산정을 함께 해 볼 여지가 있다면, 저희와 30분만 이야기해 보시는 것도 방법이다. 결재판을 새로 그리는 데 시간이 오래 걸리지 않는다.