「체감상 30% 빨라졌습니다」로 끝나는 회의
7월 말, 어느 중견 제조사의 저녁 회의실이었다. 화이트보드엔 붉은 마커로 쓴 「AI 도입 6개월차 리뷰」라는 글자가 반쯤 지워져 있었다. 프로젝트를 맡은 팀장은 임원 다섯을 앞에 두고 이렇게 말했다. 「체감상 30% 정도 빨라진 것 같습니다.」 임원 한 분이 볼펜을 딸깍거리다 조용히 물었다. 「그 30%는 어디서 나온 숫자입니까.」 팀장은 잠시 말을 멈췄다. 사실 그 자리에 있던 모두가 답을 알고 있었다. 아무 데서도 안 나왔다. 감이었다.
앞선 회에서 다룬 숨은 운용비 이야기가 「지출의 실체」였다면, 이번 회는 그 반대편이다. 지출은 결재판에 아주 잘 잡히는데, 편익은 결재판에 거의 안 잡힌다. 그 비대칭이 AI 결재의 진짜 병목이다.
왜 편익은 감으로만 말하게 되는가
실무자들과 이야기해 보면 이유가 대체로 같다. 도입 전 상태를 재두지 않았기 때문이다. 문서 초안 하나 쓰는 데 평균 몇 분이 걸렸는지, 고객 문의 1건 처리에 몇 번의 손이 갔는지, 재작업률이 몇 %였는지 — 이런 기준선(baseline)이 없다. 기준선이 없으면 개선폭도 없다. 30% 빨라졌다는 감각은 있지만, 그 30%를 시간으로 환산할 방법이 없다.
기준선이 없는 상태에서 도입 리뷰를 하면, 자연스레 「분위기가 좋아졌다」 「직원들이 만족한다」 같은 정성 지표만 남는다. 임원 입장에선 그게 나쁜 소식은 아니지만, 다음 예산을 결재판에 올릴 근거로는 약하다. 미국의 최근 조사에서 CEO의 56%가 AI 투자로 매출·비용 편익을 「전혀 확인하지 못했다」고 답한 것도 크게 다르지 않다. 편익이 없어서가 아니라, 편익을 잡아둘 지표가 없어서 없는 것처럼 보인 경우가 상당수다.
Gartner가 「AI 프로젝트의 28%만이 완전한 ROI 기대치를 충족했다」고 발표한 뉴스가 국내에서도 여러 번 회자됐는데, 이걸 「AI가 잘 안 된다」로 읽으면 절반만 읽은 거다. 진짜 문장은 이렇다. AI가 잘 됐는지 안 됐는지를 판정할 척도가 처음부터 없었다.
결재를 통과시키는 스코어카드 — 4줄이면 된다
지표를 복잡하게 만들 필요는 없다. 오히려 반대다. 워크플로 하나당 4줄짜리 스코어카드면 충분하다. Atlassian Teamwork Lab이 정리한 것과 비슷한 프레임인데, 국내 결재판에도 그대로 얹을 수 있다.
- Speed — 처리 시간(분/건). 도입 전 vs 도입 후.
- Quality — 재작업률 또는 오류 반려율(%). 초안이 그대로 통과되는 비율도 좋다.
- Cost — 건당 원가(원/건). 시간당 인건비 × 절감시간으로 환산 가능.
- Adoption — 실제 사용률(주간 활성 사용자 / 배정된 사용자). 만족도 서베이는 부수적으로.
이 네 줄만 있으면 결재판이 완전히 달라진다. 「체감상 30%」가 「문서 초안 작성 시간 평균 42분 → 19분, 재작업률 18% → 11%, 건당 원가 8,400원 → 3,900원, 주간 활성 사용자 62%」로 바뀐다. 임원이 볼펜을 딸깍거릴 여지가 사라진다.
ROI 계산은 한 줄로 — 시간당 비용 × 절감시간 × 재사용률
실제 계산은 생각보다 단순하다. 복잡하게 만들수록 결재자가 못 믿는다. 예를 들어 문서 초안 워크플로 하나를 놓고 이렇게 잡아본다.
담당자 시간당 비용을 3만 원으로 잡자(연봉·복리후생·간접비 다 넣은 fully-loaded 기준). 한 건당 23분이 줄었고, 팀에서 월 400건을 처리한다. 그리고 실제로 이 툴을 「반복해서 쓴」 비율 — 재사용률 — 이 70%다. 계산은 3만 원 × (23분/60) × 400건 × 0.7 = 월 약 322만 원. 여기서 라이선스·API 비용 월 80만 원을 빼면 순편익 약 242만 원. 연 환산 약 2,900만 원.
이 숫자엔 세 가지 정직함이 있다. 첫째, 시간을 돈으로 환산할 때 감가상각·간접비를 빼먹지 않았다. 둘째, 절감시간을 곱하는 대상이 「도입 대상 건수」가 아니라 「실제 사용된 건수(재사용률)」다. 감으로 말하는 ROI는 대개 재사용률을 100%로 잡아버린다. 셋째, 라이선스 비용을 뺐다. 순편익이 아닌 총편익만 말하는 순간, 결재판의 신뢰가 무너진다.
두 개의 함정
지표를 잡기 시작한 팀이 자주 빠지는 두 가지 함정이 있다.
첫째 함정은 도입 「직후」에만 측정하는 것이다. 도입 3개월 리뷰에서 매출 증대가 안 잡히면 실패로 결론 내리는 경우가 많은데, 최근 국제 조사들은 AI 도입의 장기 가치 중 55%가 간접 편익(직원 만족·경쟁 포지셔닝·혁신 역량)에서 나온다고 본다. 이 55%는 3개월 리뷰엔 절대 안 잡힌다. 스코어카드에 「6개월 후 재측정」 「12개월 후 재측정」 칸을 처음부터 넣어둬야 한다.
둘째 함정은 매출 증가에만 매달리는 것이다. 국내 조사를 보면 AI 도입 효과 상위는 효율성·생산성 개선 66%, 데이터 기반 의사결정 강화 53%, 비용 절감 40% 순이고, 매출 증대는 20%로 한참 아래다. 즉 대부분의 편익은 「비용 쪽 계정」에서 나온다. 그런데 결재판은 여전히 매출 증가 시나리오만 요구한다. 그러면 실제로 나온 신호를 놓치게 된다. 절감된 시간이 어디로 갔는지 — 다른 업무로 재배치됐는지, 야근이 줄었는지, 새 프로젝트가 열렸는지 — 를 같이 추적하지 않으면, 편익은 「어딘가 사라진」 걸로 처리된다.
스테이지 게이트 — 전액 승인이 아니라 단계 승인
지표가 잡히기 시작하면 결재의 문법 자체가 바뀐다. 전액 승인 vs 반려의 이분법에서, 스테이지 게이트로 옮겨간다. 실현 지표를 근거로 다음 예산 라운드를 여는 방식이다.
예를 들어 이렇게 짤 수 있다. 1단계로 3개월 6천만 원 승인 — 목표 지표는 「대상 워크플로 3개에서 speed 20% 이상, adoption 50% 이상」. 이 게이트를 통과하면 2단계로 6개월 1억 8천만 원 승인 — 목표는 「cost per unit 25% 이상 절감, quality 지표 유지」. 통과하면 3단계로 조직 전사 확대.
이 프레임의 힘은 결재자의 심리에 있다. 임원 입장에선 총 3억 원짜리 안건을 한 번에 결재하는 것보다, 6천만 원을 먼저 태우고 「나온 숫자로 다음을 결정한다」는 안건이 훨씬 서명하기 쉽다. 실무자 입장에서도, 처음부터 3억을 받은 프로젝트보다 게이트를 통과한 프로젝트가 조직 내 정치적 방어력이 훨씬 세다. 최근 국제 조사에서 「구조화된 프레임을 쓰는 조직이 24개월 내 3.5배 return을 내고, positive return 확률도 3배」라는 결과가 나온 것도 이 맥락이다.
「가치실현 담당」이라는 조직의 등장
이 흐름을 조직 차원에서 소화하기 위해, 최근 해외에서 Value Realization Office라는 부서명이 자주 언급되기 시작했다. 이름 그대로 「도입한 것에서 실제 가치가 나오는지 추적하는 조직」이다. 국내에선 아직 이름 붙은 부서는 드물지만, 지난 몇 달간 대기업 CDO 조직에서 「AI 사업기획팀」이나 「AI 성과관리 파트」라는 이름으로 비슷한 역할이 생기는 걸 봤다. 담당자는 대개 한두 명이다. 그런데 이 한두 명이 있는 조직과 없는 조직의 차이가 결재 회의실에서 명백히 드러난다. 있는 쪽은 숫자로 말하고, 없는 쪽은 여전히 「체감상」으로 말한다.
중견·중소기업이 이걸 굳이 부서로 만들 필요는 없다. 다만 도입 프로젝트마다 「지표 소유자」 한 명을 지정하는 것만으로도 결재판이 완전히 달라진다. 그 사람이 스코어카드 4줄을 매달 업데이트하고, 게이트 시점에 임원 앞에 서면 된다. 이 역할이 없는 프로젝트는, 아무리 도입이 잘 돼도 두 번째 예산을 못 받는다.
마무리 — 다음 회 예고
지표를 세팅한다는 건 결국 「감으로 말하지 않겠다」는 선언이다. 그리고 그 선언은 이상하게도 결재 회의실뿐 아니라 프로젝트 내부의 사기에도 영향을 준다. 「우리가 뭘 했는지」가 매달 눈에 보이면, 팀은 다르게 움직인다. 반대로 지표가 없으면 잘한 것도 안 잡히고, 못한 것도 안 잡힌다. 결국 다들 지친다.
다음 회에는 이 시리즈를 마무리하는 회고편으로, 도입 1년 후 실제로 든 총비용과 세 가지 교훈을 정리한다. 결재 시점의 예산서와 1년이 지난 뒤의 결산서를 나란히 놓고 봤을 때 무엇이 어긋났는지, 그 어긋남에서 뽑아낼 수 있는 교훈은 무엇인지 — 시리즈 전체의 총결산이 될 예정이다.
ROI 지표 세트를 어디서부터 잡아야 할지, 우리 조직의 기준선을 어떻게 잰 다음 스코어카드 4줄로 정리할지 — 지표 세트 진단을 함께 해보고 싶다면 5years+ 로 문의를 남겨두면 된다. 한국·일본 도입 사례를 놓고, 결재판에 실제로 올라간 스코어카드 예시와 함께 이야기 나누는 자리로 열려 있다.