결재판 위에 안 올라간 숫자들
지난 회에서 API 구독과 자체 구축 사이의 손익분기 이야기를 다뤘다. 월 2~3억 토큰, 청구서로 800만 원 선을 이야기하자 어떤 담당자가 회의실에서 이렇게 말했다. 「그건 알겠고, 그래서 이걸 1년 굴리는 데 도대체 얼마가 더 드는 건가요.」
이 질문이 결재의 진짜 관문이다. 도입가는 견적서 첫 페이지에 있지만, 운용비는 어디에도 없다. 그리고 대개는 도입가보다 오래, 그리고 더 조용히 나간다.
AI 도입비가 아니라 AI 운용비
2026년의 여러 벤치마크가 얼추 비슷한 숫자를 가리킨다. 초기 구축비의 15~25%가 매년 유지비로 나간다는 것. 국내 SI 견적을 봐도 크게 다르지 않다. 3~5년 시야로 확장하면 배포 이후의 lifecycle 작업이 전체 TCO의 40~60%를 차지한다. 일부 리서치에선 3분의 2까지 잡는다.
문제는 이 숫자가 견적서 어디에도 안 잡힌다는 점이다. 왜 그럴까. 하나는 관행이다. 국내 SI는 오랫동안 「구축」을 팔아왔고, 「운용」은 별도 계약이나 매년 갱신으로 넘겼다. 하나 더는 예측이 어렵다는 것. 아직 만들지도 않은 기능에 대한 유지비를 어떻게 견적내는가.
그래서 결재자에게 도착하는 문서는 개발비만 크게 쓰여 있고, 그 옆에 「※ 운용비 별도」라는 각주 한 줄이 붙는다. 이 각주가 3년이 지나면 전체 비용의 절반이 된다.
네 갈래의 지속 비용
운용비를 뜯어보면 대체로 네 갈래로 갈린다. 어느 하나만 걸리는 프로젝트는 거의 없다.
(a) 인프라·API 사용료의 팽창. 처음엔 퍼블릭 클라우드가 유리하다. 초기 트래픽이 예측 불가능하니 종량제가 안전하다. 그런데 사용량이 안정되고 트래픽이 일정 수준을 넘어서면 이야기가 뒤집힌다. ZDNet Korea가 올여름 짚었듯이 GPU 이용료·데이터 전송·저장 비용이 겹치면서 퍼블릭이 오히려 비싸지는 지점이 온다. 서버·메모리·반도체 가격의 상승세가 이 곡선을 더 가파르게 만들고 있다. 결과는 일부 대기업의 「프라이빗·온프렘 회귀」다. 다시 옮기는 이전 비용까지가 사실상 숨은 비용이다.
(b) 관측·평가 도구. LLM 관측성 시장은 2026년 27억 달러에서 2030년 93억 달러로 CAGR 36%가 예상된다. 이 숫자가 낯설다면 자기 회사 견적으로 환산하면 된다. Langfuse는 Free tier부터, 유료는 $29/mo, 엔터프라이즈 $2,499/년. Arize AX는 Free(Phoenix)와 $50/mo. 소규모라면 Langfuse Self-Host + Helicone + OpenAI Usage 정도로 월 $50 안쪽에서 시작할 수 있다. 정작 비용의 핵심은 이 도구 자체가 아니라 이걸 세팅하고 대시보드를 매일 읽는 「사람의 시간」이다. 그게 유지비의 진짜 몫이다.
(c) 재학습과 파인튜닝. 재학습은 스케줄이 아니라 신호로 굴린다. 즉 「분기마다 한 번」이 아니라 「드리프트가 감지되면」이다. 실무에서는 대개 분기별로 한 번씩 걸리긴 한다. 소규모 파인튜닝 1회의 GPU 비용은 $20~$50 수준이면 붙기도 한다. 그런데 정직하게 말해 그 비용이 문제였던 프로젝트를 본 적이 없다. 진짜 비용은 데이터 준비·라벨링·검증에 붙는 사람의 시간이다. GPU 청구서보다 라벨러·검수자 인건비가 대개 몇 배다. 2026년에 자율 재학습 파이프라인(감지→재학습→검증→배포)이 트렌드로 얘기되지만, 「사람이 정책만 검토하는」 최소 구성조차 세팅에 두어 달이 든다.
(d) 추가개발·기능 확장. 이게 아마 견적서에서 가장 안 잡히는 항목이다. 초기 스코프에 없던 기능이 배포 3개월 안에 다섯 개는 요청된다. 「이 기능 하나만 붙이면」, 「고객사가 이걸 물어봐서」의 다섯 개다. 각각은 작은 개발이지만, 다섯이 겹치면 한 사람의 상반기다.
「작고 끝」이 비싼 이유
처음엔 이렇게 생각했다. 「작게 시작하면 운용비도 작을 것」이라고. 실제로는 다르다. 위의 네 갈래는 규모와 상관없이 다 걸린다. 관측 도구는 트래픽이 적어도 세팅해야 하고, 재학습은 데이터가 적어도 검증 절차는 같고, 인프라는 최소 인스턴스 요금이 있다.
결과적으로 소규모 도입에도 「스케일과 무관한 고정 유지비」가 매년 나간다. 손익분기가 늦게 오는 이유이기도 하다. 소규모여서 저렴한 게 아니라, 소규모일수록 유지비 비율이 오히려 커진다. 이 부분을 결재판에 안 올리면 2년차에 사업부장이 「이거 원래 이 정도 드는 거였나요」라는 메일을 쓴다.
컴플라이언스라는 새 각주: EU AI Act
2026년 8월, EU AI Act의 고위험 시스템 조항이 발효됐다. post-market monitoring과 corrective action의 문서화가 의무다. 한국 SMB와 무관해 보이지만, EU 고객사의 데이터를 다루거나 유럽 시장에 서비스를 태우는 순간 걸린다. 드리프트 모니터링을 「해두면 좋은 것」에서 「하지 않으면 계약을 못 하는 것」으로 옮겨놓는 조항이다. 앞에서 얘기한 (b) 관측·평가 도구 비용을 「옵션」에서 「고정비」로 바꾸는 조항이기도 하다.
결재판엔 개발비만 오른다
3년 TCO의 40~60%가 운용에서 나오는데, 결재판에는 개발비만 오른다. 이 관행이 바뀌지 않으면 프로젝트는 첫해에 흑자로 보고되고 3년차에 「예상치 못한 비용」으로 재보고된다. 견적을 넘겨받는 결재자라면 문서 마지막 페이지의 「※ 운용비 별도」를 그냥 넘기지 말고, 「그래서 그게 얼마입니까」를 물어야 한다. 그 답이 없다면 견적 자체가 미완성이다.
구독 대 자체 구축의 손익분기 이야기는 지난 회에서 다뤘다. 오늘은 그 계산식에 원래 들어갔어야 하는데 대개 빠져 있는 항목들 이야기였다.
다음 회는 이 총비용 위에 ROI를 어떻게 숫자로 얹어 결재판을 통과시키느냐, 지표 세트 이야기다. 그 자리에서 오늘 다룬 운용비 항목들이 왜 지표 설계의 출발점이 되는지가 자연스럽게 이어질 것이다.
내부에서 이 총비용 프레임을 잡는 중이라면, 5years+에 초기 견적 검토를 요청하는 것도 방법이다. 결재판에 오르기 전 단계에서 개발비와 운용비를 한 장으로 정리한다.