AI에 같은 일을 20번 시켰더니, 25%가 망가졌다
데모 영상에서는 분명 잘 됐다. 그런데 같은 모델에 비슷한 작업을 반복해서 맡기면, 어느 순간 결과물이 슬쩍 어긋나기 시작한다. 일본의 한 SIer 엔지니어가 이 감각을 숫자로 잡았다.
Claude Code, Codex, MCP를 활용해 같은 문서를 20회 연속 수정·추가하게 했더니, 평균 25%가 열화됐다. 정보가 빠지고, 없던 사실이 끼어들었다. 메시지는 단순하다 — AI에게 일을 맡기는 방식 자체가 자산이 됐다.
'vibe coding'의 한계가 숫자로 드러났다
"분위기로 AI에 통째로 맡기는 코딩"을 일컫는 vibe coding은 한동안 생산성의 상징처럼 통했다. 검증 없는 누적 위임은 결국 노이즈를 쌓는다. 25% 열화라는 숫자는 5~10회 작업마다 인간 검수를 끼워넣어야 한다는 실무 가이드로 이어진다.
AGENTS.md, SKILL.md, DESIGN.md — 세 장의 지시서
같은 시기에 다른 흐름도 빠르게 자리잡았다. AGENTS.md는 OpenAI·Google·Sourcegraph·Cursor·Factory가 공동으로 만든 표준이며, 2025년 12월 Linux Foundation에 기증됐다. Anthropic은 Claude Skills와 함께 SKILL.md를, 2026년 4월 Google Labs는 디자인 시스템 사양 DESIGN.md를 공개했다.
DESIGN.md에는 npx @google/design.md lint라는 검증 CLI까지 따라붙는다. 지시서 3종 세트가 갖춰진 셈이다. AI 에이전트가 읽고 따를 수 있는 명세 파일이 코드만큼 중요해졌다는 신호다.
비개발자가 9일 만에 사내 도구를 만들었다
한국에서는 네이버 D2가 인상적인 사례를 공개했다. 기술 PM이 "조직 생산성을 어떻게 측정할까"라는 질문에서 출발해, 사내 가이드 문서와 AI를 옆에 두고 9일 만에 자체 측정 도구를 완성했다. 사내 DevOps 보드의 DORA 지표만으로는 부족했고, 더 세분화된 분석이 필요했기 때문이다.
핵심은 '비개발자'였다는 점이다. 잘 정리된 사내 지식을 AI가 읽을 수 있는 형태로 두면, 코드를 써본 적 없는 사람도 9일이면 동작하는 도구를 들고 나타난다.
2,450엔으로 PV 한 편
창작 영역에서도 같은 패턴이 보인다. Claude Desktop에서 Higgsfield(AI 동영상 생성)를 MCP로 연결해, 한 사람이 약 2분짜리 오리지널 곡 PV를 당일에 완성했다. 비용은 ¥2,450, Higgsfield Starter Plan 한 달치였다.
한국 B2B가 지금 해야 할 일
샌프란시스코의 Railway가 AI 네이티브 클라우드라는 이름으로 1억 달러를 모은 것도 같은 맥락이다. 도구는 빠르게 표준화되고, 가격은 빠르게 내려간다. 차이를 만드는 건 도구가 아니라, 회사의 지식을 AI에게 어떻게 떠먹여 줄지에 대한 설계다.
AI 에이전트 도입 사례는 5years+ 포트폴리오에서 더 자세히 볼 수 있다.
오늘의 액션 아이템
- 지시서 파일을 만들어라. 사내 코드와 도메인 지식을 AGENTS.md/SKILL.md/CLAUDE.md 같은 형식으로 정리한다. 한 번 만들면 모든 AI 도구가 공유한다.
- 20회 무인 위임을 끊어라. 5~10회마다 인간 검수 단계를 워크플로에 못박는다. 25% 열화는 검증 없는 누적이 만든 결과다.
- 비개발자에게 AI를 쥐여줘라. 사내 가이드만 잘 정리되어 있으면, 비개발 직군도 9일 안에 자체 도구를 만들 수 있다. 작은 PoC부터 시작하라.
무료 상담 신청 — 지시서 파일 설계와 AI 워크플로 구축, 5years+가 도와드립니다.
자주 묻는 질문
vibe coding은 항상 위험한가요?
아닙니다. 짧은 단발성 작업이나 프로토타입 단계에서는 여전히 강력합니다. 다만 같은 컨텍스트에 누적해서 맡기는 장기 작업에서 열화가 생깁니다. 인간 검수 지점을 명시적으로 끼워넣는 게 핵심입니다.
AGENTS.md를 도입하려면 무엇부터 해야 하나요?
리포지토리 루트에 빈 AGENTS.md를 만들고, "이 코드베이스에 처음 들어온 엔지니어에게 30초 안에 알려주고 싶은 것"부터 적습니다. 빌드 명령, 테스트 방법, 도메인 약어, 회피해야 할 패턴 정도로 시작하면 충분합니다.
비개발자도 정말 도구를 만들 수 있나요?
네. 단, 도메인 문서가 정리되어 있어야 합니다. 정리된 사내 가이드, AI 에이전트, 명확한 목표가 갖춰지면 9일이라는 기간이 결코 과장이 아닙니다.