로보택시가 멈췄다. 문은 열리지 않았다
중국 베이징 도로 위에서 Baidu의 자율주행 택시가 갑자기 멈췄다. '시스템 장애'였다. 승객들은 차 안에 최대 두 시간을 갇혀 있었다. 차는 움직이지 않았고, 문도 제대로 열리지 않았다. 밖에서 도움을 청하거나 비상 해제 방법을 몰랐던 사람들은 그냥 기다렸다.
AI가 결정을 내리는 시스템은 대부분 '잘 작동할 때'를 기준으로 설계된다. 문제는 잘 작동하지 않을 때다. 그 순간, 시스템은 멈추고 사람은 남는다. 그리고 책임은 아무도 지지 않는 진공 상태가 생긴다.
효율적이지만, 공정한가
같은 날 MIT 연구진이 하나의 프레임워크를 공개했다. AI 자율 시스템이 내리는 의사결정에서 '보이지 않는 편향'을 사전에 탐지하기 위한 도구다. 핵심 질문은 단순하다. AI가 비용을 최소화하고 효율을 극대화하는 방식으로 작동할 때, 그 과정에서 특정 집단이 불이익을 받고 있지는 않은가.
예를 들어, 전력망 최적화 AI는 전체 효율을 높이는 방향으로 전력을 분배한다. 그런데 그 결과가 특정 지역이나 계층에 일관되게 불리하게 작용한다면? 시스템은 '잘 작동'했지만, 공정하지 않은 결과를 낸 셈이다. AI는 그 차이를 모른다. 아무도 AI에게 물어보지 않았기 때문에.
기업 AI도 같은 문제를 안고 있다
이건 자율주행이나 전력망 같은 거대 인프라만의 이야기가 아니다. 채용 AI가 특정 학교 출신에게 더 높은 점수를 주도록 학습됐다면? 고객 신용평가 AI가 특정 지역 주소를 리스크 요인으로 간주한다면? 수요 예측 AI가 특정 제품군에만 과도하게 재고를 배정한다면?
이 모든 경우에서 AI는 데이터를 기반으로 '최적의' 결정을 내렸다. 하지만 그 데이터 안에는 이미 편향이 들어 있었다. AI는 그 편향을 학습하고, 더 정교하게, 더 빠르게, 더 일관되게 재현한다. 그리고 그 결정이 자동화되는 순간, 아무도 그 편향을 의심하지 않는다.
Baidu 사태가 상징하는 건 단순한 기술 오류가 아니다. 시스템을 만든 사람도, 운영하는 사람도, 탄 사람도 — 아무도 "이 시스템이 실패하면 어떻게 되나"를 충분히 생각하지 않았다는 점이다.
AI 도입 전에 물어야 할 3가지
이 AI는 무엇을 기준으로 최적화하고 있나: '비용 절감'과 '고객 만족'은 종종 충돌한다. AI가 어느 쪽을 우선하도록 설계됐는지 명확히 알아야 한다. 모르면, AI가 알아서 결정한다.
이 AI가 틀렸을 때 어떻게 복구하나: 자동화 시스템에는 반드시 수동 개입 경로가 있어야 한다. 로보택시 문이 열리지 않았던 건 시스템 장애가 아니라 설계 실패였다.
이 AI의 결정으로 불이익을 받는 집단이 있나: 고객, 직원, 파트너사 중 AI 도입 이후 특정 집단의 경험이 일관되게 나빠지고 있다면, 그건 시스템에 편향이 내재돼 있다는 신호다.
이 질문들에 선뜻 답이 안 나온다면, AI 도입 전에 한 번 짚어볼 필요가 있다. 무료 상담 신청으로 우리 회사 AI 운영 방식을 함께 점검해볼 수 있다.
AI는 결정을 내리지 않는다. 설계를 따를 뿐이다
AI는 나쁜 의도를 갖지 않는다. 그저 주어진 목표를 최대한 충실하게 따를 뿐이다. 문제는 그 목표를 정한 사람, 그 데이터를 준 사람, 그 시스템을 검증하지 않은 사람에게 있다. 로보택시 승객들이 갇혔을 때 책임자를 찾기 어려웠던 것처럼, AI 시스템의 결함은 책임의 소재를 흐린다. 그래서 더 위험하다.
AI를 도입한다는 건, 그 AI가 내리는 결정에 대한 책임까지 함께 가져간다는 뜻이다. 그 책임을 설계 단계에서 명확히 하는 회사가, 사고가 났을 때 덜 흔들린다.
자주 묻는 질문
AI가 잘못된 결정을 내렸을 때 법적 책임은 누가 지나요?
현행법상 AI 자체는 법적 주체가 아니기 때문에, 책임은 AI를 설계하거나 운영한 기업에 귀속되는 경우가 대부분입니다. 다만 아직 명확한 판례가 많지 않아 책임 소재가 불분명한 사례도 많습니다. 도입 전에 계약서와 SLA에 AI 오류에 대한 책임 조항을 명시해두는 것이 현실적인 대비책입니다.
AI 편향은 어떻게 발생하고, 중소기업도 겪을 수 있나요?
AI 편향은 학습에 사용된 데이터에 특정 패턴이 과도하게 반영될 때 발생합니다. 예를 들어 과거 채용 데이터가 특정 연령대나 성별에 편중돼 있다면, AI는 그 편향을 그대로 학습합니다. 중소기업도 외부 AI SaaS를 도입하는 순간 이 문제에서 자유롭지 않습니다. 어떤 데이터로 학습된 모델인지 공급사에 확인하는 것이 첫 번째 단계입니다.
AI 자동화 도입 시 가장 먼저 점검해야 할 것은 무엇인가요?
'이 시스템이 멈추면 어떻게 되는가'를 먼저 생각해야 합니다. 자동화가 실패했을 때의 수동 복구 절차, 담당자 지정, 알림 체계가 갖춰져 있지 않으면 장애가 발생했을 때 피해가 걷잡을 수 없이 커집니다. 기술 도입보다 운영 설계가 먼저입니다.