1999년 영국 NHS가 내놓은 해법은 심플했다. “응급실 대기, 4시간 이내 처리.” 측정하기 쉽고, 목표도 명확했다. 수치는 금방 좋아졌다. 근데 현장을 들여다보면 뭔가 이상했다. 4시간이 다 차오르기 직전에 환자를 임시로 ‘처치 완료’로 처리해버리고, 실제 치료는 나중으로 밀어두는 일이 생겼다. 숫자는 성공. 환자 상태는 악화. 지표가 현실을 개선한 게 아니라 현실을 흉내 낸 거다.
이게 지표의 역설이다. 측정하면 나아진다고 믿었는데, 현실이 왜곡된다. 지표를 도입하는 순간 사람들은 현실을 바꾸는 대신 지표를 바꾸기 시작하니까.
굿하트의 법칙: 측정이 목표가 되는 순간 지표는 망가진다
경제학자 찰스 굿하트(Charles Goodhart)가 1970년대에 정리한 원칙이다. 한 줄로 요약하면:
“어떤 지표가 목표 자체가 되는 순간, 그것은 더 이상 좋은 지표가 아니다.”
반세기가 지났는데 아직도 정확하게 들어맞는다. 학교 시험 점수를 최우선으로 삼으면 학생들은 점수 올리기에만 최적화된다. 진짜 이해도나 창의적 사고력 말고. 영업팀 전화 통화 횟수가 KPI가 되면? 짧고 알맹이 없는 통화가 폭증한다. 콜센터 평균 통화 시간 단축이 목표가 되면 상담사는 고객 문제가 해결되기 전에 전화를 끊어버린다. 지표가 바뀌면 행동이 바뀐다. 근데 현실이 아니라 지표에 맞게 바뀌는 게 문제다.
개인 생활도 별반 다르지 않다. 읽은 페이지 수를 기록하다 보면 두꺼운 책 대신 얇은 책만 손이 간다. 운동 횟수를 세다 보면 형식적인 5분짜리 운동이 늘어난다. 지표는 강력하다. 그리고 바로 그 강력함이 위험하다.
숫자가 드러내지 못하는 것들
지표가 잡아내는 건 현실의 일부다. 나머지는 그냥 안 보인다.
- 팀워크와 신뢰: 개인 성과 지표에 잘 안 잡힌다. 조직 성과에는 결정적인데.
- 장기적 고객 관계: 분기 매출 KPI로는 포착이 안 된다. 단기 수치를 위해 장기 신뢰를 갈아 넣는 결정이 여기서 나온다.
- 창의성과 혁신: 수치화가 어렵다. 지표 중심 조직에서 혁신이 죽는 이유가 바로 이거다.
- 직원 번아웃: 생산성 지표는 번아웃 직전까지 양호하게 보인다. 조직이 이걸 감지할 때쯤이면 이미 늦다.
MIT 테크 리뷰가 전한 바에 따르면, 지표는 유용한 것을 드러내는 동시에 더 많은 것을 가리거나 왜곡한다. 10년 넘게 자신의 삶을 정밀하게 추적해 온 사람조차 이 이중성을 이해하는 데 그만큼의 시간이 걸렸다고 고백한다. 이건 그 사람이 둔해서가 아니다. 측정이라는 행위 자체에 내재된 속성이다.
실제로 벌어진 지표 왜곡의 역사
역사책을 펼치면 이 함정의 사례가 널려 있다.
베트남전쟁의 킬 카운트(Kill Count): 미군은 사망자 수를 전쟁 승리의 핵심 지표로 삼았다. 결과는? 민간인 사망자까지 전투원으로 집계하는 왜곡이 벌어졌다. 숫자는 좋아 보였는데, 전쟁은 졌다.
웰스파고 계좌 스캔들(2016년): 직원 1인당 신규 계좌 수를 핵심 KPI로 설정했다. 직원들은 고객 동의 없이 수백만 개의 계좌를 열었다. 수십억 달러짜리 벌금, 150년 역사의 브랜드 신뢰가 흔들렸다. 지표 하나가 이 지경으로 만들었다.
소련의 못 생산 쿼터: 개수를 목표로 삼으면 작은 못만 잔뜩 만들었다. 무게를 목표로 삼으면 쓸모없이 큰 못 하나만 만들었다. 지표가 바뀔 때마다 생산이 왜곡됐다. 우스운 얘기처럼 들리지만 지금도 어딘가에서 벌어지고 있다.
이 사례들의 공통점. 지표가 결과를 측정하는 도구에서 그 자체가 목표로 변했다는 거다.
AI 시대, 알고리즘 지표의 새로운 함정
AI와 데이터 분석 기술이 발전하면서 지표 의존도는 오히려 더 높아졌다. 더 많은 걸 더 빠르게 측정할 수 있으니까. 근데 이 흐름이 굿하트의 법칙을 더 강력하게 작동시킨다.
소셜미디어 플랫폼들이 ‘참여도(Engagement)’를 핵심 지표로 설정한 사례가 대표적이다. 알고리즘은 참여도를 극대화하는 콘텐츠를 밀어준다. 가장 참여도가 높은 콘텐츠가 뭔지 알면 놀랍지도 않다. 분노와 공포를 자극하는 자극적 콘텐츠다. 플랫폼 입장에서는 지표가 성공이었는데, 사회적 비용은 어마어마했다.
AI 모델 평가에서도 같은 문제가 나온다. 벤치마크 점수가 높으면 좋은 AI라고 믿기 쉽다. AI 개발사들이 벤치마크를 의식하고 개발하면, 모델은 실제 사용자 경험이 아니라 벤치마크에 최적화된다.
- 추천 알고리즘: 클릭률(CTR) 최적화 → 자극적 콘텐츠 범람
- 채용 AI: 과거 채용 데이터 기반 지표 → 기존 편향 강화
- 신용 평가 AI: 상환율 지표 최적화 → 특정 집단 구조적 배제
지표가 알고리즘과 결합하면 왜곡의 속도와 규모가 사람의 통제를 벗어난다. 개인이나 조직이 눈치채기도 전에 시스템이 잘못된 방향으로 달려버리는 거다.
지표를 제대로 쓰는 3가지 원칙
지표가 위험하다고 해서 없애야 한다는 뜻은 아니다. 올바르게 쓰는 방법이 있다.
1. 지표는 증거지 목표가 아니다
지표는 현실의 일부를 보여주는 창이다. 창이 현실 자체가 되면 안 된다. KPI 달성 여부보다, KPI가 정말 원하는 결과를 반영하고 있는지를 주기적으로 질문해야 한다. “이 숫자가 좋아진 게 진짜로 좋아진 건가?” 이 질문이 습관이 되어야 한다.
2. 반지표(Counter-metric)를 함께 운용하라
하나의 지표만 쓰면 그 지표에 최적화된 행동이 나온다. 판매량 KPI에는 고객 만족도·환불율 같은 반지표를 짝지어야 한다. 콜센터 통화 시간 단축 지표에는 문제 해결률 지표를 반드시 붙여야 한다. 세트다.
3. 측정되지 않는 것도 관리 대상임을 인정하라
“측정되지 않으면 관리되지 않는다”는 격언. 반만 맞다. 팀원의 사기, 고객과의 신뢰, 장기적 브랜드 가치는 수치화하기 어렵지만 조직의 생존을 좌우한다. 이건 지표 대신 정성적 리뷰, 정기 면담, 고객 인터뷰로 보완해야 한다.
숫자 너머를 보는 조직이 살아남는다
결국 지표는 도구다. 도구를 잘 쓰려면 그 한계를 정확히 알아야 한다. 망치가 있다고 모든 문제를 못으로 볼 필요는 없다.
정말 강한 조직은 지표를 참고하되, 지표에 지배당하지 않는다. 숫자가 좋아 보여도 현장에서 직접 확인하고, 지표가 이상하게 좋아지면 오히려 의심한다. 어떤 지표를 선택하느냐는 어떤 현실을 볼 것인지를 결정하는 일이다.
개인도 마찬가지다. 생산성 앱에 모든 시간을 기록하고 최적화하는 것보다, 가끔 기록을 멈추고 “지금 내가 정말 중요한 일을 하고 있나?”를 자문하는 게 더 나은 결과를 만들 때가 있다.
숫자는 강력하다. 그 이유로, 숫자를 믿기 전에 숫자를 의심하는 습관이 필요하다.
AI리서치팀
Home-In-One AI리서치팀은 인공지능, 머신러닝, 생성형 AI의 최신 동향과 실용적 활용법을 연구합니다. ChatGPT, 클로드, 미드저니 등 AI 도구 비교 분석과 활용 가이드를 제공합니다.