MMLU 91.2점. HellaSwag 95.3점. 신규 AI 모델 발표 자료에 이런 숫자들이 쭉 나열되면 뭔가 대단해 보인다. 근데 막상 실무에 붙여보면 어딘가 어색하고, 기대와 다르다는 느낌이 든다. 리더보드 1위 모델이 왜 우리 팀 업무에서는 맥을 못 출까. 이 괴리, 생각보다 흔한 문제다.
벤치마크가 뭔지부터 짚고 가자
AI 벤치마크는 모델 성능을 수치로 비교하기 위한 표준화 시험 세트다. ‘AI계의 수능’이라고 보면 된다. 개발자들은 이 점수로 모델의 강점과 약점을 파악하고, 사용자들은 어떤 모델이 더 나은지 가늠한다. 대표적인 게 방대한 주제에 걸쳐 4지선다 문제를 푸는 MMLU(Massive Multitask Language Understanding)고, 코딩 능력을 재는 HumanEval도 많이 쓰인다.
문제는 AI가 이 시험에 너무 익숙해지고 있다는 거다. 일부 모델은 벤치마크 데이터셋으로 직접 훈련되는 ‘오염(contamination)’ 문제에 빠진다. 정답을 미리 외우고 시험장에 들어가는 셈이니 점수가 높게 나오는 건 당연하다. MIT 테크놀로지 리뷰 보도를 보면 이 문제가 꽤 심각하게 지적되는데, 결국 이건 AI의 진짜 문제 해결 능력이 아니라 특정 시험 유형에 대한 패턴 매칭 능력만 드러내는 거다.
시험은 잘 보는데 실무는 왜 못 할까
현재 벤치마크 대부분은 명확한 정답이 있는 단일 과제 평가에 맞춰져 있다. 수학 문제 풀기, 코드 완성, 4지선다. 깔끔하다. 근데 실제 업무는 전혀 그렇지 않다.
- 맥락의 부재: 고객 불만 이메일에 답장하는 일을 생각해 보자. 단순히 글 쓰는 능력만 필요한 게 아니다. 고객 감정 읽기, 이전 상담 이력 파악, 회사 정책 반영까지 한꺼번에 처리해야 한다. 벤치마크는 이런 총체적인 맥락 이해를 측정하지 못한다.
- 다단계 추론의 한계: ‘A 보고서 요약하고, B 데이터 참고해서 비판적 시각의 보고서 쓰고, C 형식 이메일 초안 만들어줘’ 같은 요청은 각 단계를 따로 보면 잘 해낼 수 있어도, 전체 흐름을 유기적으로 연결하는 건 또 다른 문제다.
- 창의성과 모호함: 새 마케팅 슬로건을 만들거나 디자인 시안에 추상적인 피드백을 주는 일은 정답 자체가 없다. 벤치마크 점수로는 이 영역을 절대 알 수 없다.
벤치마크 점수는 모델의 ‘기초 체력’을 보여주는 참고 자료다. 실제 프로젝트에서의 실전 능력까지 보장하지는 않는다.
그럼 뭘 봐야 하나: 실용적인 평가 기준 3가지
리더보드 순위에서 한 발 떼고, 실제로 따져야 할 기준을 세워야 한다. 특정 모델을 도입하기 전에 아래 3가지는 꼭 확인하자.
1. 작업 관련성 (Task Relevance): 법률 문서 검토, 소스코드 버그 찾기처럼 우리 회사가 해결하려는 구체적인 문제에서의 성능이 핵심이다. 범용 지식 테스트 점수가 아무리 높아도, 우리 도메인에서 엉뚱한 답을 내놓으면 아무 소용 없다.
2. 비용 효율성 (Cost-Effectiveness): 모델 성능은 API 호출 비용, 응답 속도(latency)와 직결된다. 성능이 10% 나은 모델 쓰려고 비용이 2배 되면 합리적인 선택이 아닐 수 있다. 대규모 사용자 대상 서비스라면 응답 속도는 결정적인 변수다.
3. 안전성 및 신뢰성 (Safety & Reliability): 일관성 있는 답변을 내놓는지, 사실이 아닌 내용을 그럴듯하게 지어내는 ‘환각(Hallucination)’ 현상이 얼마나 잦은지 반드시 확인해야 한다. 유해하거나 편향된 결과물을 막는 안전장치도 평가 항목에 넣어야 한다.
자체 벤치마크 만들기: 이게 제일 확실하다
외부 벤치마크 대신 ‘자체 벤치마크’를 만드는 것. 번거롭지만 이게 가장 확실한 방법이다.
- 핵심 과제 정의: AI로 해결하고 싶은 업무 3~5가지를 구체적으로 정한다. ‘고객 문의 이메일 3줄 요약’, ‘제품 설명서 초안 작성’ 같은 식으로. 추상적으로 잡으면 나중에 평가 기준이 흔들린다.
- 테스트 데이터셋 구축: 실제 업무 데이터 50~100개를 샘플로 준비한다. 실제 고객 이메일, 내부 보고서가 가장 좋은 시험 문제다. 공개 데이터셋을 쓰면 오염 문제를 피하기 어렵다.
- 블라인드 테스트 진행: GPT-4o, Claude 3.5 Sonnet, Gemini 1.5 Pro 같은 후보 모델들에게 동일한 데이터로 과제를 수행하게 한다. 어떤 모델이 어떤 결과를 냈는지 모르는 상태에서 평가해야 선입견을 걷어낼 수 있다.
- 정성적 평가: ‘성공/실패’ 이분법 말고, ‘결과 만족도’, ‘업무 효율 기여도’, ‘수정 필요 정도’ 등 다각도로 점수를 매긴다. 실제 그 업무를 담당하는 팀원이 직접 평가에 참여하는 게 핵심이다.
이 과정을 거치면 투자수익률(ROI)이 가장 높은 모델을 찾아낼 수 있다. 시간이 걸려도 이 과정은 건너뛰면 안 된다.
다음 평가 기준은 ‘협업 능력’이 될 것
AI 평가의 방향이 서서히 바뀌고 있다. ‘인간을 이기는 기계’에서 ‘인간을 돕는 동료’로. 모호한 지시를 받았을 때 부정확한 답을 바로 내놓기보다, 명확한 질문을 되묻는 능력. 사용자의 실수를 보완하고 여러 대안을 제시하며 더 나은 결과를 유도하는 협업 능력. 이게 새로운 잣대가 될 거다.
단순히 코드를 짜주는 AI보다, 코드의 잠재적 문제를 지적하고 더 효율적인 구조를 제안하는 AI가 실제 팀에서 훨씬 쓸모 있다. 이건 벤치마크 점수에 잡히지 않는다.
최고의 AI는 없다. 최적의 AI만 있다
AI 모델 성능 벤치마크는 출발점으로는 유용하다. 하지만 그 숫자가 전부가 아니다. 리더보드 1위라는 숫자에 눌려 정작 우리에게 필요한 게 뭔지 놓치면 안 된다.
벤치마크는 참고하되, 우리 문제와 우리 데이터로 직접 테스트하는 과정이 있어야 한다. 결국 절대적인 최고의 AI는 없다. 우리 팀의 문제를 가장 잘 해결해주는 ‘최적의 AI’가 있을 뿐이다. 그 모델을 찾는 데 공을 들이는 것, 그게 AI 도입의 진짜 첫걸음이다.
AI리서치팀
Home-In-One AI리서치팀은 인공지능, 머신러닝, 생성형 AI의 최신 동향과 실용적 활용법을 연구합니다. ChatGPT, 클로드, 미드저니 등 AI 도구 비교 분석과 활용 가이드를 제공합니다.