체스판에서는 이미 인간을 한참 앞서간 AI다. 그런데 초등학생도 곧잘 푸는 미로 찾기나 성냥개비 퍼즐 앞에서는 자주 멈칫한다. GPT, 클로드, 제미나이 같은 최신 모델에 논리 퍼즐 몇 개만 던져봐도 이 허점은 금방 드러난다. 점수판 숫자는 화려한데, 막상 손으로 풀려보면 딴판인 경우가 꽤 많다. 왜 이런 일이 생기는지, AI 성능을 제대로 가늠하려면 뭘 봐야 하는지 정리해봤다.
AI 벤치마크, 대체 뭘 재는 시험일까
AI 벤치마크는 모델 능력을 숫자로 비교하려고 만든 표준화된 문제 세트다. 사람으로 치면 수능이나 토익 같은 거다. 개발사들이 신모델 낼 때마다 “전작보다 몇 % 향상”이라고 내세우는 근거가 바로 이 점수인데, 문제는 시험 종류가 너무 많고 시험마다 재는 능력도 제각각이라는 점이다. 수학은 잘 푸는데 상식 문제엔 헤매는 모델도 있고, 코딩은 잘하면서 공간 추론은 형편없는 경우도 흔하다.
실무에서 자주 쓰는 AI 지능 테스트 5가지
업계에서 자주 인용되는 테스트를 추려보면 이렇다.
- MMLU: 역사, 법학, 의학 등 57개 분야 객관식 문제로 폭넓은 지식을 잰다
- GPQA: 박사급 전문가도 쩔쩔매는 과학 문제 모음. 구글 검색으로도 못 푸는 난이도가 특징이다
- HumanEval / SWE-bench: 실제 코드 작성과 버그 수정 능력을 평가하는 코딩 테스트
- ARC-AGI: 색깔 블록 패턴을 보고 규칙을 유추하는 문제. 사람은 직관적으로 풀지만 AI는 여전히 낮은 점수대에 머문다
- 체스·바둑·전략 게임 벤치마크: 규칙이 명확한 환경에서 계획 세우는 능력을 확인한다
AI가 유독 못 푸는 문제들
언어 기반 지식 문제는 해마다 점수가 쭉쭉 오르는데, 공간 추론이나 시각 패턴 문제는 진전이 더디다. ARC-AGI처럼 “규칙을 직접 찾아내야 하는” 문제에서는 상위권 모델조차 20~30% 정답률에 그치는 일이 많다. 물체 개수 세기, 미로 경로 찾기, 시각적 대칭 판단처럼 사람에겐 거의 본능에 가까운 작업이 AI한테는 오히려 어렵다. 학습 데이터에 정답 패턴이 충분치 않거나, 언어로 설명하기 힘든 감각적 판단이 필요한 영역이라 그렇다.
벤치마크 점수만 믿고 모델 고르면 안 되는 이유
벤치마크 점수와 실제 써본 경험이 어긋나는 경우, 생각보다 잦다. 원인은 크게 두 가지다. 하나는 데이터 오염. 벤치마크 문제와 정답이 이미 학습 데이터에 들어가 있으면, 모델이 “풀었다”기보다 “외웠다”에 가깝다. 다른 하나는 리더보드 최적화다. 특정 시험 점수 올리는 데만 튜닝을 집중하면 다른 영역 성능이 희생되기도 한다. 그래서 회사들이 내놓는 벤치마크 표만 믿고 도구를 정하면, 막상 써봤을 때 실망하는 일이 생긴다. 이건 좀 억울한 부분이다.
내 손으로 직접 AI 지능 테스트 해보는 법
직접 확인하고 싶다면 이런 방식이 유용하다.
- 같은 논리 퍼즐을 챗봇 3~4개에 동시에 물어보고 답을 비교한다
- 정답보다 풀이 과정을 요구해서 논리가 맞는지 확인한다 (답만 맞고 과정은 틀린 경우가 의외로 많다)
- 숫자 세기, 방향 감각, 시간 계산처럼 쉬워 보이지만 헷갈리는 문제로 테스트한다
- 같은 질문을 표현만 바꿔서 두 번 물어보고 답이 일관되는지 본다
- 실제로 반복하는 업무, 그러니까 이메일 작성이나 코드 리뷰, 데이터 정리 같은 걸로 직접 검증한다
벤치마크 사이트 점수보다 이런 실전 테스트가 도구 선택엔 훨씬 도움이 된다.
결국 뭘 기준으로 골라야 하나
벤치마크는 대략적인 방향 잡는 참고 자료 정도로 보면 된다. 코딩용이면 SWE-bench나 HumanEval 점수를, 학습·연구용이면 MMLU나 GPQA 점수를 먼저 확인하고, 최종 판단은 본인이 자주 쓰는 업무로 직접 테스트해서 내리는 게 안전하다. 점수표 상위권이라고 무조건 최선은 아니다. 특정 영역에서 약점이 뚜렷한 모델이 다른 영역에서는 압도적인 경우도 많다. 결국 벤치마크를 보는 이유는 하나다. 내 용도에 맞으면서 약점 없는 모델을 찾는 것.
