LLM은 추론하지 않는다, 알파고 개발자의 주장

해설자들이 프로그램 오류부터 의심한 수가 있었습니다. 알파고가 이세돌과 맞붙은 대국에서 나온 수인데요. 사람 눈에는 버그로 보일 만큼 낯설었고, 그 선택 뒤에 알파고는 승리를 가져갔죠. 알파고를 함께 만든 연구자 토레 그레펠은 이 장면을 추론 능력이 만들어 낸 창의적 선택으로 설명합니다. 거기서 한 걸음 더 나가요. 지금 널리 쓰이는 LLM에는 그 능력이 없다는 주장.

챗봇 화면에서 ‘추론 중’이라는 문구를 자주 보는 입장에서는 고개가 갸웃해지는 얘기거든요. 화면에는 분명 추론한다고 적혀 있는데, 알파고를 만든 사람은 아니라고 하니까요. 그의 주장을 옮기는 데서 멈출 생각은 없습니다. 추론이라는 한 단어가 가리키는 서로 다른 두 동작을 먼저 나눠 보고, 챗봇 답변을 어디까지 믿고 어떻게 확인하면 좋은지까지 풀어 봅니다.

버그로 오해받은 한 수가 추론의 사례로 불리는 이유

그레펠은 유니버시티 칼리지 런던에서 머신러닝 석좌교수를 맡고 있고, 딥마인드 알파고 팀의 핵심 멤버였던 사람이에요. 그가 MIT 테크놀로지 리뷰에 의견 기고를 실었는데요, 요지는 두 가지입니다. 알파고의 낯선 수를 만든 것은 추론의 힘이었다. 그 힘이 지금의 AI에는 빠져 있다. 구글 딥마인드를 떠난 이유도 여기에 있다고 밝혔어요. 기계 추론에는 알파고의 구조에서 출발하는 새로운 접근이 필요하다는 게 그의 믿음입니다.

글의 성격부터 짚고 가야 합니다. 연구 결과 발표가 아니에요. 의견 기고입니다. 알파고를 직접 만든 사람의 말이라 무게가 실리는 건 맞지만, 학계 전체가 합의한 결론처럼 읽으면 곤란해요. 당사자가 던진 문제 제기, 딱 그 정도로 받아들이는 편이 안전합니다.

해설자들이 오류로 볼 만큼 낯설었다는 대목은 곱씹어 볼 만해요. 사람이 둔 기보에서 흔히 보이던 모양을 따라 한 수였다면 그런 반응이 나오기 어려웠을 테니까요. 익숙한 패턴 바깥에서 더 나은 수를 찾아냈다는 것. 그레펠이 말하는 추론의 핵심은 여기에 있는 것으로 보입니다. 다만 이건 그의 설명을 바탕으로 읽어 낸 해석이지, 그가 추론을 그렇게 정의했다는 얘기는 아니에요.

이어 쓰기와 수읽기, 답을 만드는 길이 다르다

LLM이 답을 만드는 방식은 보통 이렇게 설명됩니다. 앞에 놓인 문맥을 보고 그다음에 올 말을 예측해서 한 조각씩 이어 붙인다. 엄청난 양의 글에서 익힌 패턴이 바탕이라 문장이 매끄럽고, 자주 등장하는 유형의 문제에는 꽤 정확한 답이 나와요.

알파고 같은 시스템은 길이 다릅니다. 지금 둘 만한 후보를 여러 갈래로 펼치고, 몇 수 앞까지 미리 두어 본 다음, 각 갈래가 얼마나 유리한지 평가해서 하나를 고르죠. 바둑에서 말하는 수읽기와 닮았습니다. 놓치기 쉬운 배경이 하나 있는데요, 바둑은 규칙과 승패가 분명합니다. 이 길이 좋은지 나쁜지를 따질 기준이 처음부터 있다는 뜻이에요.

한쪽은 그럴듯하게 이어지는 말을 내놓고, 다른 쪽은 따져 본 결과를 내놓는 셈입니다. 그런데 겉으로는 똑같이 ‘똑똑한 답’처럼 보여요. 같은 단어로 묶이기 쉬운 이유가 여기 있고, 혼동도 여기서 생깁니다. 그레펠의 주장과 일반적인 설명을 한 표에 모으면 아래와 같아요.

표를 볼 때 구분할 게 있습니다. 세 번째 줄은 그레펠의 발언이 아니라 널리 알려진 개념 설명이에요. 그리고 가장 궁금한 대목, 그러니까 그가 알파고 구조 가운데 어떤 요소를 어떻게 가져오려는지는 참고한 원문 요약에 나와 있지 않습니다. 주장의 방향은 분명한데 방법은 비어 있는 상태라, 지금 단계에서 그의 접근이 맞다 틀리다를 가리기는 이릅니다.

화면에 뜨는 ‘추론 중’ 표시가 보여 주는 것

여러 챗봇이 답하기 전에 더 오래 생각하는 모드를 제공합니다. 그 과정을 글로 펼쳐 보여 주기도 하고요. 문제를 단계로 쪼개서 차례로 써 내려가게 하면 한 번에 답을 내놓을 때보다 정확해지는 경우가 많다고 알려져 있어요.

이 기능을 추론이라 불러도 되느냐. 시각이 갈립니다. 비판하는 쪽은 중간 풀이도 결국 이어 쓴 글이어서, 단계 하나하나가 따로 검증된 건 아니라고 봐요. 반대쪽 논리는 이렇습니다. 단계를 나눠 쓰는 것만으로 풀리는 문제가 늘어난다면 실용적으로는 추론이라 불러도 무리가 없다. 그레펠이 이런 모드를 직접 겨냥해 비판했는지는 원문 요약만으로는 알기 어렵습니다.

사용자가 기억해 둘 건 단순합니다. 풀이가 길고 논리 정연해 보인다고 해서 그게 정답의 증거는 아니에요. 대신 풀이가 눈에 보이면 한 줄씩 따라가면서 어긋난 곳을 찾기는 훨씬 쉬워지거든요. 중간 과정은 믿을 근거가 아니라 검토할 재료. 이렇게 놓고 쓰는 편이 맞습니다.

그럴듯한 답과 따져 본 답을 가르는 확인 습관

모든 답을 일일이 검증할 수는 없으니, 확인에 얼마나 공을 들일지부터 정해야 합니다. 기준은 세 가지예요. 틀렸을 때 치르는 비용이 큰가. 답을 다른 방법으로 다시 계산하거나 대조해 볼 길이 있는가. 흔치 않은 조건이 섞여 있는가. 셋 중 하나라도 해당하면 아래 습관을 붙여 보세요.

• 숫자는 따로 돌려 본다. 금액, 날짜, 비율 계산은 계산기나 스프레드시트로 한 번 더 확인합니다. 챗봇에 코드 실행 기능이 있다면 계산을 코드로 처리하게 시키는 것도 방법이에요.
• 조건을 살짝 바꿔 다시 묻는다. 숫자나 이름만 바꿨는데 논리가 흔들린다면, 문제를 따져 본 게 아니라 익숙한 유형에 맞춰 답했을 가능성이 큽니다.
• 단계별 근거를 쓰게 한다. 각 단계가 바로 앞 단계에서 따라 나오는지만 봐도 건너뛴 부분이 드러나요.
• 반대 결론을 요구한다. ‘이 결론이 틀렸다면 어느 단계에서 틀렸겠느냐’고 물으면 약한 고리가 먼저 나옵니다.
• 출처는 원문과 대조한다. 인용문과 수치는 출처를 받아서 직접 열어 봅니다.

맡기기 좋은 일과 조심할 일도 여기서 갈립니다. 초안 쓰기, 요약, 문체 바꾸기, 아이디어 넓히기는 이어 쓰기의 강점이 그대로 살아나는 영역이에요. 여러 제약을 동시에 만족해야 하는 일정 짜기, 경우의 수 따지기, 규정을 낯선 상황에 적용하는 일은 사정이 다릅니다. 한 군데만 어긋나도 전체가 틀어지거든요. 이런 일에는 사람의 검토를 끼워 넣는 편이 안전합니다.

챗봇이 직접 파일을 고치거나 명령을 실행하는 에이전트로 쓰일 때는 확인할 대상이 하나 더 늘어요. 튜링상 수상자 얀 르쿤이 AI 에이전트가 통제를 벗어났다는 사례들을 두고 한 말이 있습니다. 에이전트는 시킨 일을 그대로 했을 뿐이고, 원래 갇혀 있어야 할 샌드박스가 새는 데다 설계가 형편없었다는 취지였어요. 추론 논쟁과는 별개의 사안입니다. 그래도 방향은 통해요. 모델이 얼마나 똑똑한지보다 사람이 쳐 둔 울타리와 권한 범위가 결과를 좌우한다는 얘기니까요.

한국어로 챗봇을 쓰는 사람에게 바뀌는 것은 화면이 아니라 기대치

이 논쟁 때문에 쓰던 서비스의 화면이나 기능이 달라지지는 않습니다. 바뀌는 건 ‘추론’이라는 라벨을 읽는 눈이에요.

이세돌 대국을 지켜본 기억이 있다면 바둑 용어로 옮겨 보는 게 가장 쉽습니다. 정석을 많이 외운 것과 수읽기를 하는 것은 다르잖아요. 정석만으로도 초반은 훌륭하게 둘 수 있죠. 처음 보는 모양이 나오면 얘기가 달라집니다. 직접 읽어야 해요. 지금의 LLM을 정석에 아주 밝은 상대로, 알파고식 시스템을 수읽기까지 하는 상대로 놓고 보면 그레펠의 문제 제기가 어디를 향하는지 감이 옵니다. 물론 이해를 돕자고 끌어온 비유이고, 실제 구조를 정확히 옮긴 설명은 아니에요.

한국어 답변이 유창해졌다는 점도 따로 떼어 봐야 합니다. 문장이 매끄러운 것과 논리가 검증된 것은 다른 문제거든요. 오히려 매끄러울수록 의심 없이 넘어가기 쉽다는 게 함정입니다. 계약 조건 검토나 정산처럼 한 줄이 어긋나면 손해로 이어지는 문서일수록 앞에서 말한 확인 습관이 값을 해요.

앞으로의 변화는 추측의 영역입니다. 그레펠이 말한 방향의 연구가 성과를 낸다면, 답을 내기 전에 여러 경로를 실제로 따져 보는 기능이 일반 사용자용 서비스에 들어올 가능성은 있어요. 가능성, 거기까지입니다. 원문 요약에는 일정도 제품 계획도 언급되지 않았거든요.

확인된 것과 아직 불확실한 것

확인된 것

• 토레 그레펠은 유니버시티 칼리지 런던의 머신러닝 석좌교수이고, 딥마인드 알파고 팀의 핵심 멤버였다.
• 그는 구글 딥마인드를 떠났고, 그 이유로 기계 추론에 새 접근이 필요하다는 믿음을 들었다.
• 알파고는 해설자들이 프로그램 오류로 생각할 만큼 낯선 수를 둔 뒤 이세돌을 이겼다.
• ‘LLM은 추론하지 않는다’는 그의 글은 의견 기고 형식이다.

아직 불확실한 것

• 알파고 구조의 어떤 요소를 어떤 방식으로 가져오려는지. 참고한 원문 요약에는 구체 내용이 없다.
• 그레펠이 어디에서 어떤 형태로 연구를 이어 가는지.
• LLM이 추론을 하는지에 대한 연구자들의 합의. 추론을 어떻게 정의하느냐에 따라 답이 갈리는 열린 논쟁이다.
• 새 접근이 일반 사용자가 쓰는 제품으로 이어질지, 이어진다면 언제일지.

추론이라는 라벨보다 다시 확인할 수 있는 답인지를 본다

LLM이 추론을 하느냐는 질문은 추론을 어떻게 정의하느냐에 따라 답이 달라집니다. 알파고를 만든 연구자가 ‘아니다’ 쪽에 섰다는 건 귀담아들을 신호예요. 하지만 사용자가 그 논쟁의 승패를 기다릴 이유는 없습니다.

실용적인 기준은 하나로 모여요. 받은 답을 내가 다른 방법으로 다시 확인할 수 있는가. 확인 가능한 형태로 답을 받아내고, 틀렸을 때 비용이 큰 일에는 사람의 검토를 한 단계 끼워 넣는 것. 화면에 어떤 문구가 뜨든 이 습관이 있으면 그럴듯한 답에 끌려가지 않습니다.

출처: MIT Tech Review AI

AI리서치팀

Daily News Korea AI리서치팀은 인공지능, 머신러닝, 생성형 AI의 최신 동향과 실용적 활용법을 연구합니다. ChatGPT, 클로드, 미드저니 등 AI 도구 비교 분석과 활용 가이드를 제공합니다.