2023년, DeepMind의 AI ‘알파텐서(AlphaTensor)’가 50년간 깨지지 않던 행렬 곱셈 최적화 기록을 갱신했다. 수학자들이 수십 년을 씨름하던 문제를, AI가 며칠 만에 해결했다. 이 사건 이후 수학계의 분위기가 조용히 달라지기 시작했다.
수학은 오랫동안 인간 직관의 독점 영역이었다. 복잡한 수식 속에서 새로운 패턴을 캐내고, 그 패턴으로 가설을 세운 뒤, 오랜 시간 논리를 쌓아 증명에 이르는 과정. 그게 수학이었다. 하지만 최근 AI 기술의 발전은 이 공식을 흔들기 시작했다. 단순히 계산 속도를 높이는 수준이 아니라, AI가 스스로 수학적 아이디어를 생성하고 패턴을 인식하며 난제 해결의 실마리를 제공하는 방식으로.
AI가 수학 연구의 판을 어떻게 바꾸나
전통적인 수학 연구는 수학자의 깊은 통찰에 기댄다. 수많은 시행착오, 긴 숙고, 그리고 어느 날 갑자기 찾아오는 영감. 현대 수학은 그 복잡성이 이미 인간 인지 능력의 한계에 닿아 있는 경우가 많다. 변수가 수백 개, 경우의 수가 수십억 개를 넘어가는 문제들. 여기서 AI가 끼어들 여지가 생긴다.
- 데이터 기반 패턴 인식: AI는 수천만 개의 수학적 데이터를 분석해 인간이 미처 발견하지 못한 복잡한 관계를 찾아낸다. 특정 정수열에서 반복되는 구조라든지, 그래프 이론에서 드물게 등장하는 연결 패턴 같은 것들이다.
- 가설 자동 생성: 발견된 패턴을 토대로 새로운 수학적 가설을 만들고, 검증할 방향까지 제시한다. 수학자가 “이런 게 성립하지 않을까?” 하고 직감으로 던지는 것을, AI는 데이터로 뒷받침하며 던진다.
- 증명 과정 보조: 복잡한 증명의 특정 단계를 자동화하거나 논리 오류를 잡아낸다. 긴 증명에서 사람이 실수로 넘기는 구멍을 AI가 잡아주는 식이다.
이게 단순한 계산기 역할이 아니라는 게 핵심이다. AI는 수학적 사고 자체를 확장하는 촉매로 작동한다.
AI는 어떤 방식으로 패턴을 잡아내나
크게 두 가지 접근법이 있다.
- 기계 학습 기반 데이터 분석: 정수열, 그래프, 기하학적 구조처럼 다양한 수학적 객체와 그 관계를 대규모로 학습한다. 이 과정에서 AI는 특정 조건에서 반복적으로 나타나는 특징이나 예상 밖의 연결 고리를 스스로 추출한다. 특정 종류의 그래프가 갖는 고유한 속성을 학습한 뒤, 처음 보는 그래프에서도 비슷한 속성을 예측하거나 분류하는 식이다.
- 강화 학습 기반 탐색: AI가 수학 문제를 ‘게임’처럼 접근하는 방식이다. 다양한 수나 함수를 조작하면서 결과를 확인하고, 목표에 가까워질수록 보상을 받는다. 알파고(AlphaGo)가 인간이 생각하지 못한 창의적인 수를 뒀던 원리와 같다. 수학에서는 새로운 정리나 증명 경로를 탐색하는 데 쓰인다.
결국 AI는 인간 뇌가 무의식적으로 하는 연상 작용과 패턴 인식을, 훨씬 더 넓고 깊은 스케일로 수행하는 셈이다.
기존 연구 방식과 뭐가 다른가
AI가 수학 연구에 본격적으로 개입하면서 가장 달라진 건 직관의 범위와 탐색 속도다. 수학자 한 명이 평생을 바쳐야 겨우 발견할 수 있었던 복잡한 관계를, AI는 단 시간에 수십만 가지 경우의 수를 뒤지며 찾아낸다. 조합론이나 정수론처럼 변수가 많고 데이터가 방대한 분야에서 이 차이가 특히 뚜렷하다.
- 처리 속도와 규모: 인간 두뇌가 처리할 수 있는 정보량에는 한계가 있다. AI는 수억 개의 데이터를 병렬로 처리한다. 비교 자체가 무의미할 정도다.
- 편향 감소: 수학자는 특정 이론이나 접근 방식에 익숙해지다 보면 자연스럽게 편향이 생긴다. AI는 데이터와 규칙에 기반해 다양한 가능성을 탐색하기 때문에 그런 선입견이 없다. 물론 학습 데이터의 편향이 들어올 수 있다는 건 별개 문제지만.
- 예측과 제안: 기존 데이터를 분석해 새로운 수학적 구조나 특성을 예측하고, 이를 증명하기 위한 구체적인 방법론까지 제안한다. 수학자 입장에서는 “어디서부터 시작하지?” 하는 막막함을 AI가 걷어주는 격이다.
수학자들이 ‘무엇을 연구할 것인가’라는 질문 자체를 다시 던지게 만든다는 점에서, 이건 단순한 도구 이상의 변화다.
AI가 실제로 잘 풀어내는 문제 유형
AI가 수학 난제 전부를 해결한다는 건 아직 과장이다. 하지만 특정 유형에서는 이미 실력을 증명했다.
- 숨겨진 규칙 찾기: 특정 수열이나 그래프에서 반복되는 패턴을 발견하거나, 특정 조건에서만 나타나는 특이점을 잡아내는 문제다. 소수의 분포 패턴, 복잡한 조합론적 구조 분석 등이 여기 해당한다.
- 경우의 수가 폭발하는 문제: 인간이 일일이 확인하기 불가능한 수준의 탐색이 필요한 문제들이다. 최적화 문제, 그래프 이론의 특정 성질 증명, 특정 조건을 만족하는 수학적 객체 탐색 등이다.
- 가설 생성과 반례 찾기: AI가 기존 이론과 데이터를 바탕으로 새로운 가설을 제안하고, 참인지 거짓인지 판단하기 위한 예시나 반례를 찾는 작업이다. 수학자가 “혹시 이게 성립할까?” 하는 가설을 던지면, AI가 빠르게 검증 재료를 쏟아낸다.
- 타 분야 데이터에서 수학 구조 추출: 물리학이나 암호학에서 파생된 수학적 문제에서 숨겨진 구조를 찾아내고 예측 모델을 만드는 작업도 AI의 강점이다.
물론 모든 문제를 다 해결하진 못한다. 고차원적인 추상적 사고나 전혀 새로운 개념의 창안은 여전히 인간의 영역이다. 이 부분에서는 솔직히 AI가 아직 부족하다.
수학자에게 AI는 경쟁자인가, 조력자인가
AI가 수학에 파고든다는 소식에 “수학자가 곧 대체되는 거 아니냐”는 시선도 있다. 지금까지 나온 사례들을 보면, 대답은 꽤 명확하다. AI는 강력한 조력자이자 동반자다. 적어도 지금은.
- 아이디어 촉매: AI가 제시하는 패턴이나 가설은 수학자의 상상력 바깥에서 온다. 그 낯선 아이디어가 연구의 방향을 바꾸기도 한다.
- 반복 작업 처리: 복잡한 계산, 데이터 분류, 특정 조건 만족 여부 확인 같은 시간 잡아먹는 작업을 AI가 대신 처리한다. 덕분에 수학자는 개념적 사고에 더 집중할 수 있다.
- 새로운 시각 제공: AI가 발견한 패턴은 때로 인간의 직관과 정반대 방향을 가리킨다. 그게 오히려 문제 해결의 새로운 실마리가 되기도 한다.
수학자의 역할이 사라지지는 않는다. AI가 내놓은 가설과 패턴의 수학적 의미를 해석하고, 엄밀한 증명으로 정립하는 최종적인 작업은 여전히 사람이 해야 한다. AI는 고성능 현미경 같은 것이다. 더 멀리, 더 세밀하게 보여주지만, 결국 보는 건 사람이다.
앞으로 수학 연구는 어떻게 달라지나
미래의 수학 연구는 인간 수학자와 AI가 긴밀하게 맞물려 돌아가는 ‘인간-AI 협업 연구’ 모델로 흘러갈 가능성이 높다.
- 새로운 수학 분야 탄생: AI가 기존 수학 체계로는 설명하기 어려운 새로운 현상이나 구조를 발견하면, 그걸 설명하기 위한 완전히 새로운 수학 분야가 생겨날 수도 있다. 역사적으로 수학은 늘 그런 식으로 확장돼 왔다.
- 수학 교육의 변화: 교육에서도 AI 도구를 활용해 학생들이 복잡한 개념을 시각적으로 이해하고, 직접 탐구하는 방식으로 바뀔 수 있다. 공식을 외우는 교육에서 탐색하는 교육으로.
- 타 학문과의 융합 가속: 수학적 발견 속도가 빨라지면, 물리학·컴퓨터 과학·생물학·금융 같은 분야도 덩달아 빨라진다. 수학은 모든 과학의 기초 언어이기 때문이다.
AI는 수학이라는 오래된 학문에 새로운 자극을 주고 있다. 수학자들이 더 깊고 창의적인 연구에 몰두할 수 있는 환경. MIT Tech Review가 전한 바에 따르면, 이 흐름은 이제 막 시작됐다고 봐야 한다. 어디까지 갈지는, 아직 아무도 모른다.
