AI가 페르마를 증명한 날, 수학자는 왜 불안해졌나
AI가 수학 문제를 푼다는 말은 이제 별로 놀랍지 않다. 놀라운 것은 그 다음 장면이다. AI가 낸 답이 맞는지 확인할 수 있게 되었을 때, 인간 연구자는 무엇을 해야 할까.
Anthropic은 Claude가 Lean이라는 증명 보조 언어로 페르마의 마지막 정리에 대한 첫 번째 end-to-end 컴퓨터 검증 증명을 만들었다고 발표했다. 발표에 따르면 Claude는 11일 동안 대체로 자율적으로 작업했고, 1,300만 줄의 Lean 코드와 29,500개의 중간 정리를 생성했다. 수학사에서 상징성이 큰 문제를 AI가 기계 검증 가능한 형태로 다뤘다는 점에서, 이건 그냥 모델 성능 뉴스가 아니다.
동시에 수학자들의 우려도 터져 나왔다. A Severe Misalignment of AI in Mathematics라는 선언은 AI 기업들이 유명 수학 문제 해결을 벤치마크처럼 밀어붙이는 방향이 수학 공동체의 목표와 어긋난다고 비판한다. 선언문은 수학의 목적이 단순한 참/거짓 명제 생산이 아니라 구조, 방법, 아이디어, 학생을 키우는 긴 과정이라고 말한다.
나는 이 충돌이 꽤 중요하다고 본다. 이건 “AI가 수학자를 대체하느냐”의 문제가 아니다. 더 정확히는 이런 질문이다.
정답이 빨리 생산되는 시대에, 이해는 누가 만들 것인가?
페르마의 마지막 정리는 왜 상징적인가
페르마의 마지막 정리는 일반 독자에게도 이름은 익숙한 문제다. 17세기 페르마가 남긴 짧은 주장 하나가 수백 년 동안 수학자들을 붙잡았고, Andrew Wiles의 증명은 1990년대에야 완성됐다. Anthropic의 발표도 이 역사적 상징성을 전면에 둔다. Wiles의 첫 증명은 129쪽에 달했고 검증에 긴 시간이 필요했는데, 이번 작업은 그 복잡한 증명을 컴퓨터가 확인할 수 있는 형식 언어로 옮겼다는 점이 핵심이다.
여기서 중요한 단어는 “증명했다”보다 “형식화했다”에 가깝다. 새 정리를 발견했다기보다, 인간 수학자가 만든 거대한 논증을 Lean이라는 시스템 안에서 컴퓨터가 검사 가능한 형태로 재구성한 것이다.
물론 이것만으로도 엄청난 일이다. 수학 증명은 한 줄의 계산이 아니라 긴 논리 사슬이다. 그 사슬의 어느 한 부분이 비면 전체가 무너진다. AI가 이 과정을 대규모로 자동화할 수 있다면, 논문 검증, 정리 재사용, 교육 자료 구성 방식은 달라질 수밖에 없다.
그런데 바로 그 지점에서 불안이 생긴다.
수학자는 정답보다 과정을 두려워한다
수학계 선언문이 걱정하는 것은 AI가 정답을 낸다는 사실 자체가 아니다. 오히려 문제는 정답이 너무 빠르게, 너무 많이, 너무 결과 중심으로 쏟아지는 상황이다.
수학에서 유명한 문제는 단순한 트로피가 아니다. 그것은 세대에 걸쳐 연구자들이 주변 개념을 만들고, 방법을 정교화하고, 학생을 훈련시키고, 새로운 언어를 얻는 일종의 등대 역할을 해왔다. 어떤 문제를 풀었다는 사실보다, 그 문제를 풀기 위해 만들어진 방법과 이해가 공동체의 자산이 된다.
AI가 이 과정을 건너뛰듯 “정답”을 내놓기 시작하면 어떤 일이 벌어질까. 형식 검증상 참인 결과는 늘어나지만, 사람이 이해하고 가르치고 확장할 수 있는 설명은 부족해질 수 있다. 선언문이 말하는 “true/false statements의 대량생산”에 대한 우려가 바로 여기에 있다.
이건 수학만의 문제가 아니다. 대학 교육, 정책 연구, 컨설팅, 소프트웨어 개발에서도 비슷한 일이 벌어진다.
- 보고서 초안은 빨리 나온다.
- 코드 수정안도 빨리 나온다.
- 비교표와 요약표도 금방 생긴다.
- 하지만 그 결과가 왜 맞는지, 어디까지 믿을 수 있는지, 누가 설명할 수 있는지는 별개의 문제다.
AI 리터러시의 핵심은 AI 결과를 받아쓰는 능력이 아니다. AI가 만든 결과를 사람이 이해 가능한 구조로 다시 편집하는 능력이다.
검증은 충분조건이 아니다
AI 시대에는 “검증 가능하다”는 말이 굉장히 강력해진다. 특히 Lean 같은 형식 증명 시스템은 사람이 눈으로만 확인하는 것보다 더 엄격한 검사를 제공할 수 있다. Anthropic도 이번 작업을 수학 지식의 신뢰를 높이는 방향으로 설명한다.
나도 이 가능성은 긍정적으로 본다. 복잡한 증명이나 소프트웨어, 정책 문서에서 사람이 놓치는 오류를 기계가 잡아준다면 분명히 좋은 일이다. 대학 연구에서도 재현성, 데이터 분석, 코드 검증, 문헌 추적에 AI와 형식 도구가 붙으면 연구 품질은 올라갈 수 있다.
하지만 검증은 충분조건이 아니다.
검증은 “틀렸는가?”에 답할 수 있다. 이해는 “왜 중요한가?”에 답해야 한다. 검증은 논리 사슬의 결함을 찾는다. 이해는 그 사슬을 사람이 배울 수 있는 순서로 재배열한다. 검증은 결과를 통과시킨다. 이해는 그 결과를 교육과 연구의 언어로 바꾼다.
그래서 AI 시대 연구의 병목은 단순히 검증이 아니다. 진짜 병목은 검증된 결과를 공동체가 이해하고 사용할 수 있는 지식으로 바꾸는 편집 능력이다.
인간 연구자는 편집장에 가까워진다
AI가 연구자의 일을 없앤다는 말은 너무 단순하다. 내가 보기엔 인간 연구자의 일은 점점 편집장에 가까워진다.
편집장은 글을 직접 다 쓰지 않아도 된다. 하지만 무엇이 중요한지, 어떤 순서로 보여줘야 하는지, 독자가 어디서 막힐지, 어떤 주장을 버려야 하는지, 어떤 표현을 책임질 수 없는지 판단한다.
AI 시대의 연구자도 비슷하다.
- AI가 만든 결과 중 의미 있는 것을 고른다.
- 검증 가능한 것과 설명 가능한 것을 구분한다.
- 중간 추론을 사람이 따라갈 수 있게 재구성한다.
- 교육 가능한 예시와 순서를 만든다.
- 공동체가 받아들일 수 있는 언어로 번역한다.
- 과장된 성과 홍보와 실제 지식 기여를 구분한다.
이건 Human-in-the-loop보다 조금 더 강한 역할이다. 사람이 중간에 승인 버튼만 누르는 것이 아니라, 결과의 의미와 맥락을 다시 설계해야 한다.
대학 교육은 더 어려운 질문을 받게 된다
대학 교육 관점에서 보면 이 이슈는 꽤 직접적이다. 학생이 AI로 문제를 풀었다. 답은 맞다. 그러면 학습은 일어난 걸까?
예전에는 답을 얻는 과정 자체가 학습이었다. 문제를 붙잡고, 실패하고, 다른 풀이를 읽고, 친구와 설명하고, 교수자의 피드백을 받는 과정에서 사고가 만들어졌다. 그런데 AI가 풀이를 즉시 제공하면, 학생은 정답을 빠르게 얻지만 그 정답을 생산하는 사고를 통과하지 않을 수 있다.
그렇다고 AI 사용을 단순히 금지하는 것도 답은 아니다. 연구와 실무에서 AI를 쓰게 될 학생에게 AI 없는 세계를 전제한 교육만 제공할 수는 없다. 문제는 허용 여부가 아니라 과제 설계다.
앞으로 좋은 과제는 이런 식으로 바뀔 가능성이 크다.
| 예전 질문 | AI 시대 질문 |
|---|---|
| 답을 구하시오 | AI가 낸 답의 전제와 오류 가능성을 설명하시오 |
| 증명을 작성하시오 | 증명을 세 단계 수준으로 재구성하시오: 전문가용, 동료용, 입문자용 |
| 요약하시오 | 요약에서 빠진 관점과 출처를 보완하시오 |
| 코드를 작성하시오 | AI가 작성한 코드의 테스트, 보안, 유지보수 위험을 평가하시오 |
| 자료를 조사하시오 | 자료의 신뢰도와 이해관계, 누락된 반례를 제시하시오 |
그러니까 AI 시대의 평가는 정답 제출에서 끝나면 안 된다. 학생이 그 답을 이해했는지, 설명할 수 있는지, 반례와 한계를 볼 수 있는지, 다른 맥락으로 옮길 수 있는지를 봐야 한다.
AI가 지식을 늘릴수록 인간의 방부제가 필요하다
나는 요즘 AI가 만드는 지식을 볼 때 “방부제”라는 표현이 자주 떠오른다. AI는 지식 생산 속도를 올린다. 그런데 빠르게 생산된 지식은 빠르게 썩기도 한다. 출처가 흐려지고, 맥락이 떨어지고, 검증 기준이 사라지고, 누가 책임지는지 모르는 문장이 쌓인다.
수학계 선언문이 던진 경고는 이 지점에서 넓게 읽을 수 있다. AI가 지식을 많이 만들수록, 인간은 더 많은 지식을 소비하는 사람이 아니라 지식이 썩지 않게 관리하는 사람이 되어야 한다.
그 방부제는 거창하지 않다.
- 출처를 남긴다.
- 중간 과정을 설명한다.
- 검증 가능한 부분과 해석한 부분을 구분한다.
- 학생과 동료가 다시 배울 수 있는 순서로 정리한다.
- 과장된 성과와 실제 기여를 나눈다.
- 결과가 아니라 방법을 공동체의 자산으로 남긴다.
이런 일은 느리다. 그래서 더 중요하다. AI가 빠르게 만든 결과를 인간이 느리게 이해 가능한 지식으로 바꾸지 않으면, 우리는 정답은 많은데 배움은 얕은 이상한 시대에 들어갈 수 있다.
결국 문제는 수학이 아니라 지식 공동체다
이번 논쟁을 “AI가 드디어 수학자도 대체한다”로 읽으면 너무 납작하다. 핵심은 AI가 정답 생산 비용을 낮췄을 때, 지식 공동체가 무엇을 보존해야 하느냐다.
수학자는 문제를 푸는 사람만이 아니다. 좋은 문제를 고르고, 풀이의 의미를 설명하고, 다음 세대가 배울 수 있는 언어를 만들고, 공동체의 기준을 지키는 사람이다. 대학도 마찬가지다. 교육기관의 역할은 정답 배달이 아니라 이해의 구조를 만드는 일이다.
AI가 페르마를 형식화한 날, 수학자가 불안해진 이유는 밥그릇 때문만은 아닐 것이다. 어쩌면 더 본질적인 불안은 이것이다.
우리가 정답을 얻는 동안, 이해를 키우는 과정은 누가 돌볼 것인가?
이 질문은 수학자에게만 해당하지 않는다. AI를 쓰는 모든 연구자, 교사, 컨설턴트, 기획자에게 해당한다. AI가 더 많은 답을 가져올수록 인간에게 남는 일은 더 선명해진다.
정답을 믿기 전에 검증하고, 검증된 답을 이해 가능한 지식으로 편집하고, 그 지식이 다음 사람에게 이어지도록 구조를 만드는 일.
나는 그게 AI 시대 인간 연구자의 핵심 업무가 될 거라고 본다.