수학자들이 'AI 경고'를 보내기 시작했다 — 증명을 누가 믿을 것인가

AI가 수학 올림피아드 금메달 수준의 문제를 풀었다는 뉴스, 한 번쯤 보셨을 겁니다. 그런데 정작 수학자들의 반응이 묘합니다. 박수를 치는 대신, 점점 더 많은 사람들이 “잠깐, 이거 위험할 수도 있다"고 손을 들기 시작했는데요. 문제를 푸는 게 아니라, 그 풀이를 누가 믿을 것인가가 핵심이기 때문입니다.

AI는 이제 ‘푸는’ 단계를 넘었습니다

불과 몇 년 전만 해도 AI의 수학 실력은 계산기 수준이었습니다. 큰 숫자를 곱하거나 공식에 값을 대입하는 정도였죠. 그런데 지금은 완전히 다른 국면입니다.

대형 언어모델과 전용 추론 시스템이 결합되면서, AI는 단순 계산이 아니라 증명을 시도하고 있습니다. 증명은 수학의 심장입니다. “답이 42다"가 아니라 “왜 반드시 42여야만 하는가"를 논리의 사슬로 엮어내는 작업이죠. 인간 수학자가 몇 달, 때로는 몇 년씩 매달리는 바로 그 일입니다.

이제 AI는 이 영역에서 의미 있는 결과를 내놓기 시작했습니다. 일부 미해결 난제에서 부분적인 진전을 보이거나, 인간이 놓친 보조정리를 제안하기도 합니다. 표면적으로는 환상적인 소식입니다. 그런데 바로 여기서 균열이 생깁니다.

진짜 문제는 ‘검증’입니다

수학에서 증명은 두 단계로 이뤄집니다. 누군가 증명을 만들고, 다른 누군가가 그걸 검증합니다. 이 검증 과정이 수백 년간 수학의 신뢰를 떠받쳐 온 기둥인데요.

문제는 AI가 만들어내는 증명이 종종 인간이 검증하기 너무 어렵거나, 너무 길거나, 직관적으로 이해되지 않는 형태라는 점입니다. 수십 페이지에 걸친 논리 전개를 사람이 한 줄씩 따라가며 오류를 찾아야 하는데, 그 양과 복잡도가 인간의 검증 능력을 넘어서기 시작했습니다.

여기서 수학자들이 가장 두려워하는 시나리오가 등장합니다. AI가 그럴듯하지만 미묘하게 틀린 증명을 내놓는 경우입니다. 겉보기엔 완벽하고, 99퍼센트가 맞는데, 어딘가 한 군데 결정적인 논리적 비약이 숨어 있는 거죠. 이런 증명은 오히려 명백히 틀린 증명보다 훨씬 위험합니다. 걸러내기가 어렵기 때문입니다.

수학자들이 ‘집단 경고’를 보내는 이유

개별 학자의 우려가 아니라, 학계 차원의 경고가 나오기 시작했다는 점이 이번 흐름의 핵심입니다. 이들이 걱정하는 건 단순히 “AI가 실수할 수 있다"는 게 아닙니다. 학문의 신뢰 구조 자체가 흔들린다는 것입니다.

지금까지 수학 논문은 동료 검토를 거쳐 학술지에 실리고, 다른 수학자들이 그 결과를 신뢰하며 자신의 연구를 그 위에 쌓아 올렸습니다. 일종의 거대한 신뢰의 탑이죠. 그런데 만약 검증되지 않은 AI 증명이 이 탑의 한 층에 슬쩍 끼어든다면 어떻게 될까요. 그 위에 쌓인 모든 연구가 모래성이 될 수 있습니다.

게다가 검증 부담이 폭발적으로 늘어납니다. AI는 인간보다 훨씬 빠른 속도로 증명을 쏟아낼 수 있는데, 그걸 검증할 수 있는 사람은 한정돼 있습니다. 생산은 자동화되는데 검증은 수작업으로 남는 비대칭, 이것이 수학자들이 가장 불안해하는 지점입니다.

해법으로 떠오른 ‘형식 증명’

그래서 주목받는 대안이 형식 증명(formal proof) 시스템입니다. Lean, Coq 같은 증명 보조 도구가 대표적인데요. 핵심 아이디어는 간단합니다. 증명을 사람의 직관이 아니라 컴퓨터가 한 치의 오류도 없이 검증할 수 있는 엄격한 형식 언어로 작성하는 것입니다.

이 방식의 장점은 명확합니다. AI가 형식 언어로 증명을 쓰면, 또 다른 컴퓨터가 그 논리적 정합성을 기계적으로 확인할 수 있습니다. 인간의 검증 한계를 기계의 엄밀함으로 메우자는 발상이죠. 실제로 AI 연구와 형식 증명 도구를 결합하려는 시도가 빠르게 늘고 있습니다.

다만 이것도 만병통치약은 아닙니다. 수학을 형식 언어로 옮기는 작업 자체가 엄청난 노동이고, “기계가 통과시켰다고 해서 그게 수학적으로 의미 있는 결과인가"라는 더 깊은 질문도 남습니다. 검증의 정확성과 결과의 의미는 별개의 문제니까요.

마무리: ‘이해’가 사라진 정답을 우리는 믿을 수 있을까

이번 흐름이 던지는 진짜 질문은 기술적인 게 아닙니다. 철학적인 것입니다. 수학은 단지 정답을 맞히는 학문이 아니라, 왜 그것이 참인지를 인간이 이해하는 학문이었습니다. 그런데 AI가 인간이 이해할 수 없는 방식으로 정답에 도달한다면, 우리는 그걸 수학이라 부를 수 있을까요.

수학자들의 경고는 “AI가 너무 똑똑해서 두렵다"는 단순한 이야기가 아닙니다. 검증할 수 없는 지식을 어디까지 신뢰할 것인가, 이 질문 앞에 학문 전체가 서 있다는 신호입니다. 여러분이라면, 사람은 이해하지 못하지만 기계는 옳다고 보증하는 증명을 받아들이시겠습니까.