AI의 증명 속도에 무릎 꿇는 인간

문화, 기술 저술가 데이비드 사이클백은 AI가 수천에서 수백만 단계에 이르는 증명을 만들어 내는 미래를 상상한다. 형식 검증 도구는 오류가 없다고 판정하지만, 어떤 수학자도 전체 과정을 이해하지 못하는 증명이다. 그렇게 되면 ‘정리가 참임을 확인하는 것’과 ‘그 정리가 왜 참인지 이해하는 것’이 서로 분리된다.

AI 시대 수학 연구를 논의한 라이덴 선언의 공동 저자인 수학자 브리나 크라는 수학의 목적이 단순히 결과를 증명하는 데 있지 않다고 말한다. 수학은 이해를 추구하는 학문이기도 하다. 따라서 하나의 증명이 수학 문헌에 자리 잡으려면 참이라는 판정을 받는 것만으로는 부족하다. 왜 참인지에 대한 설명을 수학 공동체가 공유할 수 있어야 한다.

필즈상 수상자인 수학자 테런스 타오 역시 문제를 푸는 일이 끝이 아니라고 본다. 풀이 뒤에는 검증과 설명, 공동체의 수용, 기존 이론으로의 편입이 이어져야 한다. 이 기준에 따르면 형식적으로 검증됐더라도 인간이 그 이유를 설명할 수 없는 증명은 아직 완전한 수학적 지식이 아니다.

문제는 AI가 증명을 생산하는 속도가 인간의 이해 능력을 앞지를 수 있다는 데 있다. AI가 만든 증명은 검증할 수 있는 속도보다 빠르게 쌓이고, 검증된 결과는 읽을 만한 설명으로 바꾸는 속도보다 더 빠르게 늘어날 수 있다. 출판된 결과조차 기존 지식 체계에 편입되는 속도를 넘어설지 모른다.

인지과학자 패트릭 샤프토, 수학자 켄 오노, 경제학자 스콧 듀크 코미너스가 지적하듯, 이때 가장 희소한 자원은 새로운 결과가 아니라 그것을 확인하고 이해하는 인간의 능력이다. 이해할 수 없는 정답을 지식으로 인정할 것인가. 이 질문은 이제 철학적 논쟁을 넘어, 인간 공동체가 감당할 수 있는 처리 용량의 문제가 되고 있다.

필즈상 수상자가 OpenAI로 간 이유

타오가 내다보는 수학자의 역할은 비교적 안정적이다. AI가 증명 탐색과 검증, 문헌 조사를 맡는 동안 인간은 중요한 문제를 선택하고 결과를 해석해 설명한다. 수학자 위 덩 등이 제시한 낙관적 전망도 비슷하다. 인간이 이론과 연구의 틀을 세우고, 기계가 기술적인 작업을 담당한다는 구도다.

그러나 사이클백은 이러한 분업이 오래가지 않을 수 있다고 본다. AI가 넘기 어렵다고 여겨졌던 고급 수학과 경시 수학, 연구 수학의 경계는 이미 잇달아 무너지고 있다. AI가 이론을 세우고 연구 방향을 정하며 결과까지 설명하게 된다면, 해석 역시 인간만의 역할로 남기 어렵다. 2026년 필즈상 수상자 야코프 치메르만이 수학 분야에 곧 초인적 AI가 등장할 수 있다고 판단해 토론토대를 휴직하고 OpenAI의 안전 연구로 옮긴 것도 이러한 전망과 맞닿아 있다.

인간 해석자가 사라져도 수학 문헌은 계속 늘어날 수 있다. 하지만 필즈상 수상자인 수학자 티머시 가워스는 그 문헌을 함께 이해하는 전문가 집단이 사라진다면, 아무도 읽지 않는 옛 논문과 다를 바 없다고 경고한다. 수학자 대니얼 리트가 그린 미래에서는 저자조차 제대로 읽지 않은 연구 결과가 끝없이 쌓인다. 빠르게 결과를 내는 일에만 보상이 집중될수록 깊이 읽고, 설명하고, 중요한 것을 가려내는 작업은 외면받는다. 그렇게 되면 아무리 많은 정보가 보존되더라도 실제로 활용할 수 있는 지식으로 이어지기 어렵다.

LLM을 쓸 때 뇌 연결성이 끊긴다

이 변화는 연구실보다 글쓰기와 의사결정에서 먼저 드러난다. 2026년 심리학 학술지 《프런티어스 인 사이콜로지》에 실린 연구는 생성형 AI의 사용 방식을 ‘의존형’과 ‘자율형’으로 구분한다. 의존형 사용자는 핵심적인 사고와 결과 평가까지 AI에 맡기고, 그 출력을 최종 결과물로 받아들인다. 반면 자율형 사용자는 AI의 도움을 받되 최종 판단은 스스로 내린다. 의존형 사용이 반복되면 무엇이 중요한지, 어떤 관점을 선택할지, 어떤 결론을 내릴지까지 AI에 넘기게 될 수 있다.

MIT 미디어랩 연구진은 참가자들을 도구 없이 글을 쓰는 집단, 검색을 활용하는 집단, LLM을 사용하는 집단으로 나누어 뇌파를 비교했다. 그 결과 LLM 사용 집단의 뇌 연결성이 가장 약했다. 외부 도구에 대한 의존도가 높을수록 인지 활동도 낮아졌다. 완성된 글은 그럴듯해 보일 수 있지만, 정작 작성자의 이해와 기억은 얕을 수 있다는 뜻이다.

자동화 편향(사람이 자동화된 시스템의 판단을 과신하는 경향)에 관한 연구도 비슷한 위험을 보여준다. 사람은 기계의 권고를 필요 이상으로 신뢰하는 경향이 있다. 특히 검증에 많은 노력이 들수록 잘못된 권고조차 그대로 받아들이기 쉽다.

업계의 한 컨설턴트는 이를 피하려면 첫 질문과 최종 결정을 AI에 맡기지 말아야 한다고 제안한다. 관찰하고 가설을 세우는 일은 사람이 하고, AI에는 자료 조사와 반론 제시를 맡기는 방식이다. AI 시대에 필요한 직관은 새로운 답을 혼자 만들어 내는 능력만을 뜻하지 않는다. AI가 내놓은 답을 채택할지, 보류할지, 기각할지를 스스로 판단하는 과정에서 직관은 유지되고 단련된다.

스스로 책임질 수 있을 때 수용하라

이해하지 못했다는 이유만으로 모든 결과를 거부한다면, 인간의 인지 한계가 곧 지식의 한계가 된다. 따라서 결과 자체의 신뢰성과 그 결과를 실제로 적용하는 문제를 구분해야 한다. 형식 검증이나 반복 실험을 통해 독립적으로 확인된 결과는 인간이 완전히 이해하지 못하더라도 활용할 수 있다. 형식 증명 언어 Lean 같은 증명 검증 도구로 확인한 명제나, 반복 실험과 출처 대조로 검증한 사실이 여기에 해당한다. 사이클백은 이런 결과와 공학, 과학, 안전처럼 지속적인 인간 감독이 필요한 적용을 구별한다.

그러나 글의 핵심 논지나 되돌리기 어려운 업무, 관계의 결정은 다르다. 이런 판단은 결국 자신의 것이어야 한다. 이유를 설명하지 못하는 답을 그대로 받아들이는 순간, 도움을 받는 수준을 넘어 판단 자체를 포기하게 된다. 타오의 기준을 일상에 적용하면 원칙은 간단하다. 자기 말로 설명하고 책임질 수 없는 답은 아직 완성된 답이 아니다.

어떤 결과를 받아들일지는 세 가지 질문으로 판단할 수 있다.

  • 첫째, 같은 조건에서 다른 도구나 사람, 데이터로 다시 검증할 수 있는가?
  • 둘째, 그 결과를 채택한 이유를 자기 문장으로 설명할 수 있는가?
  • 셋째, 오류가 밝혀졌을 때 얼마나 쉽게 되돌릴 수 있는가?

검색으로 재확인할 수 있는 사실이나 언제든 수정할 수 있는 초안은 빠르게 받아들여도 된다. 반면 되돌리기 어려운 결정은 충분히 이해하고, 자신의 직관과 판단을 거친 뒤에 내려야 한다.

인간이 수학의 지적 주도권을 영원히 쥐어야 하는지는 열린 문제로 남겨둘 수 있다. 하지만 글과 삶의 결정에서는 적어도 첫 질문과 최종 판단이 인간에게 남아야 한다. 외부 검증이 끝난 주장은 이해가 늦더라도 ‘옳다’고 인정할 수 있다. 그러나 자신이 책임지고 살아가야 할 답이라면, 스스로 설명할 수 있을 때까지 판단을 보류해야 한다.

출처

#철학#인지

AI와 나 토픽 관련 글 더 보기

함께 읽기