핵심 요약

  • 테런스 타오는 AI가 가설을 대량으로 만들 수 있게 된 만큼, 검증과 평가가 과학의 병목이 됐다고 본다.
  • AI의 도움으로 에르되시 문제 50여 개가 풀렸지만, 타오가 관찰한 순수 AI의 단번 해결은 초기의 짧은 기간 이후 줄었다.
  • 타오의 논문에는 AI 덕분에 코드·그림·문헌 조사 결과가 늘었다. 가장 어려운 수학적 부분은 여전히 주로 직접 푼다.
  • 형식 증명 도구 Lean은 완성된 증명의 단계를 살피는 데 유용하다. 유망한 추측이나 부분적 진전을 평가하는 일은 아직 형식화하기 어렵다.

가설보다 검증이 어려워진 과학

타오는 케플러의 행성 운동 법칙을 예로 들었다. 케플러는 행성 궤도가 기하학적 도형에 들어맞는다는 아름다운 이론을 세웠지만, 튀코 브라헤의 관측 자료와 맞지 않았다. 오랜 분석 끝에 그는 원이 아닌 타원 궤도 등을 찾아냈다. 타오는 새로운 생각을 시험하는 과정뿐 아니라, 기존 관측보다 훨씬 정밀했던 브라헤의 자료가 이 성과에 필수적이었다고 강조한다.

오늘날 AI는 한 문제에 관한 설명과 가설을 수없이 만들어낼 수 있다. 타오에 따르면 이제 어려운 일은 그것들을 검증하고, 실제 진전과 막다른 길을 가르는 것이다. 그는 AI가 생성한 투고가 학술지 심사자에게 부담을 주고 있으며, 개별 논문을 놓고 수년간 토론하던 방식으로 대량의 제안을 평가하기는 어렵다고 말한다.

평가에는 정답 여부 이상의 문제가 있다. 타오는 코페르니쿠스의 초기 이론이 당시의 프톨레마이오스 이론보다 단순했지만 정확도는 낮았고, 케플러의 작업을 거쳐서야 더 정확해졌다고 설명한다. 아직 불완전한 생각이 훗날 생산적인 이론으로 이어질지 현재의 성적만으로 판단하기 어렵다는 뜻이다.

에르되시 문제에서 드러난 성과와 범위

타오의 설명에 따르면 대담 당시 AI의 도움으로 에르되시 문제 50여 개가 해결됐다. 다만 AI가 문제를 한 번에 푸는 사례가 이어지던 시기는 지나갔고, 이후에는 사람과 여러 AI 도구가 증명 전략을 제안·비판하고 수치 자료와 문헌을 확인하며 함께 해결하는 방식이 두드러졌다.

타오는 AI가 널리 알려진 기법을 여러 문제에 적용하는 데 강하다고 평가한다. 해결된 문제 상당수는 관련 문헌이 거의 없었고, 덜 알려진 기법과 기존 결과를 결합하면 풀 수 있었다는 설명이다. 반면 기존 방법으로 해결되지 않는 부분을 만나 새로운 기법을 만들어야 할 때는 아직 한계가 있다고 말한다. AI가 제안한 길을 따라가다 결국 성립하지 않는다는 사실을 확인하는 데 더 많은 시간을 쓸 때도 있었다.

그는 체계적으로 문제를 훑으면 개별 문제에서 AI 도구의 성공률이 약 1~2%인 경우가 있다고 밝혔다. 많은 문제를 시도한 뒤 성공 사례만 보면 능력을 과대평가하기 쉽다. 타오가 성공 사례와 실패 결과를 함께 볼 수 있는 표준 문제 집합을 중요하게 여기는 이유다.

폭넓은 탐색과 깊은 연구의 결합

타오는 현재 AI가 많은 문제를 폭넓게 탐색하는 데, 인간 전문가가 한 문제를 깊이 파고드는 데 강점이 있다고 본다. AI가 새로운 분야의 쉬운 관찰을 넓게 모으고 어려운 지점을 찾아내면, 전문가가 그 지점에 집중하는 방식이 가능하다는 구상이다. 다만 이런 폭넓은 연구를 어떻게 조직하고 평가할지는 아직 익숙한 방법이 없다고 덧붙였다.

그가 구분하는 또 다른 한계는 부분적 진전의 축적이다. 연구자들은 실패한 전략을 고치고, 그 과정에서 무엇이 가능한지 이해를 쌓는다. 타오에 따르면 현재 AI는 여러 번 시도해 답을 얻을 수 있지만, 실패에서 얻은 이해를 지속적으로 쌓아 다음 문제에 쓰는 모습은 부족하다. 새 세션에서는 앞서 한 작업을 기억하지 못한다는 점도 지적했다.

생산성은 빨라진 작업만으로 측정되지 않는다

타오의 논문에는 과거보다 코드와 그림, 수치 자료, 깊은 문헌 조사가 많이 들어간다. 예전에는 몇 시간이 걸렸을 그래프를 이제 몇 분 만에 만들 수 있고, 괄호 크기 같은 서식도 AI 에이전트에 맡긴다. 그러나 그는 예전 방식으로 썼을 논문을 같은 수준으로 다시 만든다면 절약되는 시간은 그리 크지 않다고 말했다. AI가 논문을 더 풍부하고 폭넓게 만들었지만, 가장 어려운 문제를 푸는 핵심 작업의 속도는 크게 바꾸지 않았다는 평가다.

타오는 답에 이르는 과정 자체가 수학자의 직관을 기르는 훈련이라고도 말한다. 답을 곧바로 얻으면 무엇이 참일 듯한지, 무엇을 증명하기 어려운지 배우는 과정이 약해질 수 있다. 한편 많은 문제와 풀이 방식을 비교하는 실험은 AI 덕분에 이전보다 시도하기 쉬워졌다.

증명의 검증과 아이디어의 평가는 다른 문제다

Lean은 수학적 증명을 형식적으로 표현하고 확인하는 도구다. 타오는 AI가 만든 길고 복잡한 증명이라도 각 보조정리를 따로 살피고, 중요한 단계와 통상적인 단계를 가려내며, 증명을 다시 정리할 수 있다고 본다. 에르되시 문제에서도 AI가 만든 긴 증명을 다른 AI와 사람이 요약하거나 다시 쓰는 작업이 이뤄졌다고 설명했다.

하지만 어떤 추측이 유망한지, 어떤 전략이 진전인지 판단하는 일에는 Lean의 증명 검사와 같은 기준이 없다. 타오는 가우스가 소수 자료에서 통계적 규칙을 찾아 소수정리를 추측한 사례를 들었다. 관찰은 증명이 아니었지만 후속 연구의 방향을 열었다. 타오는 전략과 추측의 설득력을 일부 평가할 수 있는 반형식적 틀을 바란다고 말하면서도, 이를 만드는 구체적인 계획은 아직 없다고 선을 그었다.

타오가 예상하는 다음 변화

타오는 10년 안에 수학 학생이 지금 하는 일과 오늘날 논문에 들어가는 작업의 상당 부분을 AI가 수행할 수 있다고 예상한다. 그렇다고 수학자의 모든 지적 작업을 대체할 시점을 제시하지는 않았다. 현재 도구에는 뚜렷한 강점과 약점이 함께 있으며, 인간과 AI의 협업이 상당 기간 중요할 것이라는 견해다.

그는 효율만 높이는 데 따른 손실도 언급했다. 계획된 원격 회의에서는 복도나 커피 자리의 우연한 만남이 줄었고, 자료를 즉시 찾아보는 방식에서는 도서관 서가에서 다른 논문을 발견하던 경험이 사라졌다는 것이다. 타오는 이런 우연이 연구에 도움이 될 수 있다고 본다. 그의 전망은 AI의 성과를 인정하면서도, 어떤 작업과 경험이 실제 수학적 진전으로 이어지는지는 계속 살펴야 한다는 데 머문다.