핵심 요약

  • AI가 코드를 많이 작성하더라도 연구자의 생산성이 같은 비율로 높아지는 것은 아니다. 실험 선택과 결과 판단이 병목으로 남을 수 있다.
  • 보상이 명확한 과제에서는 AI가 연구를 크게 앞당길 수 있지만, 무엇을 목표로 삼을지 정하고 그 목표가 현실에서 유효한지 확인하는 일은 별개의 문제다.
  • 배포 현장에서 얻은 경험을 모델에 계속 반영하는 방식은 기대를 모으지만, 잦은 소규모 학습에는 기존 능력을 잊거나 일반 성능이 떨어지는 문제가 있다.
  • 연구자들은 AI 연구 생산성의 급증과 모든 컴퓨터 기반 업무에서 인간 전문가를 앞서는 시점을 구분했다. 제시한 연도도 실현된 성과가 아닌 전망이다.

빠른 자기개선을 가로막을 수 있는 것

드와케시 파텔은 2036년에도 AI가 세상을 급격히 바꾸지 못했다면 기술적 이유가 무엇일지 물었다. 대담에 참여한 베렌 밀리지, 존 슐먼, 찰리 오닐은 모델의 능력이 계속 높아져도 약한 판단력이나 자기 검증 능력이 전체 연구·개발 과정을 제한할 수 있다고 논의했다. 모델이 사람보다 훨씬 많은 코드를 작성해도 연구 생산성이 곧바로 100배가 되지는 않는다는 것이다.

쟁점은 재귀적 자기개선이다. AI가 다음 세대 AI를 만드는 연구를 수행하고, 그 결과로 다시 자신의 연구 능력을 높이는 과정이다. 모델이 인간 연구자를 넘어서는 순간 다수의 복제본을 병렬로 돌릴 수 있다는 전망이 제시됐다. 반면 현재의 학습 방식이 추가 돌파구를 필요로 한다면, 그 방식으로 훈련한 모델이 돌파구 자체를 찾아낼 수 있을지는 불확실하다는 반론도 나왔다.

실험을 푸는 능력과 실험을 고르는 능력

보상이 분명한 과제에는 자동화의 여지가 크다. 대담에서는 기존 연구 결과를 더 면밀히 분석했다면 불필요한 실험을 줄일 수 있었을 사례로 스케일링 법칙과 학습률 설정이 거론됐다. 한 참석자는 현재 목표를 최적화하는 연구라면 10배의 속도 향상도 상상할 수 있다고 봤다. 그러나 이를 올바른 목표를 처음부터 찾아내는 능력으로 일반화할 수는 없다고 선을 그었다.

AI가 독립적으로 연구를 이어가려면 목표를 제안하고, 실험으로 개선한 뒤, 결과에 따라 다음 목표를 정하는 과정이 오래 지속돼야 한다. 참석자들은 현재 모델이 실험 코드를 작성하는 것보다 어떤 실험을 할지 정하는 데 약하다고 지적했다. 슐먼은 모델의 바람직한 행동이나 사람에게 도움이 된다는 것의 의미를 정하는 일도 인간의 역할로 오래 남을 수 있다고 봤다.

어려운 훈련 과제가 현실의 업무가 되려면

대담은 훈련 환경의 난도와 현실성을 구분했다. 정답을 쉽게 확인할 수 있는 어려운 퍼즐을 만드는 것과, 사람과 여러 차례 소통하며 복수의 목표를 조정하는 실제 업무를 재현하는 것은 다르다. 교사 모델의 답을 따라 배우는 증류 방식도 검증하기 쉬운 과제에 치우치면 시험 성적은 따라잡으면서 현실적인 업무 능력은 놓칠 수 있다는 가설이 제시됐다.

연구 자동화 역시 하나의 점수만 높이는 과제로 끝나지 않는다. 참석자들은 인간 연구자의 피드백을 학습하거나 여러 단계의 연구 프로젝트를 훈련 환경으로 만드는 방식을 예상했다. 명확한 목표를 더 잘 푸는 환경은 만들 수 있어도, 직관을 시험할 과제를 설계하고 결과를 설명하는 연구까지 인간 없이 이어질 만큼 능력이 일반화할지는 불분명하다고 봤다.

배포 경험을 계속 배우기 어려운 이유

현실 업무는 데이터센터에서 반복할 수 있는 훈련 환경과 다르다. 긴 프로젝트에는 고객·동료와의 상호작용이 들어가며, 법률 업무처럼 사람 사이의 관계와 조직의 절차가 계속 바뀌는 일도 있다. 참석자들은 시뮬레이션에서 얻은 능력이 이런 환경으로 충분히 옮겨갈지, 실제 배포 경험을 통한 학습이 필요한지 논의했다.

배포 데이터로 모델을 자주 조금씩 업데이트하는 방식에도 한계가 제시됐다. 성공 사례만으로 반복 학습하면 앞서 익힌 정보나 일반 능력을 잊을 수 있다. 강화학습은 행동을 개선하는 데 유용하지만, 특정 회사의 인물과 절차 같은 지식을 넣으려면 적절한 훈련 환경을 만드는 데 많은 연산이 들 수 있다. 큰 규모의 데이터를 모아 다음 모델의 훈련에 반영하는 방식은 가능해도, 최신 모델을 작은 업데이트만으로 끝없이 개선하는 단계와는 거리가 있다는 설명이다.

데이터와 강화학습에서 나온 상반된 신호

대담에서는 강화학습의 성과를 그 이전 단계와 함께 봐야 한다는 지적이 나왔다. 합성 추론 자료로 모델을 준비시키는 중간 학습이 최종 강화학습 모델에 이르는 과정의 상당 부분을 담당할 수 있다는 것이다. 강화학습은 적은 피드백으로도 정답에 관련된 신호에 집중한다. 다만 수학에서 익힌 추론이 코딩에 그대로 적용되는 식의 분야 간 일반화는 제한적일 수 있다. 참석자들은 모델이 한 과제를 더 오래 지속하는 능력에는 일반화가 나타난다고 봤다.

훈련에 쓸 새 신호를 어디서 얻느냐도 문제다. 대담에서는 기존 웹 자료를 걸러내는 일과 현재 모델의 능력을 넘어서는 문제·목표를 새로 만드는 일을 구분했다. 파텔이 소개한 소규모 비교 실험에서는 2019년 이후 데이터 개선이 약 12.0배, 학습 방식의 개선이 약 3.7배의 연산 효율 향상을 설명하는 것으로 나타났다. 참석자들은 이 결과를 큰 모델에 그대로 적용할 수 없고, 모델 구조가 새로운 길이의 과제를 처리할 수 있게 하는 효과도 단순한 배수 비교에는 드러나지 않는다고 지적했다.

전망의 숫자보다 중요한 조건

대담 말미에 참석자들은 한 달 동안 여러 사무 업무를 수행하는 원격 근무자 수준의 모델에 대해 대략 1~3년의 전망을 제시했다. 다만 브라우저 사용이 필요한지, 조직이 정보를 AI가 쓰기 쉽게 제공하는지, 다양한 업무를 어느 수준까지 해내야 하는지에 따라 답이 달라졌다. AI 연구자의 생산성이 10배 높아지는 시점에 대해서도 약 2년이라는 답과 5~10년이라는 답이 나왔다.

모든 컴퓨터 기반 업무에서 최고 인간 전문가를 앞서는 시점에는 3~4년과 5~10년 등의 전망이 제시됐다. 드문 분야의 정보를 새로 익히는 능력과 장기간의 판단까지 포함하면 범위가 달라진다는 논의도 뒤따랐다. 이 숫자들은 합의된 일정이 아니다. 대담에서 확인된 쟁점은 AI가 더 많은 작업을 처리할 수 있게 되는 속도와, 스스로 목표를 정하고 현실의 결과에서 안정적으로 배우는 속도가 같을지 여부다.