핵심 요약

  • 드웨시 파텔은 최근 AI 발전의 주된 동력을 학습 효율의 개선보다 더 많고 나은 데이터의 확보에서 찾는다.
  • 특정 업무를 익히게 하려면 전문가가 만든 예시, 평가 기준, 풀이 과정이 대량으로 필요하다는 것이 그의 주장이다.
  • 인간과 AI가 학습에 사용하는 데이터 규모에는 큰 차이가 있지만, 감각 정보와 진화의 영향을 어떻게 비교할지는 논쟁의 여지가 있다.
  • 학습 비용이 높아도 반복되는 사무 업무는 자동화할 경제적 여지가 있다. 새로운 문제를 자주 다루는 업무에는 별도의 한계가 남는다.

AI는 어떻게 새 능력을 익히는가

표본 효율은 어떤 분야에서 능숙하게 일하기까지 필요한 데이터의 양을 뜻한다. 파텔은 최근 몇 년간 AI의 표본 효율이 크게 나아졌는지는 불분명하다고 본다. 모델이 학습하는 데이터의 범위와 품질을 넓힌 것이 발전의 더 큰 원인이라는 설명이다.

그는 강화학습도 좋은 학습 사례를 찾아내는 일종의 합성 데이터 생성 과정으로 해석한다. 검증기나 언어모델 평가 기준에 많은 연산을 투입해 적절한 결과를 고른 뒤, 모델이 그런 결과를 만들어 내도록 학습시킨다는 것이다. 이 방식이 작동하려면 모델이 처음부터 정답을 낼 가능성이 조금이라도 있어야 한다. 그래서 분야별 전문가가 작업을 수행한 사례가 필요하다고 주장한다.

파텔이 든 데이터 제작 업무에는 오래된 문서를 정돈된 워드 파일로 바꾸기, 현실적인 기업 인수합병 실사 보고서나 증권 신고서 작성하기, 시장조사 양식 만들기 등이 있다. 그의 설명에 따르면 개별 기술마다 수백 명 이상의 전문가가 완성 예시와 평가 기준, 풀이 과정을 만든다. 강화학습에서는 과제 하나에 수백~수천 개의 시도를 생성해 어느 과정이 결과에 기여했는지도 가려야 한다.

인간과 비교하면 얼마나 많은 데이터가 필요한가

파텔은 사람이 태어나 성인이 될 때까지 시간당 평균 2,000단어를 보고 듣는다고 넉넉히 가정하면 약 2억 토큰을 접한다고 추산한다. 반면 최상위 AI 모델의 학습량은 수십조~수백조 토큰으로 제시하며, 두 규모가 약 100만 배 차이 난다고 비교한다. 이는 가정에 기초한 비교다.

로봇 조작과 운전도 사례로 든다. 사람은 낯선 휴머노이드나 로봇 팔의 원격 조작을 몇 시간 안에 배울 수 있지만, AI에는 수백만 시간의 시연 데이터도 복잡하고 열린 형태의 작업을 수행하기에 충분하지 않다는 주장이다. 청소년이 약 20시간의 연습으로 운전을 배울 수 있다는 비교에서는, 성장하며 얻은 16년간의 경험까지 포함해도 웨이모와 테슬라의 자율주행 모델 학습 데이터보다 세네 자릿수 적다고 추산한다.

진화와 감각 정보가 격차를 설명하는가

한 반론은 인간에게 수십억 년의 진화가 사전 학습 역할을 했다는 것이다. 파텔은 인간 게놈이 약 3기가바이트이고 그중 단백질을 암호화하는 부분이 1~2%라는 점을 들어, 진화가 학습된 신경망의 매개변수를 그대로 저장했다고 보기는 어렵다고 주장한다. 그는 진화가 학습에 적합한 설정과 목표를 찾았다는 해석에 더 가깝다. 설령 AI의 방대한 사전 학습을 진화에 대응시키더라도, 사전 학습을 마친 모델이 새 기술 하나를 익힐 때마다 많은 데이터가 필요한 현상은 남는다고 지적한다.

또 다른 반론은 인간이 평생 접하는 시각·청각 등 감각 정보를 빠뜨렸다는 것이다. 파텔은 이를 포함하면 데이터가 수백억~수천억 토큰에 이를 수 있다고 인정한다. 다만 일부 감각 정보에 접근하지 못하는 시각장애인과 청각장애인도 일반 지능을 갖는다는 점을 들어, 그 정보량만으로 인간의 학습 능력을 설명할 수 없다고 본다.

모델을 키우면 해결될까

모델 크기를 늘리면 적은 데이터로도 학습할 수 있다는 반론도 있다. 파텔은 인간 뇌의 시냅스가 약 100조 개이고 현재 최상위 모델의 매개변수는 약 5조 개라는 수치를 제시한다. 그러나 그가 인용한 친칠라 규모 확장 법칙의 상수를 적용하면, 동일한 손실을 유지한다는 조건에서 매개변수를 무한히 늘려도 필요한 데이터는 10분의 1로 줄어드는 데 그친다고 설명한다. 그가 추정한 인간과 AI의 표본 효율 격차인 수천~수백만 배를 모델 크기만으로 메우기는 어렵다는 결론이다.

업무 자동화에는 어떤 의미가 있는가

표본 효율이 낮다고 모든 자동화가 막히는 것은 아니다. 파텔은 소프트웨어 엔지니어, 분석가, 회계사가 반복해서 수행하는 흔한 과제라면 학습 데이터에 포함하기 쉽다고 본다. AI를 훈련하는 데 사람보다 많은 자원이 들더라도, 한 번 익힌 능력을 수많은 사용 사례에 적용할 수 있어 경제성이 성립할 수 있다는 주장이다.

반면 미리 모은 사례에서 벗어난 문제를 얼마나 자주 풀어야 하는지는 직업마다 다르다. 파텔은 소프트웨어 엔지니어링을 그런 업무의 한 예로 보며, AI가 보완재로 작용해 2028년에는 인간 소프트웨어 엔지니어 수요가 현재보다 클 것이라고 예상한다. 이는 그의 전망이다.

파텔은 연구소들이 AI 연구를 먼저 자동화하고, 자동화된 연구자가 표본 효율 문제를 풀기를 기대한다고 설명한다. 다만 현재의 AI가 인간 수준의 학습 효율 없이 그 연구 문제까지 해결할 수 있는지는 이 글에서 결론내리지 않는다.

AI의 현재 능력은 방대한 데이터와 이를 선별하는 작업에 기대고 있다는 것이 파텔의 핵심 주장이다. 그 방식이 반복 업무에는 유용할 수 있지만, 적은 사례로 새로운 문제를 익히는 능력까지 제공하는지는 열린 문제로 남는다.