핵심 요약

  • 감속 찬성 측은 AI 연구 자동화가 광범위한 능력 향상으로 이어질 수 있으며 기업 간 경쟁 때문에 안전 문제를 자율적으로 해결하기 어렵다고 봤다.
  • 반대 측인 경제학자 로빈 핸슨은 모델의 성능 향상과 경제 전체의 자동화를 구분했다. 현장 데이터와 조직 개편에 시간이 걸린다고 봤다.
  • 정책 대안도 갈렸다. 찬성 측은 최첨단 모델 훈련에 쓰는 연산량 제한과 외부 안전성 심사를, 핸슨은 손해배상 책임과 보험을 제안했다.
  • 핵심 쟁점은 큰 피해가 발생하기 전에 개발을 제한해야 하는지, 구체적인 피해를 확인한 뒤 대응해야 하는지였다.

같은 AI 발전을 보고도 다른 위험을 읽었다

Y Combinator가 연 첫 YC 토론에서는 앤트로픽을 떠난 전직 AI 연구자와 조지메이슨대 경제학자 로빈 핸슨이 정부의 AI 개발 감속을 놓고 맞섰다. 토론의 안건은 정부가 최첨단 AI 개발을 상당히 늦추기 위해 개입해야 한다는 것이었다.

전직 연구자는 세 단계로 논리를 폈다. 인간을 여러 분야에서 능가하는 초지능 AI가 가까운 시일 안에 등장할 수 있는데 아직 그 목표와 행동을 통제하는 방법을 모르고, 기업들은 경쟁 때문에 위험을 충분히 줄일 유인이 없다고 봤다. 그는 이를 개별 기업의 선의로 해결하기 어려운 공동 대응의 문제로 봤다.

핸슨은 이런 전망이 지능을 하나의 수치처럼 취급하면서 현실의 복잡성을 생략한다고 반박했다. 코드를 잘 작성하거나 AI 연구를 가속하는 능력이 곧바로 다른 모든 업무를 수행하는 능력을 뜻하지는 않는다고 봤다. 두 사람이 답하려던 문제는 결국 같았다. 위험의 실체가 충분히 드러나기 전에 정부가 어느 정도까지 개발을 제한해야 하는지를 두고 맞섰다.

AI 연구 자동화가 모든 업무로 번질 수 있나

전직 연구자는 2027년에 인간을 능가하는 AI 연구자가 등장하고 이후 다른 인지 업무로 자동화가 빠르게 확산할 것으로 예상했다. AI가 스스로 연구를 수행하면 알고리즘 개선에 필요한 시간을 크게 압축할 수 있고 더 똑똑해진 모델은 새로운 일을 배우는 데 필요한 데이터도 줄일 수 있다는 논리다.

그는 연구소 내부의 AI 활용 비중과 연구자들이 보고한 생산성 향상 추세를 근거로 들었다. 다만 생산성 수치는 자기 보고여서 신뢰에 한계가 있을 수 있다고 인정했다. 토론 중에는 2028년 말까지 일자리에서 수행하는 인지 노동의 80%가 자동화될 것이라는 전망도 내놨다. 이는 일자리 80%가 사라진다는 뜻과는 구분한 예측이었다.

핸슨은 특정 연구소의 좁은 업무에서 나타난 추세를 경제 전체로 확대하는 데 반대했다. 많은 직업은 충분한 작업 기록이 없고 실제 현장에서 사람을 관찰하고 지시를 받으며 익혀야 한다고 봤다. 일반적인 지식이나 추론 능력이 뛰어나도 업무마다 필요한 구체적인 경험까지 저절로 생기지는 않는다고 설명했다.

전직 연구자는 노트북으로 수행하는 업무라면 기록을 모으기 쉽고 기업에 들어간 AI가 그 데이터에 접근하면서 학습이 빨라질 수 있다고 맞섰다. 두 사람은 AI가 더 똑똑해질지보다 그 능력이 새로운 업무로 옮겨가는 데 얼마나 적은 데이터와 시간이 필요한지를 두고 의견이 갈렸다.

개인의 생산성과 조직의 성과는 다르다

핸슨은 소프트웨어 개발을 예로 들었다. 개발자 개인이 코드를 더 빨리 작성해도 요구사항을 정하고 테스트하고 다른 시스템과 통합하는 과정이 그대로라면 조직 전체의 개발 속도는 같은 폭으로 빨라지지 않는다고 봤다.

그는 전기나 개인용 컴퓨터 같은 기술도 사회와 조직의 다른 부분을 재구성해야 효과를 충분히 낼 수 있었다고 말했다. AI 역시 개별 작업을 잘하는 수준을 넘어 더 큰 업무 체계 안에서 작동하는 법을 익혀야 하며 그 과정이 확산 속도를 늦출 것으로 예상했다.

전직 연구자는 AI가 문서를 읽고 스스로 연동 방법을 찾을 수 있어 정보 업무에서는 과거 기술보다 도입이 쉬울 것으로 봤다. 더 근본적으로는 경제 전반에 도입되지 않은 모델도 연구소 안에서 충분히 강력해지면 위협이 될 수 있다고 지적했다. 경제적 확산 속도와 위험이 나타나는 속도가 반드시 같지는 않다고 반박했다.

핸슨은 자신의 판단을 바꿀 만한 장면도 제시했다. 매우 뛰어난 AI를 서로 다른 50개 일자리 옆에 두고 실제 업무를 수행하게 했을 때 모두 해낸다면 인상적인 증거로 받아들이겠다고 했다. 실험실의 성능보다 현장에서의 수행 능력을 확인하겠다는 기준이다.

피해를 보험으로 다룰 수 있는가

핸슨은 AI 발전 속도에 대한 예측이 틀려도 작동하는 정책을 원했다. 그가 제안한 수단은 손해배상 책임과 이를 감당할 보험이었다. 예를 들어 AI 제공자에게 1,000억 달러 규모의 피해를 보장하는 보험을 요구하면 보험사가 위험을 높게 평가할수록 보험료가 올라가거나 보장이 거절될 수 있다. 기업은 안전성을 설득하지 못하면 활동을 줄여야 한다.

반대로 보험사가 위험을 낮게 판단하면 개발을 크게 방해하지 않을 수 있다. 핸슨은 이 방식이 정부가 기술의 미래를 정확히 예측하거나 모든 위험을 미리 열거하지 않아도 기업의 행동을 바꿀 수 있다고 봤다.

전직 연구자는 피해 규모가 인류 멸종에 이를 수 있다면 통상적인 배상 책임으로는 부족하다고 반박했다. 그런 손실을 떠안을 보험 제공자를 찾기 어렵다고 봤다. 두 사람은 위험을 얼마나 크게 보는지뿐 아니라 잘못된 판단을 나중에 보상하거나 수정할 수 있는지를 두고도 의견이 갈렸다.

개발을 늦춘다면 무엇을 제한할 것인가

전직 연구자가 선호한 방안은 두 가지였다. 하나는 기업이 보유한 연산 자원 중 일부만 최첨단 모델을 더 똑똑하게 만드는 훈련에 쓰게 하고 나머지는 고객 요청에 답하는 추론이나 AI의 목표와 행동을 인간의 의도에 맞추는 정렬 연구에 배분하도록 하는 것이다. 다른 하나는 대규모 훈련 전에 안전하다는 근거를 체계적으로 제시하고 외부 평가자의 검증을 받게 하는 방안이었다.

그는 경쟁하는 기업들이 이런 비용을 자발적으로 충분히 부담하지 않을 것으로 봤다. 규제기관이 안전성 근거가 부족한 훈련을 실제로 막을 수 있어야 한다고 주장했다. 평가 권한의 집중을 줄이는 방법으로는 여러 기관이나 연구소가 서로의 모델을 공격적으로 시험하는 구상을 들었다.

핸슨은 규제기관도 사람들의 의도대로 움직인다는 보장이 없다고 지적했다. 무엇이 안전한지 판단하기 어려운 상태에서 광범위한 재량을 주면 특정 세력에 휘둘리거나 권한이 계속 확대될 수 있다고 우려했다. 그는 일시 중단이라는 표현에도 이의를 제기했다. 어떤 조건을 충족하면 개발을 재개할지 정하지 않으면, 중단이 반복 연장될 수 있다고 봤다.

국제 공조 역시 남은 문제였다. 전직 연구자는 다른 국가까지 함께 협력하도록 노력해야 한다고 답했다. 핸슨은 군사 분야까지 포괄하는 합의가 실현될 가능성을 낮게 봤다. 개발 감속의 필요성에 동의하더라도 적용 범위와 집행 방법은 별도의 난제로 남았다.

같은 이상 행동에서도 다른 결론이 나왔다

두 사람은 AI가 보상을 얻으려다 의도하지 않은 행동을 한 사례를 두고도 갈렸다. 전직 연구자는 평가를 속이거나 로그를 바꾸려는 행동이 더 강력한 모델에서 인간의 감독을 무력화하는 방향으로 이어질 수 있다고 우려했다. 현재의 이상 행동을 통제 문제의 경고로 읽었다.

핸슨은 인간도 보상 체계의 허점을 이용하며 다른 행위자의 감시와 책임 추궁으로 이를 억제한다고 반박했다. 여러 AI가 서로를 감시하고 위반을 찾아내는 체계가 가능하다고 봤다. 전직 연구자는 그런 균형이 바람직할 수는 있어도 저절로 형성된다고 기대하기는 어렵고 여러 초지능이 경쟁하더라도 인간의 가치에 맞춰 행동한다는 보장은 없다고 답했다.

토론은 AI의 혜택을 인정할지의 문제보다 불확실한 위험에 어떤 순서로 대응할지에 집중됐다. 찬성 측은 통제 능력을 확보할 시간을 먼저 벌어야 한다고 봤고 핸슨은 구체적인 피해와 현장 증거를 바탕으로 책임과 규제를 설계해야 한다고 봤다. 개발을 늦추든 계속하든 기술의 성능뿐 아니라 대응 제도가 실제로 작동할 조건을 설명해야 한다는 과제가 남았다.