핵심 요약

  • Ineffable Intelligence는 인간이 만든 데이터를 학습하는 경로 대신, 경험에서 지식을 스스로 발견하는 슈퍼러너를 개발하려 한다. 목표는 인간의 지식을 넘어서는 발견과 다양한 환경에서의 자율 학습이다.
  • 단순한 목표와 복잡한 환경을 결합해 언어·도구·과학 같은 능력이 나타나도록 하는 것이 연구 방향이다. 이를 위한 시뮬레이션 환경을 ‘크루서블’이라고 부른다.
  • 인간 데이터에 대한 의존을 줄이되, 환경과 보상 설계에 들어가는 인간의 가정까지 모두 없애겠다는 입장은 아니다. 단기 성능을 일부 포기하고 더 일반적인 학습 알고리즘을 찾겠다는 선택이다.
  • 시뮬레이션에서 얻은 지식이 현실로 그대로 옮겨진다고 보지는 않는다. 현실 적용은 안전성을 뒷받침하는 충분한 근거가 확보됐을 때 진행하겠다고 밝혔다.
  • 실버는 대담 시점으로부터 1년 안에 접근의 유효성을 보여주는 강한 증거를, 3년 안에 자신이 정의한 초지능을 기대했다. 이는 불확실성이 있는 연구 전망이다.

LLM 제품을 거치지 않는 연구소

데이비드 실버는 경험을 통해 스스로 발견하는 시스템이 지능으로 이어질 것이라는 믿음을 바둑 연구 때부터 유지해왔다. Ineffable Intelligence는 이 접근을 초지능까지 확장하려는 회사다. 공동 창업자 라세 에스페홀트는 강화학습을 대규모로 실행하는 알고리즘과 시스템을 연구해왔다.

실버가 독립 연구소를 선택한 이유는 자신이 믿는 경로가 대규모 언어 모델인 LLM 기반 제품을 중간 단계로 삼지 않기 때문이다. 그는 이 연구를 LLM 제품에 집중하는 조직의 일부로 두기보다, 회사 전체가 전념하는 과제로 만들고 싶었다고 설명했다.

그렇다고 LLM의 성과를 부정하는 것은 아니다. 실버는 대량의 데이터로 학습한 모델이 소량의 추가 학습만으로 행동을 크게 바꾸는 모습을 예상하지 못했다고 말했다. 충분한 규모의 경험을 쌓으면 처음에는 느리던 학습이 빨라질 수 있다는 점은 자신의 생각에도 영향을 줬다.

슈퍼러너의 기준은 발견의 깊이와 학습의 폭

실버가 말하는 슈퍼러너에는 두 가지 조건이 있다. 하나는 아무것도 모르는 상태에서 출발해 인간이 아는 범위를 넘어서는 지식까지 발견하는 깊이다. 다른 하나는 시뮬레이션·디지털·물리적 환경 등 어떤 경험의 흐름에 놓이더라도 계속 배울 수 있는 폭이다.

그는 인류가 언어와 기술, 과학과 수학을 집단적으로 발견해온 과정을 비유로 들었다. 완성된 지식의 설계도나 거대한 정답 데이터셋을 받아 배우는 대신, 지식을 만들어내는 과정 자체를 AI가 수행하게 하겠다는 구상이다.

실버는 현재 LLM을 활용한 발견에는 여전히 상당한 인간의 개입이 필요하며, 물리적 경험에서 자율적으로 배우는 능력도 목표와 거리가 있다고 평가했다. 언어가 그런 학습에 적합한 수단인지도 확실하지 않다는 것이 그의 견해다. 그가 내세운 기준은 개별적인 새로운 발견을 넘어, 발견을 계속 이어가는 자율적인 학습 능력이다.

단순한 목표에서 복잡한 능력이 나오도록 설계한다

강화학습은 에이전트가 행동의 결과로 받는 보상을 바탕으로 더 나은 행동을 배우는 방식이다. Ineffable은 과학이나 언어의 의미를 보상에 세밀하게 적어 넣고, 정해진 문제를 순서대로 풀게 하는 접근을 피하려 한다. 대신 단순한 목표를 복잡한 환경 안에서 추구하도록 한다.

실버는 비교적 단순한 목표를 추구하는 과정에서도 협력과 소통, 거래가 생기고, 거래에는 산술이, 도구에는 과학과 기술이 필요해질 수 있다고 설명했다. 에이전트에게 특정 도구를 만들라고 지시하기보다, 목표를 달성하는 과정에서 도구의 필요성을 스스로 발견하게 하려는 것이다. 다만 회사가 하나의 보상 설계를 확정한 것은 아니며, 여러 보상을 실험하고 있다고 밝혔다.

이를 위한 환경인 크루서블은 사람이 만든 퍼즐 묶음보다 많은 상호작용에서 복잡성이 생겨나는 세계를 지향한다. 실버는 수많은 물체가 상호작용하는 물리 엔진이나 수많은 에이전트가 함께 활동하는 환경을 복잡성을 만드는 방법으로 제시했다.

바둑은 이 원리를 설명하는 사례다. 혼자 돌을 놓는 환경에서는 전략이 거의 필요하지 않지만, 상대가 등장하면 그 상대의 가능한 행동을 고려해야 한다. 단순한 규칙에서도 학습할 거리가 크게 늘어난다. 실버는 자신들이 투입했던 계산 자원의 범위 안에서는 계속 새로운 것을 발견할 수 있었다고 회고했다. 동시에 바둑은 좁은 보드게임이며 최종 목표가 아니라는 한계도 강조했다.

에스페홀트는 현실의 물리를 완벽하게 재현하려 하면 계산 비용이 커진다고 말했다. 그래서 빠르게 실행하고 반복 실험할 수 있는 단순한 환경부터 더 비싼 환경까지 여러 크루서블을 만들려 한다. 연구의 이정표는 인류가 지식을 발견해온 중요한 순간을 에이전트가 다시 발견하는 것이지만, 무엇을 먼저 발견할지는 미리 정하지 않는다.

인간 데이터를 포기하되 모든 가정을 없애지는 않는다

인간 데이터에 덜 의존하는 선택에는 단기적인 성능 손실이 따른다. 실버는 그 대가를 치러야 인간 지식 밖의 영역을 발견하고, 언어 데이터가 잘 맞지 않는 센서나 환경에서도 배울 수 있는 알고리즘을 찾을 수 있다고 본다.

그는 인간의 지식과 사고방식이 학습에 깊이 들어가면 그 안의 편향도 함께 들어갈 수 있다고 지적했다. 인간 언어를 가장 좋은 추론 방식으로 간주할 이유가 없으며, 더 풍부하고 병렬적인 추론 방식이 가능할 것이라는 견해도 밝혔다.

이 선택의 근거로 든 사례는 AlphaGo와 AlphaZero다. 실버는 인간 데이터와 인간의 반복적인 개입으로 AlphaGo를 개선했던 과정과, 스스로 발견하는 알고리즘에 집중했던 과정을 대비했다. 그에 따르면 알고리즘을 제대로 구현한 뒤 AlphaZero는 체스에서 4시간 만에 당시 최고 수준의 AI를 넘어섰다. 이는 바둑과 체스에서의 경험이며, 일반적인 초지능의 성공을 이미 입증했다는 뜻은 아니다.

두 창업자는 인간의 가정을 완전히 제거할 수 있다고 주장하지 않았다. 사람이 환경과 보상을 설계하는 데에도 편향은 들어간다. 실버는 여러 환경에 통하는 약한 가정은 합리적이라고 보면서, 특정 세계의 인간 지식을 대규모 데이터로 강하게 주입하는 의존을 줄이려는 실용적 선택이라고 설명했다.

시뮬레이션에서 배운 지식과 학습 알고리즘을 구분한다

실버는 시뮬레이션 안에서 초지능을 만들 수 있다면 병렬 실행과 재현성 덕분에 현실보다 훨씬 빠르게 연구할 수 있고, 안전성 측면에서도 유리하다고 본다. 다만 그 가능성 자체는 검증해야 할 연구 질문이다.

그는 모든 현실 물리를 재현하지 않아도 풍부한 발견이 가능하다고 설명했다. 어떤 계산이든 표현할 수 있는 튜링 완전한 환경이라면 계산을 연구할 수 있고, 여러 에이전트 사이에 소통 경로가 있다면 언어를 표현할 수 있다는 것이다. 에이전트는 자신이 놓인 시뮬레이션의 세계에 관한 과학을 발견할 수도 있다. 반면 양자 계산처럼 시뮬레이션에서 충분히 표현하기 어려운 영역이 있을 수 있다는 한계도 인정했다.

중요한 구분은 시뮬레이션에서 습득한 지식의 이전과 학습 알고리즘의 적용이다. 실버는 현실이 훨씬 복잡하기 때문에 시뮬레이션에서 배운 내용이 그대로 통할 것으로 기대해서는 안 된다는 지적에 동의했다. 그의 구상은 시뮬레이션에서 슈퍼러너를 만드는 원리를 찾고, 같은 알고리즘을 현실에도 적용할 수 있는지 확인하는 것이다. 현실에 내놓기 전에는 시뮬레이션의 충실도를 높여 여전히 작동하는지도 점검하려 한다.

언어 감시를 넘어서는 안전성 연구

AI가 인간의 의도와 이익에 맞게 행동하도록 하는 정렬 문제에 대해, 실버는 인간 데이터와 언어에 기반한 접근만으로는 충분하지 않을 수 있다고 말했다. 학습이 진행될수록 에이전트가 기존 가정을 넘어설 수 있고, 말과 행동이 달라질 수 있다는 우려다.

그가 제안하는 연구는 시뮬레이션에서 여러 초지능이 평화롭게 상호작용하는 조건을 찾는 것이다. 특히 더 낮은 지능을 가진 존재와도 평화롭게 공존하게 하는 구조를 이해하고, 그 결과를 공개적으로 공유하는 것이 중요하다고 봤다. 회사는 이러한 연구에서 충분한 근거를 확보해 좋은 결과를 확신할 수 있을 때 현실에서의 다음 단계로 나아가겠다고 밝혔다.

감시 자체가 불필요하다는 입장은 아니다. 실버는 실제 행동을 허용하기 전에 무엇을 할지 살펴보는 방식과, 다른 초지능이 행동의 영향을 감시하고 제한하는 방식을 아이디어로 제시했다. 그러나 답을 모두 갖고 있지는 않으며 많은 연구가 필요하다고 명시했다. 그는 시뮬레이션 연구는 빠르게 진행하되, 현실에서의 AI 발전 속도는 사회와 조직이 적응할 시간을 고려해 조절하는 데 찬성했다.

계산 자원과 소수 연구자에게 집중한 실행 전략

에스페홀트는 시뮬레이션, 추론, 학습을 GPU에서 실행하도록 설계하고 있다고 설명했다. 과거처럼 막대한 CPU 자원에 기대는 구조는 확장하기 어렵다고 보기 때문이다. 다만 GPU가 세 작업에 똑같이 적합한 것은 아니다. GPU는 학습과 추론에 맞춰 발전해왔으며 시뮬레이션에는 상대적으로 덜 최적화돼 있다는 설명이다.

회사는 시뮬레이션을 빠르게 만드는 작업과 함께, 환경을 예측하는 모델을 활용하는 강화학습이나 과거 경험 데이터를 여러 번 재사용하는 방법 등을 검토한다. 에스페홀트가 과거 연구한 IMPALA와 SEED RL의 일부 알고리즘 및 변형도 현재 사용하고 있으며, 환경의 특성에 따라 다른 알고리즘을 선택한다.

계산량을 늘렸을 때 성능이 얼마나 좋아지는지를 나타내는 스케일링 법칙도 연구 과제다. 강화학습에서는 에이전트가 발전할수록 수집하는 데이터의 분포가 달라진다. 에스페홀트는 이 특성 때문에 관계가 더 복잡하다고 설명했고, 계산량 증가와 목표 달성 사이의 관계를 확보하는 방향으로 연구하고 있다고 밝혔다.

대담 시점의 팀은 총 20명이었다. 채용에서는 뛰어난 역량뿐 아니라 협력적인 태도, 목표에 대한 공감, 필요한 기술의 조합을 중시한다. 작은 팀을 유지하면 연구자 한 명당 많은 계산 자원을 사용할 수 있다는 점도 고려했다. 실버는 당장의 제품 압력보다 연구를 중심에 두고, 큰 돌파구가 이후 더 큰 제품으로 이어질 것이라는 판단을 설명했다.

실버는 1년 안에 올바른 방향이라는 강한 증거를 얻고, 3년 안에 과학·수학·기술·언어 등에서 인간을 크게 넘어서는 발견을 하는 초지능에 도달할 것으로 전망했다. 기존의 3~5년 예상에서 기간을 줄인 이유로 코딩 에이전트의 연구 가속 효과를 들었다. 다만 연구의 성공은 보장되지 않는다고 강조했다. Ineffable의 구상은 경험만으로 지속적인 발견이 가능한지, 그 원리가 다양한 환경에서도 통하는지, 현실 적용에 필요한 안전성 근거를 확보할 수 있는지를 검증하는 데 달려 있다.