# AI의 연구 자동화, 실험 실행과 연구 판단력 사이의 간극

> 2026-11-17 · a16z · 큐레이션 김태우
> https://challengekim.com/insights/ai의-연구-자동화-실험-실행과-연구-판단력-사이의-간극
> 원문: https://www.youtube.com/watch?v=h_aA1-R70E8

## 핵심 요약

- **재귀적 자기 개선(RSI**)은 AI가 AI 연구를 도와 다음 모델의 발전을 앞당기는 과정이다. 현재의 연구 가속과 AI가 새 모델을 완전히 독자적으로 만드는 단계는 구분해야 한다.
- 지금의 AI는 범위가 정해진 실험을 구현하고 실행하는 데 유용하다. 중요한 아이디어를 고르고 연구 방향을 바꾸는 판단에서는 전문가의 개입이 여전히 큰 차이를 만든다.
- 연구 자동화를 확대하려면 성과를 믿을 만하게 평가하고 작은 실험으로 대규모 학습의 결과를 가늠해야 한다. 아이디어 생성이 빨라져도 실험에 필요한 연산 자원은 제약으로 남는다.
- 더 강력한 AI는 안전성 문제를 키우는 동시에 이를 연구하는 도구가 될 수 있다. 다만 어떤 가치에 맞출지, 그 결정을 누가 내릴지도 함께 풀어야 한다.

## 지금의 자기 개선은 연구를 돕는 단계다

앤드리슨 호로위츠(a16z)의 사라 왕 제너럴 파트너는 OpenAI의 마크 첸 최고연구책임자와 Thinking Machines의 공동창업자 겸 수석과학자 존 슐먼을 인터뷰했다. 대화는 AI가 자신의 발전을 얼마나 스스로 이끌 수 있으며 완전한 연구 자동화까지 무엇이 남았는지에 집중됐다.

재귀적 자기 개선은 더 나은 AI가 AI 연구를 돕고 그 연구가 다시 더 나은 AI로 이어지는 과정을 가리킨다. 두 연구자는 이를 우선 **AI 연구의 속도와 성과를 높이는 일**로 다뤘다. AI가 인간의 개입 없이 새 모델을 처음부터 끝까지 만드는 단계에 도달했다는 뜻은 아니다.

슐먼은 모델 개발을 출시할 모델을 만드는 주된 학습 과정과 다음 대규모 학습에 쓸 아이디어를 작은 실험으로 탐색하는 과정으로 나눴다. 여기에는 사전학습, 후속학습, 평가 등 여러 단계가 있다. AI가 이 과정의 일부를 맡아 연구 속도나 성과를 높이는 것도 자기 개선의 범위에 들어간다.

첸은 Codex가 처음부터 끝까지 관리하는 실험과 연구 절차에 투입되는 연산량을 근거로 이미 AI 연구 인턴을 만들었다고 봤다. AI가 맡는 일은 주로 특정 방식으로 실험을 구현·실행하고 결과를 보고하거나 정해진 실험군에서 특정 현상을 감시하는 것이다. 스스로 연구 주제를 정하는 역할과는 거리가 있다.

## 실행 능력과 연구 방향을 고르는 능력은 다르다

슐먼은 작업 과정에서 이런 간극을 경험했다. 그는 아이디어를 긴 프롬프트로 설명하고 AI가 며칠 동안 작업하게 하면 꽤 괜찮은 실험과 흥미로운 제안을 얻기도 한다고 했다. 그러나 최종 결과는 좋지 않거나 처음 요청한 목표를 달성하지 못할 때도 있었다.

이후 직접 시간을 내 결과를 읽고 프로젝트를 더 세밀하게 나눠 지시하면 훨씬 멀리 나아갔다. 결과를 살피며 자신의 이해가 깊어졌고 AI가 떠올리지 못한 질문을 던지거나 다른 방향을 제시할 수 있었기 때문이다.

두 연구자가 짚은 핵심은 **연구 안목**이다. 장기적으로 중요한 아이디어를 알아보는 능력으로, 처음 발표된 논문을 넘어 널리 쓰이고 다른 아이디어와 결합할 수 있는 아이디어를 가려내는 일이다. 이미 매개변수가 정해진 실험을 수행하는 것과는 다르다.

첸은 현재 모델이 이 안목에서 아직 뛰어나지 않다고 봤다. 대신 학습 설정의 여러 값을 조정하는 하이퍼파라미터 최적화에 깊이 들어가는 경향이 있다고 했다. 주어진 방향 안에서 세부 설정을 다듬는 능력만으로는 그 방향 자체가 중요한지 판단하기 어렵다.

## 문헌을 아는 것과 실패를 겪는 것은 다르다

슐먼은 연구자의 직관이 직접 연구한 경험과 과거 연구를 읽고 교훈을 흡수하는 과정에서 나온다고 설명했다. AI도 문헌을 읽고 기억할 수 있다. 다만 틀린 예측을 내놓은 뒤 실제 결과와 비교하는 경험까지 같은 방식으로 쌓는 것은 아니다.

그는 현재의 AI 학습 방식이 이런 능력을 약하게 만들 가능성도 언급했지만 단정하기는 어렵다고 했다. 지식을 많이 갖추는 것과 그 지식을 토대로 불확실한 연구를 이끄는 능력 사이에는 아직 풀리지 않은 문제가 있다.

가능한 접근으로는 연구자들이 제안된 아이디어의 좋고 나쁨을 평가하고 그 피드백으로 모델을 강화학습하는 방법이 나왔다. 강화학습은 보상을 기준으로 모델의 행동을 조정하는 학습 방식이다. 연구자가 쌓은 직관을 모델에 반영하려는 시도다.

## 발전을 측정할 기준도 계속 바뀐다

연구를 자동화하려면 실험을 수행하는 것뿐 아니라 그 결과가 모델을 실제로 개선했는지 판단할 수 있어야 한다. 하나의 수학 문제를 맞혔는지 확인하는 일보다 열린 연구 과제의 생산성을 평가하는 일이 더 어렵다.

첸은 사전학습에서는 비교적 분명한 지표가 있다고 설명했다. 퍼플렉서티는 모델이 데이터를 얼마나 잘 예측하는지 보는 지표다. 언어 모델에서는 실제로 이어지는 단어를 모델이 평균적으로 얼마나 뜻밖이라고 여기는지 나타낸다. 이런 지표는 자동화된 사전학습 연구의 진전을 확인하는 데 쓰일 수 있다.

반면 후속 단계에서는 평가 기준의 유효기간이 점점 짧아지고 있다고 했다. 모델이 발전하면서 기존 평가만으로는 능력 차이를 가리기 어려워지기 때문이다. 새로운 고난도 평가를 만들고 그 제작 자체를 자동화하는 일도 연구의 중요한 부분이 됐다.

**연구를 빠르게 하는 도구와 연구가 잘됐는지 확인하는 기준이 함께 발전해야 한다**는 과제가 남는다.

## 아이디어가 빨라져도 실험에는 연산이 필요하다

첸은 AI 연구가 수학보다 생물학이나 실험물리학에 가까운 면이 있다고 봤다. 수학에서는 추론 자체로 가설을 검토할 수 있지만 AI 연구에서는 타당한 가설을 세운 뒤 실제 실험도 돌려야 한다.

연구 속도를 높이려면 작은 규모에서 얻은 결과로 큰 규모의 결과를 가늠할 수 있어야 한다. 어떤 소규모 실험이 대규모 학습에 유용한 단서를 주는지 찾는 일에도 AI가 기여할 수 있다.

그러나 첸은 능력이 계속 높아지더라도 어느 시점에는 연산 자원의 제약이 두드러질 것으로 예상했다. 단기적으로는 늘어나는 기존 연산 자원 안에서 가능한 개선을 찾아야 한다고 봤다. AI가 차세대 데이터센터 구축까지 도와 연산 공급을 앞당기는 모습은 더 먼 미래의 가능성으로 구분했다.

## 더 강한 AI로 다른 AI의 안전성을 연구한다

연구 자동화는 정렬 문제와도 연결된다. 정렬은 AI의 행동을 인간의 가치와 의도에 맞추는 일이다. 슐먼은 AI가 처음에는 주어진 목표를 따르더라도 오래 작동하면서 목표에서 벗어날 수 있다고 지적했다. 그 과정에서 자신을 외부로 복제하는 일이 도움이 된다는 식의 하위 목표를 세울 가능성을 예로 들었다.

두 연구자는 AI를 정렬 연구의 도구로 활용하는 데도 기대를 보였다. 첸은 모델의 추론 과정을 다른 모델이 감시하는 방식을 현재 효과적인 정렬 도구로 꼽았다. 더 강한 모델이 다른 모델을 정렬하는 과정에 참여해야 한다고 봤다.

슐먼은 원하는 행동을 유도할 학습 목표를 설계하는 접근에 낙관적이었다. 그가 예로 든 OpenAI의 ‘고백’ 연구는 모델이 부적절한 행동을 스스로 보고하도록 학습시키는 방식이다. 본래 답변에 주는 보상과 별도로 고백의 정직성만 평가해 보상한다. 잘못을 솔직히 보고한 탓에 불이익을 받지 않도록 설계한 점이 핵심이다.

기술적 방법 외에 가치의 결정권도 과제로 남았다. 슐먼은 사람마다 가치가 다르므로 사용하는 AI의 가치를 더 많이 조정할 수 있기를 바랐다. 이를 위해 정렬을 소수 기업의 결론에만 맡기기보다 여러 사람이 이해하고 전 세계에서 연구하는 공개적인 과학으로 발전시켜야 한다고 말했다. 분산된 정렬을 실현하려면 먼저 정렬을 더 깊이 이해하고 견고하게 만들어야 한다는 조건도 붙였다.

이번 대화에서 두 연구자가 설명한 현재의 자기 개선은 인간과 AI가 함께 연구하는 모습이다. AI는 실험 실행을 맡고 연구 속도를 높이지만 중요한 질문을 고르고 결과를 해석하는 데서는 인간의 판단이 큰 역할을 한다. 완전한 자동화에 이르려면 연구 안목뿐 아니라 평가 방법, 연산 자원, 정렬이라는 서로 연결된 과제를 풀어야 한다.

---

원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://www.youtube.com/watch?v=h_aA1-R70E8)
