# AI가 스스로 개선한다는 것, 성능보다 중요한 검증의 조건

> 2026-10-12 · a16z · 큐레이션 김태우
> https://challengekim.com/insights/ai가-스스로-개선한다는-것-성능보다-중요한-검증의-조건
> 원문: https://www.youtube.com/watch?v=3Q1mdn5ZGvM

## 핵심 요약

- **재귀적 자기 개선(RSI**)은 개선을 수행하는 AI 자체도 개선 대상이 되는 구조다. 사람이 AI 도구로 더 나은 AI를 만드는 것과 구분된다.
- 개선 과정이 순환한다고 해서 성능이 폭발적으로 상승하는 것은 아니다. 향상의 속도와 한계는 실제 실험으로 확인해야 한다.
- 성과를 평가할 때는 모델 성능뿐 아니라 연산 비용, 연구자의 시간, 실패한 실험까지 함께 계산해야 한다.
- 대담의 연구팀은 프롬프트, 모델 운영 구조, 가중치를 함께 최적화하며 성능과 효율이 동시에 개선되는 징후를 관찰했다고 밝혔다. 다만 구체적인 측정 결과는 공개하지 않았다.
- 평가가 빠른 코딩·수학과 달리 실험실 검증이나 임상시험이 필요한 분야에서는 물리적 과정이 개선 속도를 제한할 수 있다.

## AI를 만드는 도구에서, 자신을 개선하는 주체로

a16z 대담에서 연구팀은 RSI라는 용어가 서로 다른 의미로 쓰이고 있다고 지적했다. 구분의 기준은 누가 개선을 수행하고, 무엇이 개선되는가다.

사람이 AI를 이용해 더 나은 AI를 개발하는 경우, 개선의 아이디어와 판단은 여전히 사람에게서 나온다. 연구팀은 이를 자기촉매 효과라고 불렀다. 만든 기술이 그 기술의 다음 발전을 돕는 현상이다. 진행자는 컴퓨터로 컴퓨터 칩을 설계하거나, 인터넷으로 떨어진 개발자들이 협업하는 일도 같은 맥락이라고 설명했다.

연구팀이 말하는 RSI는 여기서 한 단계 더 나아간다. 개선 작업을 수행하는 에이전트의 두뇌, 즉 언어 모델 자체가 개선 대상이 된다. 더 나아진 모델이 다음 개선 작업을 수행하면서 능력 향상이 다시 개선 과정에 투입되는 구조다.

그렇다고 모든 작업을 AI만 수행해야 한다는 뜻은 아니다. 연구팀은 인간 연구자와 엔지니어도 여러 에이전트가 협력하는 시스템의 구성원으로 본다. 좋은 연구자와 엔지니어가 제공하는 기여 중에는 AI 에이전트로 대체하기 어려운 것이 많다는 판단이다.

## 순환 구조가 곧 폭발적 성장을 뜻하지는 않는다

연구팀은 개선 과정에 사람이 매번 개입해야 하는 빈틈이 있으면 완결된 순환 구조를 만들기 어렵다고 설명했다. 순환이 완성돼도 자원은 계속 필요하다. 기대하는 차이는 투입한 자원에 따른 추가 이득이 시간이 지나며 유지되거나 커질 수 있다는 점이다.

대담에서는 능력이 높아질수록 다음 개선의 난도가 올라가는 한편, 개선을 수행하는 능력도 함께 높아지는 가상의 수학적 관계를 논의했다. 두 효과가 상쇄되면 일정한 속도로 개선될 수 있고, 개선 능력이 더 가파르게 증가하는 조건에서는 지수적인 상승도 가능하다는 설명이다.

하지만 이는 실제 시스템의 성장 경로를 입증한 결과가 아니다. 진행자는 화살표가 되돌아오는 순환 그림만 보고 급격한 도약을 예상하는 태도를 경계했다. 비선형 시스템에서는 개선이 멈추거나, 성능이 좋아졌다 나빠지는 진동이 생길 수도 있다.

연구팀 역시 **순환을 닫는 것과 그 순환이 어떤 결과를 만드는지는 별개의 문제**라고 봤다. 수학적 관계를 적더라도 실제 변수와 변화율은 측정해야 한다. 대담에서 이들은 딥러닝 자체에 대한 충분한 이론도 부족하며, 참고할 수 있는 스케일링 법칙 역시 경험적으로 얻은 관계라고 설명했다.

## 성능 향상의 분모에 숨은 비용

진행자는 모델 출시 간격이 짧아지는 현상만으로 개선 속도가 빨라졌다고 판단할 수 있는지 물었다. 기업들이 조달한 자금까지 함께 보면, 더 많은 돈을 투입한 결과와 기술 자체의 효율 향상을 구분해야 한다는 문제 제기다.

연구팀은 자원을 계속 더 넣어서 얻은 성과만으로는 RSI를 주장할 수 없다고 답했다. 성능을 분자로 본다면, 분모에는 연산량이나 돈뿐 아니라 연구자의 작업 시간과 실험 과정도 들어가야 한다. 성공한 마지막 설정에 도달하기 전의 여러 실패와 사람의 판단 비용까지 포함한다는 뜻이다.

이들은 내부에서 실험자별 비용을 추적하는 ‘블리더보드’를 운영한다고 소개했다. 점수를 비교하는 순위표처럼 누가 실험에 얼마나 많은 비용을 쓰는지 확인하는 장치다.

효율 개선의 사례로는 같은 GPU와 데이터를 사용하면서 학습 기법, 데이터 처리, GPU에서 실행되는 연산 코드 등을 바꿔 기존 언어 모델의 학습 시간을 줄이는 작업을 들었다. 일부 개선은 자동화된 연구에서 나왔다고 설명했다. 다만 진행자는 기존 모델을 더 싸게 학습하는 성과와 최첨단 모델의 능력을 높이는 성과는 구분해야 한다고 지적했다.

연구팀은 비용 절감도 다음 개선을 돕는다고 봤다. 같은 자원으로 더 많은 실행 결과를 얻고, 더 다양한 경로를 탐색해 학습에 활용할 수 있기 때문이다. 그러나 효율 개선만으로 성능과 비용이 함께 좋아지는 재귀적 구조까지 입증되는 것은 아니라는 점도 대담에서 확인됐다.

## 프롬프트·운영 구조·가중치를 함께 개선한다

연구팀은 RSI를 개별 기법의 모음으로 다루기보다 시스템 전체를 보는 수학적 틀 안에서 다룬다고 설명했다. 한 부분을 개선한 결과가 다른 부분에 악영향을 주는지까지 확인하기 위해서다.

개선 대상에는 모델에 주는 지시인 프롬프트, 모델이 작업을 수행하도록 둘러싼 운영 구조인 하네스, 학습된 내부 매개변수인 가중치가 포함된다. 장기적으로는 칩까지 최적화 대상으로 본다. 하네스와 가중치는 서로 영향을 주므로 따로 떼어 최적화하는 데 한계가 있다는 주장이다.

이들은 자본 효율을 고려해 하네스에서 시작한 뒤 가중치 업데이트로 범위를 넓혔다고 밝혔다. 가중치까지 바꾸자 추가 이득이 생겼지만, 하네스 개선도 계속 필요했다고 설명했다.

현재 집중하는 문제는 **모델이 결과를 계산하는 추론 과정의 효율화**다. 추론이 빨라지면 개선 작업에 쓰이는 모델도 더 빠르게 실행될 수 있다. 모델을 효율적으로 제공하려는 수요가 있다는 점도 이 문제를 선택한 이유였다.

시스템은 하나의 언어 모델만 쓰지 않는다. 여러 모델이 서로 다른 역할을 수행하며, 어떤 작업에 어떤 모델을 쓸지와 무엇을 최적화할지도 에이전트가 선택하도록 한다고 밝혔다. 최상위 지시문 자체도 개선 대상이다. 다만 이런 구조가 반드시 폭발적 성장으로 이어진다는 주장은 하지 않았다.

## 결과를 믿기 전에 잡음과 보상 편법을 걷어낸다

연구팀은 최근 몇 달 동안 성능과 효율이 함께 좋아지는 징후가 커지고 있다고 밝혔다. 이를 믿음이 아니라 경험적 측정의 결과라고 표현했지만, 대담에서 수치나 재현 가능한 결과를 제시하지는 않았다.

이들이 강조한 것은 검증의 어려움이다. RSI를 주장하는 논문을 내부 환경에서 시험했을 때, 벤치마크나 실제 경제적 문제로 규모를 키우면 작동하지 않는 경우가 많았다고 말했다. 다른 발표를 재현하려다 결과가 잡음이거나 유리한 사례만 골라낸 것이라고 판단한 경험도 소개했다. 이는 연구팀의 평가다.

내부에는 결과를 반박하고 잘못된 변동성을 찾아내는 역할을 맡은 엔지니어가 있다. 새로운 문제를 다룰 때는 수백 번의 실험을 수행하며 무엇이 실제 개선이고 무엇이 우연한 변동인지 확인한다고 설명했다.

특히 경계하는 것은 보상 해킹이다. 에이전트가 실제 목적을 달성하는 대신 평가 기준의 빈틈을 이용해 좋은 점수를 얻는 현상이다. 에이전트가 다른 에이전트를 만들고, 그 에이전트가 다시 다음 에이전트를 만드는 구조에서는 아래 단계의 편법이 최종 결과를 왜곡할 수 있다.

성능의 진동과 확률적 잡음도 문제다. 연구팀은 같은 B200 GPU라도 물리적 차이에서 비롯된 미세한 행동 차이가 상위 결과에 드러나는 경우가 있다고 말했다. 이런 이유로 개념이나 단일 점수보다 반복 측정을 중시한다.

## 개선 속도는 가장 느린 과정에 묶인다

대담에서는 지능을 하나의 숫자로 보기 어렵다는 지적도 나왔다. 어떤 영역에서는 빠른 개선이 나타나고, 다른 영역에서는 정체하거나 천천히 나아갈 수 있다는 것이다.

연구팀은 전체 속도를 제한하는 느린 구성 요소가 중요하다고 설명했다. 디지털 작업을 크게 가속해도 전체 과정에서 차지하는 비중이 작다면 최종 효과는 제한된다.

신약 개발이 사례로 제시됐다. 새로운 아이디어를 평가하려면 실험실 실험과 임상시험에 수개월이 걸릴 수 있다. 아이디어를 더 빨리 만들어도 검증 과정이 그대로라면, 평가가 빠르고 저렴한 코딩이나 수학만큼 전체 작업이 가속되기 어렵다는 전망이다.

지표 자체의 한계도 있다. 벤치마크 정확도는 100%가 상한이므로, 그 수치만으로 지속적인 지수 성장을 관찰할 수는 없다. 연구팀은 무엇을 측정하느냐에 따라 개선의 양상이 다르게 보일 수 있다고 지적했다. 물리적 한계가 있다는 점도 인정했지만, 특정 문제를 해결하는 데 필요한 에너지나 자원의 구체적인 경계는 제시하지 않았다.

이 대담이 제시한 RSI의 판단 기준은 스스로 개선한다는 선언보다 구체적이다. 개선 주체가 다음 개선의 대상이 되는지, 사람의 시간과 실패한 실험까지 포함해 비용을 계산했는지, 반복 측정에서도 결과가 유지되는지를 확인해야 한다. 연구팀은 초기 징후를 보고 있다고 밝혔으며, 그 주장을 평가할 구체적인 공개 결과는 아직 남아 있다.

---

원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://www.youtube.com/watch?v=3Q1mdn5ZGvM)