# AI 스케일링의 미래: 재귀 모델이 대형 모델을 넘어서는 이유

> 2026-05-01 · Y Combinator · 큐레이션 김태우
> https://challengekim.com/insights/future-of-ai-scaling-why-recursive-models-outperform-large-models-ko
> 원문: https://www.youtube.com/watch?v=DGtUUMNYLcc

2025년 AI 연구의 가장 흥미로운 발전 중 하나는 모델을 단순히 크게 만드는 것에서 벗어나 **추론 시점의 재귀(recursion)** 를 활용하는 것입니다. 이 패러다임 전환은 우리가 인공지능의 미래를 어떻게 생각해야 하는지를 근본적으로 바꾸고 있습니다. 작은 매개변수로도 강력한 성능을 달성할 수 있다는 발견은 AI 산업에 새로운 가능성을 열어주고 있습니다.

## 핵심 요약

- **재귀 모델의 등장**: 고차 추론 모델(HRM)과 소형 재귀 모델(TRM)이 기존 거대 모델의 한계를 극복
- **매개변수 효율성**: 7백만 개 매개변수의 작은 모델이 수조 개 매개변수의 거대 모델이 풀지 못하는 문제 해결
- **ARC Prize의 성과**: HRM 70% → TRM 87%로 성능 향상, 매개변수는 오히려 4배 감소
- **새로운 스케일링 법칙**: 모델 크기보다 **재귀 깊이** 가 성능 결정의 핵심 요소
- **메모리 효율성**: 튜링 머신의 테이프처럼 동작하는 숨겨진 상태가 복잡한 알고리즘 실행 가능

## RNN에서 LLM으로: 왜 재귀가 사라졌나

### 시간을 통한 역전파의 문제

지난 10년간 AI 연구의 흐름을 보면, **RNN(순환신경망)에서 트랜스포머 기반의 LLM(대형언어모델)** 으로의 전환이 일어났습니다. 이 변화는 기술적 필요성에서 비롯됐습니다.

RNN은 자신을 재귀적으로 계속 호출하는 모델입니다. 이론적으로는 AGI(범용 인공지능) 달성에 필수적이라고 믿어졌습니다. 특히 2016년 알렉스 그레이브스의 NIPS 기조연설과 적응형 컴퓨팅 시간(adaptive compute time) 연구는 이 분야의 황금기를 대표했습니다.

그러나 RNN 훈련에는 근본적인 문제가 있었습니다. **시간을 통한 역전파(backpropagation through time, BPTT)** 과정에서 입력이 20단계라면, 이 행렬들을 20번 곱하면서 기울기가 점점 작아지거나 폭발적으로 커지는 **기울기 소실(vanishing gradient)** 또는 **기울기 폭주(exploding gradient)** 문제가 발생합니다.

더 심각한 문제는 메모리입니다. 역전파를 위해서는 모든 시간 단계의 활성화(activation)를 저장해야 합니다. 백만 또는 십억 단위의 컨텍스트 길이를 다룬다면, 이는 뇌를 백만 개 복사하는 것과 같은 메모리 부담이 됩니다. 기울기 체크포인트(gradient checkpointing)로 일부 문제를 해결할 수 있지만, 결국 메모리를 벽시계 시간(wall clock time)과 컴퓨팅 자원과 맞바꾸는 것에 불과합니다.

### 트랜스포머의 혁명: 효율성의 대가

LLM의 트랜스포머 블록은 이 문제를 우아하게 해결했습니다. **모든 입력을 병렬로 처리** 할 수 있기 때문입니다. 훈련 시에 입력을 하나씩 반복적으로 처리하지 않습니다. 대신 **인과 마스크(causal mask)** 를 통해 모든 시간 단계를 한 번에 처리합니다.

이것이 가능한 이유는 **하삼각 행렬 트릭** 때문입니다. 순방향 전달도 한 번에, 역방향 전달도 한 번에 수행되므로 훈련 시간이 놀랍도록 단축됩니다. 기울기 소실 문제도 사라집니다.

그러나 이 효율성은 **큰 대가** 를 치르고 얻어진 것입니다:

1. **잠재 추론 능력의 상실**: RNN의 숨겨진 상태(hidden states)는 모든 정보가 압축되어 있어서, 시간 방향에서의 강력한 압축이 가능했습니다.
2. **시간 방향의 압축 부재**: LLM에는 이러한 압축이 없습니다. 셰익스피어 소설 전체를 유지해야 아주 작은 부분만 디코딩할 수 있습니다.

## 튜링 머신과 추론의 한계: LLM이 할 수 없는 것

### 단일 순방향 전달의 한계

여기서 중요한 질문이 제기됩니다. **LLM이 진정한 의미의 추론을 하는가?**

원래의 단순한 버전 ChatGPT-2를 생각해봅시다. 그것은 순수한 피드포워드 모델이었습니다. 한 단계씩 순방향 전달하여 다음 토큰을 생성했고, 검증 손실과 혼란도(perplexity)는 감소했으며, 어느 정도 그럴듯한 셰익스피어 문장을 만들었습니다.

그러나 이 모델이 **실제로 어려운 문제를 해결** 하도록 요구하면 근본적인 한계가 드러납니다.

**정렬 문제를 예로 들어봅시다.** 무한한 양의 정렬되지 않은 목록을 입력하면, 정렬된 목록이 출력되어야 합니다. 충분한 훈련 데이터가 있으면 작동할 것 같죠? 하지만 이론적 한계가 있습니다.

비교 정렬의 이론적 하한은 **N log N 단계** 입니다. 만약 31개의 요소로 이루어진 목록이 있고, 트랜스포머가 30개의 레이어를 가지고 있다면, **필요한 모든 단계를 수행할 수 없습니다.** 모델은 각 레이어에서 한 번의 어텐션만 수행할 수 있기 때문입니다.

이는 정렬뿐 아니라 다른 **비압축성 문제(incompressible problems)** 에도 적용됩니다:

- **스도쿠 퍼즐**: 50개의 빈 칸을 모두 채워야 함
- **미로 탐색**: 경로를 찾기 위한 반복적 탐색 필요
- **누적 합계(rolling sums)**: 시퀀셜 연산이 불가피

### 외부 메모리의 필요성

대학 알고리즘 수업을 떠올려봅시다. N log N보다 빠르게 정렬하는 방법이 있습니다. **외부 메모리 캐시나 테이프에 접근** 할 수 있다면, 기수 정렬(Radix sort)로 성능을 N으로 향상시킬 수 있습니다.

이것이 **LLM의 핵심적인 한계** 입니다. 모델 내부에 **외부 메모리 테이프가 내장되어 있지 않기 때문에**, 특정 성능 가능성을 잃게 됩니다.

따라서 트랜스포머 레이어가 부족하면, 그 문제들을 해결할 기회도 사라집니다.

### 튜링 완전성과 훈련의 딜레마

오리지널 ChatGPT-2 같은 순수 피드포워드 모델은 **튜링 완전(Turing complete)하지 않습니다.** 단일 순방향 패스로는 모든 튜링 계산 가능한 함수를 시뮬레이션할 수 없습니다.

여기서 **"사고의 사슬(chain of thought)"** 이 등장합니다. 테스트 시점에 추가 토큰을 생성하면서 중간 단계를 명시적으로 표현하면, 모델은 튜링 완전해집니다. 이론적으로는 모든 계산 가능한 함수를 시뮬레이션할 수 있습니다.

그러나 **훈련 문제가 남습니다.**

사고의 사슬을 학습시키려면 **인간이 레이블링한 흔적(trace)** 이 필요합니다. 하지만 많은 문제에 대해서는 이런 훈련 데이터가 존재하지 않습니다. 밀레니엄 난제 같은 경우, 우리는 해결책의 흔적을 가지고 있지 않습니다. 이것이 LLM의 본질적인 한계입니다.

## HRM(고차 추론 모델): 재귀의 부활

### 뇌에서 영감을 받은 다층 재귀

이제 2025년의 혁신적인 논문들을 살펴봅시다. 첫 번째는 **HRM(Higher-Order Reasoning Models)** 입니다.

HRM은 RNN의 계보를 직접 이어받습니다. 뇌에서 영감을 받은 핵심 아이디어는 다음과 같습니다:

**뇌의 다른 부분들은 다른 주파수에서 작동합니다.**

- 일부는 매우 높은 주파수에서 작동 (낮은 수준의 처리)
- 일부는 매우 낮은 주파수에서 작동 (높은 수준의 개념화)
- 이들 간의 상호작용이 핵심

HRM은 이 개념을 신경망 아키텍처에 구현합니다.

### HRM의 작동 원리

HRM이 입력 X를 받으면 다음과 같이 동작합니다:

1. **저수준 모듈(L-net)**: TL 단계를 수행
2. **고수준 모듈(H-net)**: TH번 반복
3. **외부 정제 루프**: N번의 정제 단계 수행

여기서 정확히 **세 가지 수준의 재귀** 가 발생합니다:

- **저수준 재귀**: L-net에서 TL번 반복
- **고수준 재귀**: H-net에서 TH번 반복
- **외부 재귀**: 정제 단계를 N번 반복

이를 **변수 스코핑(variable scoping)** 으로 생각할 수 있습니다. 세 개의 중첩된 함수처럼, 가장 낮은 수준의 함수는 **ZL(저수준 잠재 변수)** 이라는 스코프 변수를 가지며, 이들은 0으로 초기화됩니다. 전통적인 RNN 문헌에서는 이를 **은닉 상태(hidden states)** 라고 부릅니다.

### 심층 평형(Deep Equilibrium) 학습

HRM은 전통적인 BPTT의 문제를 **DEQ(심층 평형) 방법** 으로 해결합니다.

기존 방식:

1. 배치(batch)를 가져와 모델 순방향 전달
2. 손실 계산
3. 역전파로 가중치 업데이트
4. 다음 배치로 이동

**HRM의 접근:**

1. 동일한 배치로 순방향 전달과 가중치 업데이트를 **16번 반복**
2. 반복할 때마다 잔차(residuals)의 변화가 점점 작아짐
3. 은닉 상태(ZL 및 ZH)가 0으로 재설정되지 않음
4. 각 반복은 다양한 메모리 상태에 의해 형성된 다른 "미니배치"로 작동

이 방식은 전체 깊은 재귀를 통해 **역전파할 수 있는 능력** 을 제공하여 성능을 크게 향상시킵니다.

### 놀라운 성과

HRM은 **ARC Prize 챌린지에서 최첨단 결과** 를 달성했습니다:

- **모델 크기**: 단 2,700만 개의 매개변수
- **훈련 데이터**: 사전 훈련 없이 단 1,000개의 작업만으로 훈련
- **출발점**: 백지 상태의 가중치에서 시작
- **성과**: ARC Prize 1에서 약 70% 달성
- **비교**: O3 모델은 0점을 기록

이는 **엄청난 돌파** 였습니다.

## TRM(소형 재귀 모델): 단순화와 확장

### HRM에서 학습한 교훈

HRM의 성공 이후, 연구자들은 중요한 발견을 했습니다:

**이전 모델의 복잡성 대부분을 제거하면서도 성능을 유지할 수 있다는 것입니다.**

이는 머신러닝의 전형적인 진화 패턴입니다. 첫 번째 논문이 새로운 개념을 제시하면, 후속 논문은 종종 "첫 번째 논문의 구성 요소 75%를 삭제하고" 진정으로 필수적인 부분만 유지하면서 유사한 (또는 더 나은) 결과를 얻습니다.

### TRM의 핵심 단순화

**TRM(Tiny Recursive Models)** 에서 "마법"은 두 가지입니다:

1. **외부 정제 루프의 강력함**
2. **절단 길이 T=1인 시간에 따른 절단 역전파(truncated BPTT)만으로도 충분**

이는 매우 직관적이지 않은 발견입니다. HRM에서 처음 관찰되었던 이 현상을 TRM이 더 발전시켰습니다.

### 아키텍처 단순화

TRM은 여러 가지를 단순화합니다:

**이전 접근:**

- H-net(고수준)을 위한 별도의 네트워크
- L-net(저수준)을 위한 별도의 네트워크
- 각각 여러 개의 트랜스포머 레이어

**TRM의 접근:**

- 가중치 공유를 하는 단일의 "net"
- 고수준 및 저수준 특징을 모두 추출 가능
- 단 하나의 트랜스포머 레이어만 사용 가능
- 저수준(ZL) 및 고수준(ZH) 잠재 상태를 명확히 분리

### 놀라운 성능 향상

TRM의 성과는 더욱 인상적입니다:

- **이전 모델**: 2,800만 개의 매개변수 (HRM)
- **새로운 모델**: 700만 개의 매개변수 (TRM)
- **감소율**: 약 **3\~4배 더 작음**
- **성능**: ARC Prize 1에서 70%에서 **87%로 향상**
- **결론**: 모델을 더 작게 만들었지만, **재귀가 있기 때문에 더 나은 성능**

이는 단순히 스케일링 법칙을 따르지 않는다는 것을 의미합니다. 더 크다고 반드시 더 좋은 것은 아닙니다.

### 작동 메커니즘

TRM의 훈련 과정은 **기대-최대화(Expectation-Maximization, EM) 알고리즘** 과 유사합니다:

1. **초기화**: ZH와 ZL을 0으로 초기화
2. **내부 루프** (기울기 추적 없음, no_grad):
   - ZL을 ZH와 X에 조건화하여 여러 번 업데이트
   - 그 다음 ZH를 ZL에 조건화하여 업데이트
3. **외부 루프** (기울기 추적 있음):
   - 출력 생성 전 마지막 정제 단계
   - 손실 계산 및 역전파
   - 가중치 업데이트

이 구조에서:

- **ZL**: 로컬 계산을 수행하고 잠재적 해결책을 제안 (변수 스코핑)
- **ZH**: ZL을 통합하고 정제하여 점진적으로 더 완전한 이해 구축

**스도쿠 퍼즐** 을 예로 들면, 모든 칸을 한 번에 추측할 수는 없습니다. 사용 가능한 정보를 기반으로 점진적으로 추론해 나갑니다. 마찬가지로 TRM도:

- 각 반복에서 로컬 정보(ZL)로부터 후보를 생성
- 고수준 이해(ZH)로 이를 정제
- 반복적으로 문제의 해결책에 접근

### 훈련과 테스트의 불일치

흥미로운 발견 중 하나는 **테스트 시 정제 단계의 수가 훈련 시만큼 높을 필요가 없다** 는 것입니다.

스도쿠와 같은 문제의 경우:

- 많은 단계로 훈련되었다면
- 테스트 시점에 단 한 번의 재귀만으로도 거의 완전한 성능 달성 가능

**아키텍처 선택의 문제:**

- 스도쿠와 같은 더 간단한 작업에서는 기본적인 MLP조차도 트랜스포머보다 뛰어난 성능
- 미로 찾기 작업에서 MLP는 0점을 기록
- 복잡성이 항상 유익한 것은 아님

## 생체 타당성 논쟁과 실용적 유효성

### 생물학적 영감과 계산적 현실

기계 학습과 신경과학 사이에는 오랜 중복이 있습니다. 인간의 뇌가 어떻게 작동하는지 묻는 것은 당연합니다. 뇌는 놀랍고 효율적인 컴퓨팅 도구이기 때문입니다.

그러나 역사는 흥미로운 교훈을 제공합니다:

**패턴**: 개념이 생체 타당한 논증으로 시작하지만, 종종 **생체적으로 매우 비현실적으로 보이는 변형들이 더 잘 작동** 합니다.

**사례 연구: AlexNet부터 VGG까지**

AlexNet(첫 번째 딥러닝 논문)에는 다음이 포함되어 있었습니다:

- 복잡한 "국소 수용 활성화 또는 억제(local receptive activation or depression)" 기능
- 생물학적 뉴런에서 영감을 받음
- 나중에 **불필요한 것으로 밝혀짐**

VGG와 후속 모델들:

- 이러한 복잡한 생물학적 영감을 **제거**
- 대신 깊이를 늘리고 3x3 컨볼루션에 집중
- **성능을 극적으로 향상**

### 생체 적합성의 올바른 역할

생체 타당성의 초기 아이디어는 생물학적 목적에서 영감을 받는 것입니다. 종종 생체 적합성은 **아이디어를 생성하는 출발점** 이 됩니다.

하지만 실무에서는:

- 생물학적으로 타당한 것에서 출발
- 하지만 **생물학적으로는 불가능하더라도 계산적 맥락에서 더 잘 작동하는** 해결책을 찾음
- 예: GPU에서 더 효율적으로 실행되는 솔루션

**결론**: 생체 적합성은 새로운 개념을 위한 매력적인 영감 원천이지만, 그것이 초점을 제한해야 할 이유는 아닙니다. 주요 역할은 **더 깊은 탐구를 위한 과학적 출발점** 입니다.

### 오토마타 이론과 알고리즘 관점

더 설득력 있는 관점은 **오토마타 이론과 기본적인 자료 구조 및 알고리즘** 에서 비롯됩니다.

핵심 통찰:

- 복잡한 알고리즘 실행은 **메모리 캐시에 접근** 함으로써 큰 이점
- 신경망의 숨겨진 상태를 **튜링 머신 테이프나 기수 정렬 메모리 뱅크** 에 비유 가능
- 단일 순방향 패스 내에서 이 메모리 캐시를 **지능적으로 활용** 하도록 모델 훈련

## 사고의 사슬, 도구 사용, 그리고 그 한계

### 인간 지식에 대한 의존성

우리의 연구는 GPT-2와 같은 모델의 한계를 극복하는 것을 목표로 했습니다. 예를 들어:

**정렬 작업 실험:**

- 무한한 정렬된 리스트와 정렬되지 않은 리스트가 주어졌을 때
- 모델이 사고의 사슬을 사용하여 모든 정렬 단계를 수행할 수 있다면
- 테스트 시점에 효과적으로 정렬하고 튜링 머신처럼 작동 가능

**훨씬 간단한 방법:**

- 모델에게 기존 파이썬 정렬 함수를 호출하도록 가르치기
- 역전파를 필요로 하지 않음
- 본질적으로 "꼼수"

### 근본적인 문제

이러한 접근 방식의 핵심 문제는:

**모델은 "정렬"이 무엇인지 알아야 합니다.**

- 모델은 첫 번째 원리로부터 병합 정렬을 본질적으로 발견하지 않음
- 기존 지식에 의존함
- 사고의 사슬은 정렬을 **발명** 하는 것이 아니라 **훈련된 과거 데이터에서 검색**

### "아인슈타인 테스트" 개념

이 개념은 **"아인슈타인 테스트"** 와 유사합니다:

- AI가 1911년의 모든 물리학을 재현하도록 시도
- 만약 모델에게 버블 정렬만 가르쳤다면
- 사고의 사슬을 사용하더라도 버블 정렬만 수행
- 심지어 특별히 잘 하지도 못함

### 핵심 한계

**사고의 사슬과 도구 사용 모두 인간 지식의 범위에 의해 제한됩니다.**

만약 어떤 문제가 이러한 인간 지식 기반을 벗어난다면, 모델은 본질적으로 운이 없는 것입니다. 이것이 LLM의 추론 능력의 근본적인 한계를 나타냅니다.

## 이산 공간 vs. 연속 잠재 공간

### 표현의 차원

LLM과 같이 **이산 공간에서 추론** 한다는 것은 모델의 "캐리(carry)"가 **이산 토큰 공간으로 다시 매핑** 되어야 함을 의미합니다.

대조적으로, 일반적인 RNN은:

- **훨씬 더 고차원적**
- **표현력이 더 풍부한 연속 잠재 공간(continuous latent space)** 에서 작동
- 더 복잡한 추론 구조 표현 가능

### 효율성과 비용의 트레이드오프

연속 공간의 장점:

- 더 강력한 표현 능력
- 복잡한 알고리즘 구현 용이
- 더 효율적인 압축

연속 공간의 단점:

- **훨씬 더 비용이 많이 듦**
- **시간에 따른 역전파(backpropagation through time)의 복잡성** 으로 인해 훈련에 제약
- 메모리 요구량 증대

**바로 이것이 우리가 논의하는 이 논문들이 매우 중요한 이유입니다.** 이들은 연속 공간의 이점을 활용하면서도 훈련의 어려움을 극복하는 방법을 제시합니다.

## 외부 정제 루프와 "마법"의 발견

### 놀랍도록 효율적인 개념

HRM 논문의 가장 중요한 핵심은 **"외부 정제 루프(outer refinement loop)"** 개념입니다. 이것이 **놀랍도록 잘 확장** 됩니다.

프랑수아 숄레의 회사인 Ndia의 콘스탄틴이 이에 대해 훌륭하게 설명한 자료가 있습니다. 본질적으로 핵심 발견은:

**이전 모델의 복잡성 대부분을 제거하면서도 성능을 유지할 수 있다는 것입니다.**

이는 머신러닝의 많은 발전과 유사합니다.

### 단순화의 역설

후속 연구 패턴:

1. 첫 번째 논문: 새로운 개념 + 많은 복잡한 세부사항
2. 후속 논문:
   - "첫 번째 논문의 구성 요소 75%를 삭제하고"
   - "마법" 즉, **진정으로 필수적인 부분만 유지**
   - 유사한 (또는 더 나은) 결과 달성

### TRM에서의 단순화

TRM 논문에서 "마법"은 다음을 포함합니다:

1. **외부 정제 루프의 강력함**
   - 반복적 정제가 성능을 크게 향상
   - 파라미터 추가 없이 깊이 증가

2. **절단 길이 T=1 BPTT의 충분성**
   - 시간에 따른 절단 역전파에서 오직 마지막 단계만 역전파
   - 메모리 효율성 극대화
   - 여전히 강력한 성능 유지

3. **가중치 공유 단일 네트워크**
   - 별도의 H-net과 L-net 대신 하나의 네트워크
   - 고수준과 저수준 특징 모두 추출
   - 파라미터 수 4배 감소

### 실증적 검증

이러한 단순화의 효과는 **놀라운 결과** 입니다:

- 모델 크기: 2,800만 → 700만 (75% 감소)
- ARC Prize 1 성능: 70% → 87% (17% 향상)
- 계산 효율: 파라미터 대비 성능이 극적으로 향상

## 미래 방향: 스케일 + 재귀의 결합

### 현재의 한계와 가능성

AI 연구에서 현재 진행 중인 여러 흐름이 있습니다:

1. **재귀 모델의 강력함**
   - 구글에서 나온 재귀적 언어 모델(recursive language models)
   - 매우 강력하고 효과적
   - 당분간 사라지지 않을 핵심 요소

2. **외부 정제 루프와 T=1 BPTT**
   - 강력한 아이디어
   - 여전히 깊이 있게 탐구되지 않음
   - 내부 작동 메커니즘이 완전히 이해되지 않음

3. **소형 재귀 모델의 성능**
   - 7백만 개의 매개변수로 거대 모델이 풀지 못하는 문제 해결
   - 수조 개의 매개변수로 훈련된 모델을 능가
   - 올바른 아키텍처의 중요성 증명

### 최적의 조합: 스케일 + 재귀

가능한 미래의 방향:

**현재:** 부분적인 접근

- 일부 대형 모델(예: Gemini)에는 이미 이런 요소들이 포함되어 있을 수 있음
- 하지만 완전하게 결합되지 않음

**최적의 미래:** 완전한 통합

- TRM의 **재귀적 효율성**
- 대형 모델의 **광범위한 지식**
- 둘의 장점을 완전히 결합

결론: **이 두 가지를 모두 취해서 실제로 결합하면, 엄청나게 발전할 것입니다. 정말 거대해질 겁니다.**

### 범용성의 도전

현재의 중요한 한계:

**TRM과 HRM의 특수성:**

- 범용 모델이 아님
- 특정 작업에 특화된 모델
- 스도쿠용 모델은 본질적으로 ARC Prize를 풀 수 없음
- 각 작업마다 별도의 훈련 필요

**LLM의 범용성:**

- 범용 모델로 다양한 작업 수행
- 인컨텍스트 학습(in-context learning) 가능
- 미세 조정(fine-tuning)으로 적응 가능
- 다음 토큰 예측이라는 단일 목표로 훈련

### 흥미로운 교차점

가능한 돌파구:

**문제**: 특수한 모델을 범용적으로 만들 수 있을까?

**해결책**:

- 이러한 재귀 모델들을 범용적인 에이전트로 만들기
- 다음 토큰 예측 알고리즘이 제공했던 방식처럼 범용성 달성
- 더 복잡한 추론을 수행할 수 있는 능력

이를 달성한다면:

- **정말 효율적인 아키텍처** 를 가질 수 있음
- 복잡한 추론을 위한 우아한 솔루션
- 성능과 효율성의 최적 균형

### 임베딩 공간에서의 추론

현재의 이해:

**LLM이 하는 일:**

- 놀라운 임베딩 표현 공간을 찾기
- 의미론적으로 분리되고 정리된 공간 구축

**LLM의 한계:**

- 그 공간 내에서의 추론은 실제로 많이 일어나지 않음
- 추론이 발생하는 방식: **항상 토큰 공간을 통해**
- 이산 토큰 공간으로의 제약

**미래의 가능성:**

1. **토큰/픽셀에서의 매핑**
   - 토큰 또는 시각 정보로부터 매핑 찾기
   - 의미론적으로 분리된 멋진 잠재 공간 구축
   - 후속 작업 처리를 훨씬 쉽게 함

2. **잠재 공간에서의 추론**
   - 그 공간 내에서 작은 추론 모델(TRM/HRM 스타일) 사용
   - 재귀를 활용한 추론
   - 비이산 잠재 공간에서 작동

3. **통합된 시스템**
   - 큰 모델: 훌륭한 임베딩 공간 학습
   - 작은 재귀 모델: 그 공간에서 복잡한 추론 수행
   - 정말 효과적인 조합

## 결론

2025년의 AI 연구는 **스케일만 추구하는 단순한 접근에서 벗어나** 더 정교한 패러다임으로 향하고 있습니다.

### 핵심 인사이트

1. **재귀는 필수입니다**
   - 단순히 더 많은 파라미터로는 모든 문제를 해결할 수 없음
   - 복잡한 알고리즘은 반복적 추론 필요
   - RNN 시대의 교훈이 다시 부활

2. **작은 모델도 강력할 수 있습니다**
   - 올바른 아키텍처가 임의의 크기보다 중요
   - 7백만 개 파라미터로 조 개 파라미터 모델 능가 가능
   - 효율성의 새로운 가능성

3. **외부 정제와 T=1 BPTT가 마법입니다**
   - 강력하면서도 간단한 아이디어
   - 메모리 효율적이면서도 성능 유지
   - 더 깊이 있는 이해 필요

4. **범용성과 특수성의 균형**
   - 현재 특수한 재귀 모델과 범용 LLM의 조합이 미래
   - 임베딩 공간에서의 재귀적 추론 가능성
   - 새로운 통합 아키텍처의 출현 가능

### 최종 전망

AI의 다음 스케일링 법칙은 **모델 크기가 아니라 재귀 깊이** 입니다. 올바른 아키텍처로 작은 모델이 거대한 모델보다 더 효율적이고 강력할 수 있다는 발견은 AI 산업의 방향을 근본적으로 바꿀 것입니다.

이 변화는 단순히 기술적 진보가 아니라 **AI가 어떻게 추론하고 학습하는지에 대한 우리의 이해** 를 깊게 합니다. 2025년과 그 이후, 이 재귀적 패러다임이 어떻게 발전하고 실제 응용에 어떻게 구현될지 지켜보는 것이 매우 흥미로울 것입니다.

---

원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://www.youtube.com/watch?v=DGtUUMNYLcc)