# AI 벤치마크 신기록 달성: 7명 팀의 재귀적 자기개선 시스템

> 2026-02-27 · Y Combinator · 큐레이션 김태우
> https://challengekim.com/insights/ai-benchmark-record-poetiq-recursive-self-improvement-system-ko
> 원문: https://www.youtube.com/watch?v=UPGB-hsAoVY

세계는 빠르게 변하고 있고, AI 기술은 더욱 그렇습니다. 요즘 한 가지 확실한 것이 있다면, **AI를 직접 경험해 보는 것** 이 가장 중요하다는 점입니다. 매일 AI를 활용해 새로운 프로젝트를 시도해보세요. 작년 여름만 해도 주말을 이용해 GPT-5의 도움을 받아 아이폰 앱을 만들었는데, 10년 동안 해본 적 없던 작업이 놀라울 정도로 빠르고 쉬웠습니다. 8개월이 지난 지금은 더욱 빠르고 간단해졌습니다. **자신을 제한하지 마세요.** 상상하는 모든 것을 AI로 시도해보고, 어디까지 도달할 수 있는지 확인해보세요. 이것이 바로 세상을 더 나은 곳으로 만드는 방법입니다.

## 핵심 요약

- **재귀적 자기개선**: AI가 스스로를 지속적으로 개선하는 혁신적 기술로, 새로운 모델 출시 때마다 자동으로 성능 향상
- **비용 효율성**: 대규모 모델 훈련에 수억 달러가 들지만, Poetiq은 **10만 달러 미만** 의 최적화 비용으로 최고 성능 달성
- **벤치마크 최고 기록**: Arc AGI V2와 '인류의 마지막 시험(Humanity's Last Exam)'에서 연이어 1위 달성
- **작은 팀의 큰 성과**: 불과 **7명의 연구 과학자와 엔지니어** 로 구성된 팀이 대형 AI 회사들을 능가하는 성능 달성
- **미래 증명 기술**: 기존 모델 미세조정과 달리 새로운 모델이 나와도 자동으로 호환되고 성능 향상

## Poetiq: 재귀적 자기개선의 완벽한 구현

Poetiq은 단순한 LLM 위의 또 다른 도구가 아닙니다. 이곳에서 구축하고 있는 것은 **재귀적으로 자체 개선되는 시스템** 입니다. 이는 AI 업계에서 오랫동안 추구해온 '성배'와도 같습니다. AI가 스스로를 더 똑똑하게 만드는 것이죠.

Poetiq의 핵심 통찰은 **기존의 모든 방식보다 훨씬 빠르고 저렴하게 재귀적 자기개선을 달성할 수 있다** 는 것입니다. 일반적으로 기업들은 어떤 접근을 할까요?

### 기존 방식의 문제점

대부분의 회사들은 새로운 LLM을 처음부터 훈련하는 방식을 취합니다. 이 과정에는:

- **수억 달러의 비용** 투자 필요
- **수개월의 개발 기간** 소요
- 그 결과도 Anthropic이나 OpenAI 같은 대형사가 다음 모델을 출시하면 즉시 뒤처짐

OpenAI, Google, Anthropic 같은 대형사들도 재귀적 자기개선을 탐구하고 있지만, **각 개선 단계마다 새로운 모델을 훈련해야** 합니다. 이는 스타트업에게는 불가능한 접근 방식입니다.

### Poetiq의 혁신적 해결책

Poetiq을 사용하면, **기존 기반 모델을 그대로 두고** 그 위에 최적화된 '하네스(harness)' 시스템을 구축합니다. 이 하네스는:

- **코드, 프롬프트, 데이터** 의 조합
- 기반 모델보다 **항상 더 나은 성능** 발휘
- 새로운 모델이 출시되면 **자동으로 호환** 되고 추가 학습 없이도 성능 향상

이것이 정말 중요한 이유는, 만약 미세조정(fine-tuning)을 한다면:

- 수백만에서 수억 달러를 지출
- 다음 버전의 최첨단 모델이 나오면 그 투자가 무의미해짐
- 영원히 따라잡을 수 없는 악순환에 빠짐

**Poetiq을 사용하면, 항상 기본 제공되는 모델보다 더 나은 성능을 보장받습니다.** 이것이 바로 성배인 것입니다.

## 연속된 벤치마크 최고 기록 달성

### Arc AGI V2: 첫 번째 검증

지난 12월 논문을 발표했을 때, Poetiq은 **Arc AGI V2에서 최고 기록을 세웠습니다.** 이것은 은밀한 개발을 완료한 후, 정말 어려운 문제들을 해결할 수 있다는 것을 세상에 알린 계기였습니다.

그 직후 **Google의 Gemini 3 DeepThink가 출시되어 45%로 리더보드 최상단에 올랐습니다.** 놀랍게도, **2일 후 Poetiq은 훨씬 더 높은 점수를 발표했습니다.**

이것은 마치 '죽마를 탄 것'과 같은 상황입니다. 어떤 최고 성능 모델이 나오든, **Poetiq과 함께라면 그 모델보다 더 우위에 설 수 있습니다.**

### 비용 효율성: Gemini 3 Pro의 성공

더 놀라운 것은 **비용입니다.** Poetiq은 Gemini 3 DeepThink보다 훨씬 저렴한 **Gemini 3 Pro를 기반** 으로 구축했습니다.

**성능 비교:**

- **Gemini 3 DeepThink**: 45% 정확도, 문제당 약 $70
- **Poetiq (Gemini 3 Pro 기반)**: 54% 정확도, 문제당 $32

**9%포인트의 성능 향상을 절반의 비용으로 달성한 것입니다.** 이것이 스타트업이 원하는 결정적인 요소입니다. 새로운 모델을 미세조정할 필요 없이, 저렴한 모델로 더 나은 결과를 얻을 수 있다는 증명입니다.

### 인류의 마지막 시험: 최고의 순간

최근 Poetiq은 '**인류의 마지막 시험(Humanity's Last Exam)**'에서 놀라운 결과를 발표했습니다.

이 벤치마크는:

- **2,500개의 매우 어려운 문제** 로 구성
- 다양한 분야의 **전문가들이 직접 작성**
- 해당 분야의 **박사 학위 소유자도 도전적일 정도** 의 난이도
- 현재까지 AI 중 단 하나도 통과하지 못함

**Poetiq의 성과:**

- **55% 달성**
- 지난주 Anthropic의 Claude Opus 4.6이 발표한 이전 최고 기록 53.1%보다 약 **2%포인트 높음**

### 최적화 비용의 충격

이 성과를 달성하는 데 드는 비용은 **10만 달러 미만입니다.** 이것이 얼마나 인상적인지 이해하려면:

- 일반적인 대규모 기반 모델 훈련: **수억 달러**
- Poetiq의 최적화: **10만 달러 미만**
- **비용 대비 성능: 수천 배 향상**

그리고 이 모든 것을 **단 7명의 연구 과학자와 연구 엔지니어** 가 달성했습니다. 이는 단순히 효율성의 문제가 아니라, **완전히 다른 접근 방식의 우월성** 을 보여주는 증거입니다.

## 하네스 기술: 마법 같은 자동화

### 코드, 프롬프트, 데이터의 시너지

하네스(harness)는 본질적으로 **하나 이상의 언어 모델 위에 구축된 코드, 프롬프트, 그리고 데이터** 입니다. 원칙적으로는 수동으로 또는 Claude 코드를 사용하여 구축할 수 있지만, 실제로는 모든 통찰력을 얻고 이것을 잘 작동시키려면 **엄청난 노력이 필요합니다.**

Poetiq에서 개발한 **핵심 기술은 바로 이 하네스를 자동으로 생성하고 최적화** 하는 것입니다.

### Poetiq 메타 시스템의 작동 원리

**Poetiq 메타 시스템** 은 어려운 문제를 해결하는 최적화된 시스템을 자동으로 출력합니다. 여기서 '어려운 문제'란:

- GPT-5 같은 최고 성능 모델을 사용해도
- 신뢰할 수 있고 견고한 결과를 내기 어려운 것
- 지속적인 오류나 불안정성이 발생하는 것

**이렇게 하면:**

- 이러한 시스템을 **훨씬 더 자동화된 방식** 으로 생성 가능
- **특정 작업을 해결하기 위해 직접 팀을 고용** 하려는 것보다 훨씬 빠르고 저렴
- 진정한 의미의 **완전 자동화된 최적화 프로세스**

### 엔지니어들의 새로운 역할

이 기술의 등장으로 엔지니어들의 역할이 변합니다:

**과거 (수동 방식):**

- 프롬프트 엔지니어가 직접 튜닝
- 평가 지표를 수동으로 개선
- 컨텍스트 스터핑을 직접 수행
- 끊임없는 수정과 재작업

**현재 (Poetiq 방식):**

- Poetiq 메타 시스템이 데이터를 자동으로 분석
- 더 많은 컨텍스트가 필요한지 판단하여 자동 추가
- 필요한 예시를 자동으로 생성
- 인간 개입 최소화로 편향 제거

흥미롭게도, **Arc AGI의 프롬프트 출력을 보면 '이건 인간이 쓴 게 아니다'라고 분명히 알 수 있습니다.** 예상치 못한 창의적 접근도 있고, 매우 단순한 예시도 만드는데, 심지어 그중 일부는 기술적으로 '틀렸지만' 전체 성능에는 도움이 됩니다. Poetiq은 이를 개입해서 수정하지 않습니다. **"이것이 우리가 얻은 결과니 그냥 두자"라고 판단합니다.**

## 머신러닝 패러다임의 전환

### 역사적인 규칙의 폐기

역사적으로 머신러닝에는 중요한 규칙이 있었습니다: **"데이터셋을 정말 잘 알아야 한다."**

전문 연구자들은:

- 데이터셋의 특성을 깊이 있게 이해
- 잠재적 오류나 편향 찾아내기
- 성공과 실패의 패턴 분석
- 수동으로 이를 모두 반영하여 설계

### 새로운 패러다임: AI가 AI를 이해한다

**이제 이 일을 AI 자체에 아웃소싱합니다.**

AI가 이제:

- 데이터셋 자체를 깊이 있게 이해
- 실패 모드가 어디에 있는지 파악
- 더 나은 성능을 위해 필요한 견고한 추론 전략 식별
- 이를 모두 자동으로 구현

이것은 단순한 효율성 개선이 아니라 **패러다임 자체의 전환** 입니다.

### 추론 전략의 중요성

프롬프트 최적화와 추론 전략, **어느 것이 더 중요할까요?**

이것은 **문제마다 완전히 다릅니다.** 하지만 DeepMind에서의 경험을 보면 흥미로운 패턴이 있습니다.

실제 사례:

- **프롬프트만 수동 최적화**: Gemini 1.5 Flash로 약 5% 성능 개선
- **추론 전략 추가 후**: 5%에서 **95%로 급증** (즉, 90%포인트 개선)

이것이 일반적으로 보이는 현상입니다. 많은 사람들이 자동화된 프롬프트 최적화를 시도하고 있고 (유명한 논문들도 있습니다), 어느 정도의 성능 향상을 가져옵니다. 그러나 **프롬프트 개선만으로는 얻을 수 있는 것과는 거리가 멀고**, **코드로 작성된 추론 전략에 대해 깊이 있게 고민한다면 훨씬 더 많은 것을 얻을 수 있습니다.**

이것이 Poetiq이 특별한 이유입니다. 단순히 텍스트 프롬프트를 최적화하는 것이 아니라, **전체 추론 파이프라인을 자동으로 구축하고 개선** 합니다.

## 스타트업을 위한 Poetiq의 실제 적용

### 기존 에이전트의 성능 극대화

스타트업이 이미 어떤 에이전트를 구축했지만 더 나은 성능이 필요하다면? Poetiq이 할 수 있는 것:

1. **전체 에이전트 최적화** - 전체 시스템을 재구축
2. **부분 최적화** - 특정 부분만 개선
3. **프롬프트만 최적화** - 텍스트 부분 개선
4. **추론 전략만 최적화** - 로직 파트 개선

모든 것이 **특정 요구사항과 현재 상황에 따라 유연하게 적용** 됩니다.

### S-곡선의 상승

이 기술의 매력은 **무한한 상향 궤적** 입니다:

- 각 모델 또는 모델 세트에는 고유한 **S-곡선** 이 있음
- Poetiq 메타 시스템이 개선될수록, S-곡선이 계속 상승
- 기본 모델이 더 좋아질수록, 그 위의 S-곡선도 더 높아짐
- 결국 **포화 상태에 도달하거나 AGI/초지능에 도달할 때까지 계속 상승**

**목표는 Poetiq으로 먼저 그 한계에 도달하는 것입니다.** 그리고 새로운 모델이 나와도 자동으로 그 위에서 다시 상승하게 되는 것이죠.

### 얼리 액세스와 파트너십

현재 Poetiq은 아직 공식 출시되지 않았지만, **poetiq.ai에 접속하면 얼리 액세스를 신청할 수 있는 버튼이 있습니다.**

특히 찾고 있는 것:

- **정말 어려운 문제를 안고 있는 스타트업**
- 온갖 노력을 다했지만 **여전히 부족함을 느끼는 회사**
- 더 많은 성능이 필요한데 **새로운 모델만으로는 부족한 상황**

이런 종류의 문제들이 바로 Poetiq의 강점을 보여줄 수 있는 최고의 사례입니다.

## AI 시대의 엔지니어들을 위한 조언

### 한계를 찾아라

세상은 빠르게 변하고 있고, **가장 중요한 것은 직접 AI를 사용해보는 것** 입니다. 많은 엔지니어들이 AI 스타트업을 시작하고 싶어 하는데, 어떻게 생각해야 할까요?

**핵심 조언:**

1. **매일 AI를 활용해 무언가를 하세요**
2. **AI가 할 수 있는 것의 한계를 찾아내세요**
3. **자신이 만들고 싶은 것을 만드세요**

### 자신을 제한하지 마라

직접 경험한 사례를 보면 이게 얼마나 중요한지 알 수 있습니다. 지난여름, 주말을 이용해 GPT의 도움을 받아 아이폰 앱을 만들었는데, **10년 동안 해본 적 없던 작업이 놀라울 정도로 빠르고 쉬웠습니다.**

그것이 8개월 전이었는데, **지금은 훨씬 더 빠르고 간단합니다.** 이 속도로 진화하면, 앞으로 몇 개월 뒤에는 또 얼마나 더 발전할까요?

### 상상 속의 아이디어를 현실로

**스스로를 제한하지 마세요.** 상상하는 모든 것을 AI를 사용해서:

- 시도해보세요
- 어디까지 할 수 있는지 확인해보세요
- 기술적 제약을 최소화하세요

이렇게 하면, **세상을 더 나은 곳으로 만들 수 있습니다.** 이것이 AI 시대가 주는 가장 큰 기회입니다.

## 결론

Poetiq의 이야기는 단순히 한 회사의 성공 사례가 아닙니다. 이것은 **AI 시대에 어떻게 경쟁해야 하는지에 대한 완전히 새로운 패러다임** 을 제시합니다.

최고 성능 모델들과의 끝없는 경쟁에서 벗어나, **현재 있는 모델 위에서 지속적으로 개선하는 방식.** 수억 달러의 훈련 비용 없이, **10만 달러 미만으로 최고의 성능을 달성하는 방법.** 새로운 모델이 나올 때마다 모든 것을 다시 시작하지 않고, **자동으로 호환되고 더 나아지는 시스템.**

이것이 바로 '죽마를 탄' 것입니다. 어떤 모델이 나오든, 그 위에서 계속 더 나은 성능을 내는 **영원한 리더 위치를 보장받는 것입니다.**

AI 스타트업을 꿈꾸고 있다면, **Poetiq의 접근 방식에서 배우세요.** 거대한 자본과 자원으로 정면 승부하지 마세요. 대신 더 똑똑한 방법으로 기존의 것을 더 잘 사용하세요. 그것이 바로 **AI 시대의 진정한 혁신** 입니다.

---

원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://www.youtube.com/watch?v=UPGB-hsAoVY)