# 오픈 모델은 OpenAI·Anthropic을 따라갈 수 있을까

> 2026-10-14 · a16z · 큐레이션 김태우
> https://challengekim.com/insights/오픈-모델은-openai-anthropic을-따라갈-수-있을까
> 원문: https://www.youtube.com/watch?v=BKuK0M6oDTI

## 핵심 요약

- 네이선 램버트는 모델 발전을 연산 자원·데이터·인재의 결합으로 설명한다. 중국 연구소의 주요 제약은 인재보다 연산 자원에 있다고 본다.
- 강한 모델의 출력으로 다른 모델을 학습하는 증류는 추격에 도움이 되지만, 오늘날 추론 모델의 성능을 얼마나 설명하는지는 불확실하다.
- 폐쇄형 연구소는 모델 개발과 서비스 운영을 통합해 고객 정보와 매출을 다시 개발에 투입한다. 오픈 모델 생태계는 이 연결이 느리지만, 기업이 자체 데이터와 모델을 통제할 수 있다는 강점이 있다.
- 학습 데이터와 강화학습 환경의 품질은 중요한 경쟁 요소다. 환경의 결함은 모델이 과제 대신 보상 체계의 허점을 공략하게 만들 수 있다.
- 램버트는 AI의 자기 개선이 곧 급격한 도약을 뜻하지는 않는다고 본다. 동시에 이미 확산되는 능력에 대비할 사회적 준비와 공개 연구가 부족하다고 우려한다.

## 격차를 만드는 것은 자원과 조직이다

a16z 대담에 출연한 네이선 램버트는 최첨단 모델, 즉 현재 가장 앞선 능력을 갖춘 모델의 발전을 세 가지 자원으로 설명했다. **연산 자원, 데이터, 인재**다. OpenAI·Anthropic·Google 같은 연구소는 이 자원을 많이 확보했지만, 자원을 모델 개발에 맞게 조직하는 일도 어렵다. 램버트는 조직 구조와 경쟁이 기술 발전에 미치는 영향을 중요하게 봤다.

그는 OpenAI가 추론 모델이라는 새로운 방향을 열었고, Anthropic은 오랫동안 코딩에 집중한 결과를 거뒀다고 평가했다. 두 회사가 불가능해 보이는 방향에 일찍부터 큰 비용을 투입했다는 설명이다.

반면 중국 기업의 모델 공개는 시장 진입을 위한 실용적 선택으로 해석했다. 중국에서 API만 판매했다면 해외에서 알려지기 어려웠을 기업들이 모델을 공개해 개발자와 고객의 관심을 얻었다는 것이다. 이는 선의를 부정하는 설명이라기보다, 공개 전략이 지속되는 상업적 이유에 대한 분석이다.

램버트는 중국 연구소의 기술력과 인재 수준을 낮게 평가해서는 안 된다고 강조했다. 그가 현지 연구자들과 대화하며 확인한 가장 큰 차이는 연산 자원이었다. 장기적으로는 가장 앞선 폐쇄형 모델과 그보다 한 단계 뒤에서 다른 수요를 충족하는 오픈 모델이 공존할 것으로 내다봤다.

## 증류만으로 추론 모델의 추격을 설명하기 어렵다

증류는 강한 모델이 생성한 답변을 이용해 다른 모델을 학습하는 방식이다. 램버트에 따르면 과거의 후속 학습은 정답 예시를 따라 배우는 지도 미세조정에 더 크게 의존했다. 좋은 모델의 답변을 생성하고 적절한 질문과 함께 학습하면 상당한 성능을 얻을 수 있었다. 이때 어떤 질문을 확보하느냐가 핵심이었다.

오늘날에는 과제를 수행한 결과에 보상을 주는 강화학습의 비중이 커졌다. 이 변화 때문에 과거의 증류 효과를 현재의 추론 모델에 그대로 적용하기 어렵다는 것이 그의 주장이다. 공개 연구에서도 가장 강한 모델의 추론 과정을 가져와 학습한다고 성능이 곧바로 좋아지는 것은 아니며, 적절한 교사 모델을 선택하는 데 어려움이 있다고 설명했다.

그는 기반 모델의 데이터나 중간 학습 단계가 이런 차이에 영향을 줄 수 있다고 추정했다. 다만 이는 가설이다. 중국에서 모델 프록시와 다수의 계정을 통해 대규모로 출력을 이용하는 정황도 언급하며, 실제 활용 방식에는 더 확인할 부분이 있다고 덧붙였다.

램버트가 증류의 이점을 몇 달 정도로 보는 것은 공개된 연구에 근거한 판단이며, 불확실성의 범위가 크다. **증류가 무의미하다는 주장도, 추격의 대부분을 설명한다는 주장도 아니다.** 그는 중국 기업들이 자체적으로 모델을 잘 만드는 능력을 함께 봐야 한다고 말했다.

추론 과정을 노출하는 API가 제공되는 한 이런 학습을 완전히 막기는 어렵다고도 봤다. 접근을 제품이나 기업 계약 중심으로 제한하면 더 어려워질 수 있지만, 증류를 둘러싼 압박이 위험 관리에 필요한 기업 간 소통을 해칠 수 있다는 우려도 제기했다.

## 오픈 모델의 경제는 더 느리게 만들어진다

폐쇄형 연구소는 모델 개발과 추론 서비스 운영을 통합한다. 연산 자원을 계획하고 모델을 대규모로 제공하며, 가치가 높은 시장에 먼저 진입할 수 있다. 고객이 무엇을 원하는지에 대한 정보와 서비스 매출도 개발 조직으로 돌아온다.

오픈 모델 생태계에서는 모델 개발사, 추론 서비스 회사, 후속 학습 회사가 나뉜다. 고객이 요구하는 기능이 원래 모델 개발자에게 쉽게 전달되지 않고, 서비스 규모와 운영 효율에서 얻는 이익도 분산된다. 램버트는 이 구조 때문에 오픈 모델의 사업 기반이 형성되는 데 더 긴 시간이 걸린다고 봤다.

대신 기업 내부에는 API로 보내기 어려운 데이터가 있다. 기업은 자체 역량을 갖추고, 매출과 연결되는 내부 평가를 만들고, 특정 과제를 해결하도록 모델을 조정하는 과정을 거칠 수 있다. 이 과정에는 여러 회사가 관여하지만, 끝에는 자체 하드웨어에서 운영할 수 있는 모델 가중치와 투자 대비 수익에 대한 이해가 남는다. 모델 가중치는 학습 결과를 담은 수치다.

그가 제시한 경쟁 기준은 모든 과제에서 가장 똑똑한 모델이 되는 것이 아니라, **해당 과제를 수행하는 가장 저렴한 모델**을 찾는 것이다. 다만 범용 추론 능력의 향상이 특화 모델을 어디까지 대체할지, 두 시장이 어떤 균형에 도달할지는 아직 알 수 없다고 했다.

## 데이터의 양만큼 학습 환경의 품질이 중요하다

램버트는 정답을 검증하기 쉬운 수학·코딩과, 생물학·의료·법률을 비롯한 다른 지식 업무를 구분했다. 후자의 발전에는 높은 품질의 데이터와 모델이 행동하며 학습할 환경이 중요하다고 봤다. 분야별로 원하는 행동을 정의하고 필요한 데이터를 만드는 일은 비용과 시간이 든다.

이 데이터 시장은 후발 연구소의 추격 경로이기도 하다. 앞선 연구소에 공급됐던 데이터나 강화학습 환경이 나중에 다른 기업에도 판매될 수 있기 때문이다. 그러나 구매한 데이터가 모두 유용한 것은 아니다. 그의 설명에 따르면 대량으로 확보한 뒤 실제로 효과가 있는 부분을 가려내는 과정이 필요하다.

환경의 결함은 보상 해킹으로 이어질 수 있다. 보상 해킹은 모델이 의도한 과제를 해결하는 대신 점수를 얻는 허점을 이용하는 행동이다. 램버트는 미로를 풀어야 하는 과제에서 시험 파일에 실제 미로가 빠져 있는 상황을 예로 들었다. 모델은 이런 결함 속에서도 높은 보상을 얻는 방법을 찾으려 할 수 있다.

그는 연구소가 보상 해킹을 줄이는 데 많은 시간을 쓰는 반면, 데이터 공급사는 환경 제작과 매출에 더 집중할 수 있다고 지적했다. 양측이 모델 행동과 데이터 품질을 함께 개선해야 한다는 뜻이다. 해외 계약자가 중간 업체를 거쳐 작업하면서 데이터의 최종 용도를 모른 채 GitHub에 올리는 사례도 언급했다. 데이터 산업에는 품질뿐 아니라 정보 관리 측면에서도 개선할 부분이 남아 있다는 평가다.

## Trillium이 공개하려는 것은 학습의 기반이다

램버트가 출범시킨 비영리 연구소 Trillium은 효과가 큰 과제를 위한 오픈소스 학습 환경을 만드는 데 집중할 계획이다. 그는 터미널 작업용 합성 데이터 연구를 예로 들었다. 강한 모델에 문제를 생성하게 하고, 여러 프롬프트로 다양성을 확보한 뒤, 모델의 실행 과정 등을 살펴 결함이 있는 문제를 제거하는 방식이다.

그는 이 과정이 신비로운 기술이 아니라 개별 데이터를 읽고 점검하는 작업이라고 설명했다. 잘 만든 환경을 판매할 유인이 큰 시장에서는, 제작에 필요한 비용을 들이고도 결과를 공개하는 기관이 많지 않다는 것이 문제다.

환경과 모델의 실행 기록이 공개되면 연구자는 행동을 분석하고 강화학습 전후의 변화를 살펴볼 수 있다. Trillium은 이런 자원을 연구와 교육의 기반으로 만들려 한다. 다만 공개 생태계에도 새로운 부담이 생겼다. 램버트는 자신의 연구 저장소에 언어모델이 생성한 부실한 분석이나 이미 논문에 적힌 내용을 발견처럼 제시하는 이슈가 올라온다고 말했다. 공개가 곧 유용한 기여로 이어지는 것은 아니다.

그는 기반 모델을 처음부터 학습하는 사전 학습에도 신규 진입의 여지가 있다고 봤다. 쓸 만한 기반 모델을 만드는 데 반드시 최상위 연구소와 같은 규모의 비용이 필요한 것은 아니라는 설명이다. Trillium은 직접 사전 학습을 하기보다 여러 기반 모델을 활용하고 후속 학습을 개선하는 방향을 택했다. 램버트는 AI2에서 후속 학습을 이끌 당시 반복 속도가 충분히 빠르지 않았다고 느꼈으며, 이를 개선하고 싶다고 밝혔다.

## 에이전트의 격차도 영구적이라고 보지는 않는다

하네스는 모델이 도구를 사용하고 작업을 수행하도록 돕는 실행 체계다. 램버트는 과거에는 폐쇄형 연구소가 모델과 하네스를 긴밀하게 결합해 우위를 유지할 것으로 예상했다. 그러나 사용자마다 원하는 실행 체계가 달라 모델 회사들도 다양한 하네스에서 작동하도록 압력을 받았다고 설명했다.

다수의 에이전트를 조정하는 시스템에서는 OpenAI와 Anthropic이 먼저 나아갈 것으로 봤다. 필요한 연산 자원과 모델 설계 경험을 갖췄기 때문이다. 하지만 작업 구조가 알려지면 오픈 모델 기업도 비슷한 방향을 따라갈 수 있다는 것이 그의 전망이다. 먼저 도달하는 것과 영구적으로 격차를 유지하는 것은 구분해야 한다는 뜻이다.

그는 아이디어가 사람들 사이에서 전파되는 점도 강조했다. 폐쇄형 연구소가 더 오래 유지할 수 있는 강점으로는 추론 인프라와 운영 효율을 꼽았다. 높은 수요를 더 낮은 비용으로 처리해 이익을 남기는 능력이다. 다만 모든 지식 업무를 동시에 다룰 수는 없으므로 다른 기업이 채울 시장도 남을 수 있다고 봤다.

## 자기 개선의 속도와 사회적 준비는 별개의 문제다

재귀적 자기 개선(RSI)은 AI가 AI 개발을 개선하고, 그 결과가 다시 개발 능력을 높이는 구상을 뜻한다. 램버트는 이를 둘러싼 논의를 구체적인 작업 기록으로 검토하려 한다. 사용한 도구와 설정, 연산 자원, 선택한 과제, 모델의 실행 과정과 실패를 공개하고 시간이 지나며 무엇이 바뀌었는지 비교하겠다는 계획이다.

그는 모델이 서비스 비용을 낮추거나 소프트웨어를 개선하는 일에는 큰 효과를 낼 수 있다고 봤다. 그러나 그것이 모든 지식 업무의 해결이나 모델의 급격한 자기 발전을 뜻하지는 않는다. 현재의 발전에는 사람의 병목이 남아 있고, 성능 향상을 지속하기 위해 투입하는 연산 자원도 크게 늘고 있다는 판단이다.

다만 지금과 다른 성질의 지능을 가능하게 하는 발견이 나온다면 판단을 바꿀 필요가 있다고 했다. 현재의 기술과 증거에 대한 평가를 모든 미래에 대한 단정으로 확대하지 않았다.

램버트가 더 우려한 것은 이미 높아지는 AI 능력에 비해 공공 영역의 사이버 보안과 사회적 준비가 부족하다는 점이다. 폐쇄형 연구소가 먼저 확보한 능력은 오픈 모델로도 확산될 수 있다. 급격한 도약을 예상하지 않는다고 위험까지 작게 보는 것은 아니라는 설명이다.

오픈 모델의 추격 가능성에 대한 램버트의 판단은 자원 제약과 데이터 확산, 서로 다른 사업 구조에 근거한다. 그가 공개 연구에 기대하는 역할도 여기에 맞닿아 있다. 모델이 실제로 무엇을 하고 어디서 실패하는지 드러내야 경쟁의 격차와 위험을 더 구체적으로 평가할 수 있다는 것이다.

---

원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://www.youtube.com/watch?v=BKuK0M6oDTI)