# AI 구축의 1% 규칙: 제프 딘의 성공 전략

> 2026-07-30 · Y Combinator · 큐레이션 김태우
> https://challengekim.com/insights/ai-1-percent-rule-jeff-dean-success-strategy-agent-building-ko
> 원문: https://www.youtube.com/watch?v=CxXgV54KzpQ

Y Combinator Startup School 2026에서 공개된 제프 딘의 강연 내용을 정리했습니다. 구글의 핵심 기술(MapReduce, TPU, TensorFlow)을 만든 엔지니어가 직접 조언하는 AI 시대의 창업 전략과 기술 혁신의 원칙입니다.

## 핵심 요약

- **AI는 주니어 엔지니어 수준에 근접**: 2025년 예측이 거의 정확해졌으며, 에이전트 기반 시스템이 주가 될 것
- **병목 현상을 발견하는 것이 핵심**: 첫 번째 원칙부터 재설계하면 10\~100배 성능 개선 가능
- **데이터 I/O가 계산 비용의 1000배**: 하드웨어 설계의 가장 중요한 제약 조건
- **컨텍스트 엔지니어링이 새로운 기회**: 대규모 모델 훈련이 불가능한 스타트업도 할 수 있는 영역
- **장기 실행 에이전트는 여전히 미숙**: 다중 에이전트 시스템과 평가자 최적화가 필수

## 에이전트 혁명: 현재 상황과 한계

제프 딘이 강조한 핵심은 **에이전트 기반 시스템의 성장 속도** 입니다. AI 모델이 단순히 응답하는 수준을 넘어, 며칠 또는 몇 주에 걸쳐 실행되는 복잡한 문제 해결이 가능해지고 있습니다. 소프트웨어를 다른 프로그래밍 언어로 완전히 재작성하거나, 성능 최적화를 위해 자동화된 벤치마크 루프를 도는 작업도 에이전트가 수행할 수 있게 되었습니다.

그러나 **현재 에이전트의 약점** 도 명확합니다. 10\~30단계 정도까지는 잘 작동하지만, 50단계를 넘어가면 불안정해집니다. 이유는 모델이 훈련 데이터에 없던 상황에 직면하면 성능이 급격히 떨어지기 때문입니다. 딘은 이를 해결하는 방법으로 **다중 에이전트 시스템** — 여러 에이전트가 다른 접근방식을 시도하고 가장 유망한 경로를 선택하는 방식 — 을 제안했습니다.

## 하드웨어: 데이터 이동 비용이 모든 것을 결정한다

제프 딘이 매우 강조한 부분은 **에너지 관점에서의 시스템 설계** 입니다. 단일 곱셈 연산에 약 1피코줄이 소비되지만, HBM(고대역폭 메모리)에서 데이터를 가져오는 데는 그보다 **1000배의 에너지** 가 필요합니다. 이것이 배치 처리가 필수적인 이유이며, 추론의 저지연성과 충돌합니다.

따라서 딘은 **추론용 맞춤형 하드웨어** 의 중요성을 강조했습니다. AlphaChip과 AlphaVault 같은 프로젝트는 이러한 원칙 위에 구축되고 있습니다. 2026년 엔지니어가 알아야 할 수치는 다음과 같습니다:

- 가속기의 메인 메모리와 온칩 메모리 간의 대역폭
- 칩 간 상호연결 대역폭 (500개 vs 10,000개 칩의 차이)
- 단일 곱셈 연산에 필요한 에너지
- 네트워크 대역폭의 감소율

## 컨텍스트 엔지니어링: 스타트업의 게임체인저

과거 AI 혁신은 **더 큰 모델, 더 많은 데이터** 였습니다. 2026년은 다릅니다. 모델의 크기나 훈련 데이터보다 **모델을 둘러싼 모든 것** 이 중요해졌습니다:

- 도구 호출(Tool Use)
- 검색 통합(Retrieval)
- 메모리와 컨텍스트 관리
- 에이전트 오케스트레이션

이것이 스타트업에게 열린 기회입니다. 거대 기업은 GPU와 데이터로 훈련된 모델을 만들 수 없지만, **컨텍스트 엔지니어링은 API 접근만으로 가능** 합니다. 딘은 실제 사례를 공유했습니다:

구글 내부에서 성능 최적화 작업을 하며, Gemini 같은 API에 마이크로벤치마크 라이브러리와 성능 힌트를 담은 기술을 제공했을 때, 모델이 자동으로 벤치마크를 실행 → 코드 수정 → 성능 재측정 → 개선의 루프를 수행했습니다. 이전에는 엔지니어가 일일이 수행하던 작업을 에이전트가 자동화한 것입니다.

**스타트업을 위한 딘의 조언**: 현재 일반 모델이 완전히 실패하는 영역(0\~1% 성공률)에 집중하세요. 20% 정도의 성공률을 보인다면 경고 신호입니다 — 일반 모델이 곧 따라잡을 가능성이 높습니다. AlphaFold처럼 **전문화된 도메인 모델** 도 여전히 가치가 있습니다.

## 첫 번째 원칙과 냅킨 계산의 힘

제프 딘은 **병목 현상을 찾아 첫 번째 원칙부터 재설계하는 것** 의 중요성을 반복했습니다. TPU가 탄생한 배경이 대표적입니다:

2013년, 음성 인식이 급진적으로 개선되자 딘은 냅킨 계산을 했습니다:

> "모든 구글 사용자가 하루에 3분씩 음성 인식을 사용한다면, 기존 CPU에서는 시스템 요구 사항이 2배 증가한다."

이것이 **저정밀 고밀도 선형 대수에 특화된 칩(TPU)** 을 만들게 했고, 결과적으로 CPU·GPU 대비 30\~80배 에너지 효율성을 달성했습니다. 트랜스포머 아키텍처는 TPU 발명 이후에 나왔지만, TPU는 여전히 현대 ML의 기반입니다.

**창업자들을 위한 메시지**: 자신이 풀고자 하는 문제에서:

1. 현재 병목이 무엇인가?
2. 그 병목을 근본적으로 다르게 접근할 수 있는가?
3. 그렇게 하면 10\~100배 개선이 가능한가?

이 질문에 "예"라고 답할 수 있다면, TPU 수준의 임팩트를 만들 가능성이 있습니다.

## 어떤 문제에 매달려야 할까?

제프 딘은 강연의 마지막에 미래 창업자들이 집중해야 할 영역을 제시했습니다:

1. **더 효율적인 하드웨어**: 추론에 특화된 칩, 새로운 컴퓨팅 패러다임
2. **데이터 효율적인 ML**: 18세 인간은 현대 모델보다 훨씬 적은 데이터로 더 많은 것을 배웁니다
3. **지속 학습(Continual Learning)**: 배포 후에도 스스로 개선되는 시스템
4. **다중 에이전트 상호작용**: 복잡한 문제를 협력으로 해결
5. **더 나은 담론 기술**: 전 세계인이 의미 있게 대화할 수 있도록 하는 기술

## 팀 구성: 스스로 할 수 없는 것을 함께 만들기

딘이 강조한 팀 구성 원칙:

- **전문성**: 자신이 필요로 하는 분야에 뛰어난 사람
- **호환성**: 함께 있으면 즐거운 사람, 자존심이 낮은 팀 플레이어
- **상호 보완성**: 자신이 모르는 것을 다른 팀원이 알고, 그들이 모르는 것을 자신이 아는 구조
- **지속적 성장**: 엔지니어링 경력을 "도구 벨트"처럼 보고, 항상 새로운 기술을 추가

딘은 자신이 혼자서는 불가능하지만 팀으로는 가능한 무언가를 만드는 환경에서 가장 성장했다고 했습니다.

## 거절과 오픈 사이언스

흥미로운 역사: 2014년 딘, 힌튼, 비냘스가 쓴 **모델 증류(Distillation)** 논문이 NeurIPS에서 거절당했습니다. 이 기술은 이제 업계 표준입니다. Gemini Flash 같은 경량 모델이 가능한 것도 증류 덕분입니다.

딘의 교훈: **거절 후에도 계속 나아가세요.** 그들은 논문을 arXiv에 올렸고, 사람들이 읽고 사용했습니다. 심사위원이 항상 맞는 것은 아닙니다.

## 결론

제프 딘이 전하는 2026년 AI 개발자의 핵심 원칙:

1. **1%의 차이를 찾으세요** — 병목 현상을 발견하고 첫 원칙부터 재설계
2. **에너지 관점으로 생각하세요** — 계산 비용이 아니라 데이터 이동 비용이 핵심
3. **컨텍스트 엔지니어링에 집중하세요** — 모델 훈련 없이 할 수 있는 영역
4. **세상에 긍정적 영향을 미치는 문제를 선택하세요** — 기술력보다 문제 선택이 중요
5. **도구를 계속 추가하세요** — 미지의 문제에 대비하는 가장 좋은 방법

구글에서 MapReduce, TPU, TensorFlow를 만든 엔지니어의 경험은 분명합니다. **최고의 아이디어는 거절당할 수도 있고, 성공은 1%의 개선 가능성을 발견하는 것에서 시작된다는 것입니다.**

---

원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://www.youtube.com/watch?v=CxXgV54KzpQ)