# AI 루프로 자동 성장하는 회사 만드는 법

> 2026-05-21 · Y Combinator · 큐레이션 김태우
> https://challengekim.com/insights/ai-loop-self-improving-company-without-hierarchy-token-based-ko
> 원문: https://www.youtube.com/watch?v=X_JsIHUfUjc

## 핵심 요약

- **전통적 계층 구조의 종말**: 로마 군단식 조직에서 AI 중심 구조로 전환하는 근본적 변화
- **자체 개선 AI 루프**: 센서 → 정책 → 도구 → 품질 게이트 → 학습의 5단계 자동화 시스템
- **토큰 기반 자원 할당**: 인원 수 대신 토큰 소비량으로 관리하는 새로운 경제 모델
- **중간 관리자 역할 폐지**: AI가 조정 기능을 담당하면서 DRI(직접 책임자)와 IC(개별 기여자)만 필요
- **회사 두뇌 구축**: 모든 상호작용을 기록하고 AI가 접근 가능한 조직 지식 기반 확립

## AI 시대의 조직 패러다임 전환

현대 기업의 조직 구조는 수백 년 전 고대 로마 군단에서 비롯된 계층적 모델을 여전히 따르고 있습니다. 이 구조는 중첩된 계층과 일관된 통제 범위를 통해 광대한 영토에 효과적으로 권력을 투사했던 역사적 배경에서 출발했습니다. 그러나 이 모델에서 인간은 단순히 명령 체계를 따라 정보가 위아래로 흐르는 통로일 뿐입니다.

**핵심적인 문제** 는 우리가 조직이란 반드시 인간을 주요 조정 메커니즘으로 하는 계층 구조를 가져야 한다는 근본적인 가정입니다. 하지만 인공지능이 이 오랜 믿음을 완전히 뒤엎을 준비가 되어 있습니다. 과거 AI의 이야기는 "생산성 향상"에만 초점을 맞췄습니다. 엔지니어의 효율성을 20% 높인다거나 AI 코파일럿을 기존 워크플로에 통합한다는 식의 접근이었죠.

그러나 이것은 **마치 구식 차량에 강력한 새 엔진을 추가하되, 차량 자체는 재설계하지 않는 것** 과 같은 결함 있는 접근입니다. AI의 진정한 잠재력은 회사의 본질과 운영 방식을 재구상하고, 단순한 생산성에서 향상된 역량으로 초점을 전환하는 데 있습니다.

AI를 활용하는 개인이 전체 엔지니어링 팀보다 더 많은 코드를 생성할 수 있다는 것은 더 이상 꿈이 아닙니다. 핵심은 회사 내의 집단적인 "도메인 지식" – 직원들의 개별 전문 지식부터 슬랙 메시지, 이메일, 노션 문서에 묻혀 있는 모든 정보 – 을 추출하여 AI가 완전히 이해할 수 있도록 만드는 것입니다. 이 거대한 정보 풀을 접근 가능하고 이해할 수 있게 함으로써, 기업은 경직된 계층 구조에서 벗어나 **지능적인 AI 기반 조직** 으로 전환할 수 있습니다.

## 자체 개선하는 AI 루프의 구조

스스로 발전하는 회사의 핵심은 여러 계층으로 구성된 **"AI 루프"** 입니다. 이 시스템은 다음과 같은 다섯 가지 핵심 구성 요소로 작동합니다.

**첫 번째 계층: 센서/데이터 수집**

AI 루프는 "센서/데이터"로 시작하여 외부 세계의 원시 정보를 수집합니다. 여기에는 고객 이메일, 지원 티켓, 코드 변경, 제품 원격 측정, 심지어 구독 취소와 같은 모든 신호가 포함됩니다. 조직의 모든 접점에서 발생하는 데이터가 이 계층의 자료가 됩니다.

**두 번째 계층: 정책 결정**

수집된 데이터는 "정책 계층"으로 전달되어 의사결정 규칙이 정의됩니다. 이 계층에서는 어떤 상황에 인간의 승인이 필요한지를 명시하고, 어떤 정보가 기록되어야 하는지를 지시합니다. 정책 계층은 AI의 행동 범위와 제약을 설정하는 거버넌스 역할을 수행합니다.

**세 번째 계층: 도구 및 기술**

"도구 계층"은 AI가 호출할 수 있는 확정적 API와 특정 코드 "기술"을 제공합니다. 이를 통해 AI는 데이터베이스를 쿼리하거나 캘린더에 접근하거나, 이메일을 발송하는 등의 구체적인 작업을 수행할 수 있습니다. 도구가 풍부할수록 AI가 할 수 있는 일의 범위도 확대됩니다.

**네 번째 계층: 품질 게이트**

조치가 실제로 취해지기 전에, "품질 게이트"가 자동화된 검사, 안전 필터, 또는 고위험 시나리오에 대한 인간 검토를 수행합니다. 이는 정확성과 규정 준수를 보장하는 최종 안전장치입니다.

**다섯 번째 계층: 학습 메커니즘**

"학습 메커니즘"은 시스템이 실제 세계에서 부족한 부분을 파악하고, 그 새로운 이해를 다시 루프에 반영하여 지속적인 자체 개선을 이루게 합니다. 이것이 바로 **"스스로 발전하는 AI 루프"** 의 핵심입니다.

각 단계가 최소한의 인간 개입으로 작동할 수 있다면, 인간 동료들이 잠들어 있는 동안에도 전체 시스템이 점진적으로 개선됩니다. Y Combinator에서의 실제 사례를 보면, 초기 AI 에이전트는 "이 회사와 마지막으로 오피스 아워를 가진 것이 언제였죠?"와 같은 간단한 질문에 답하도록 설계되었고, 이것만으로도 효율성이 20-30% 향상되었습니다.

그러나 진정한 **"아하 모멘트"** 는 YC 직원들이 수행하는 모든 쿼리를 관찰하는 모니터링 에이전트가 추가되었을 때 발생했습니다. 쿼리가 실패하면 시스템은 자동으로 다음을 수행했습니다:

1. 문제를 정확히 식별
2. 새로운 코드 자동 작성
3. 병합 요청(Pull Request) 제출
4. 다른 AI 에이전트가 이를 검토하고 병합
5. 밤새도록 업데이트 배포

그 결과, 다음 날 사람이 같은 쿼리를 하면 이제 성공할 것입니다. 이는 AI의 **자체 개선 능력** 을 보여주는 생생한 증거이며, 단순한 생산성 향상을 넘어선 귀중한 자산임을 입증합니다.

## 자체 개선 AI 루프의 실제 비즈니스 응용

이 자체 개선 개념은 조직의 모든 주요 기능으로 확장될 수 있습니다. 각 비즈니스 영역에서 AI 루프가 어떻게 작동하는지 구체적으로 살펴봅시다.

**제품 분석과 최적화**

제품 분석 영역에서 AI 에이전트는 다음과 같은 순환 과정을 자동으로 수행합니다:

1. **데이터 분석**: 판매 깔때기의 전환율 데이터를 수집하고 분석하여 가장 마찰이 심한 영역을 정확히 식별
2. **모범 사례 연구**: 업계의 성공 사례와 검증된 최적화 기법 조사
3. **자동 테스트 설계**: A/B 테스트를 자동으로 설계하고 구현
4. **결과 배포**: 가장 효과적인 솔루션을 자동으로 배포하여 전환율 개선
5. **피드백 수집**: 실제 사용자 반응을 모니터링하여 다음 개선 사이클에 반영

이렇게 함으로써 제품 개발 주기는 인간의 개입 없이도 **자체 최적화되는 시스템** 이 됩니다.

**고객 서비스 자동화**

고객 서비스 분야에서도 AI의 자체 개선 루프는 다음과 같이 작동합니다:

1. **제안 분류**: 들어오는 모든 고객 요청과 제안을 자동으로 분류
2. **정책 기반 판단**: 미리 정의된 정책에 따라 판단 (예: 제안이 제품 로드맵과 일치하는가?)
3. **코드 생성**: 사소한 업데이트나 기능을 위한 코드를 자동으로 생성
4. **자동 배포**: 고객에게 인간의 개입 없이 제공 가능
5. **패턴 학습**: 거부된 제안들의 패턴을 분석하여 미래 의사결정 개선

이 시스템은 **인간이 고부가 가치 업무에 집중할 수 있도록** 루틴 업무를 완전히 자동화합니다.

**조직 운영의 근본적 변화**

이러한 변화는 각 회사 기능을 **재귀적이고 자체 개선적인 AI 루프** 로 전환하여 조직의 전통적인 계층 구조를 근본적으로 변화시킵니다. 더 이상 주간 보고 회의를 통해 상황을 보고받을 필요가 없습니다. AI 에이전트가 실시간으로 모든 지표를 모니터링하고, 필요시 자동으로 개선 조치를 취합니다.

## 토큰 기반 자원 할당: 미래의 경제 모델

전통적인 기업에서는 자원 할당의 기준이 "인원 수"입니다. 팀을 구성할 때 몇 명을 고용할지, 예산을 어떻게 배분할지를 결정할 때 항상 인력이 중심이었습니다. 하지만 **AI 시대에는 이 모든 것이 변합니다**.

발표자가 강조한 핵심 개념은 **"인원수가 아닌 토큰을 소모하라"** 입니다. 이는 단순한 슬로건이 아니라 근본적인 경제 모델의 변화를 의미합니다.

**현재의 변화 추세**

최근 데이터에 따르면, 많은 기업들이 데모 데이(Demo Day)에 도달할 때 직원 1인당 약 **5배 더 많은 수익을 창출** 하고 있습니다. 이는 18개월 전과 비교한 수치로, 점진적인 변화가 아닌 급격한 전환을 의미합니다. 이러한 추세는 시리즈 A 및 시리즈 B 투자 라운드까지 이어질 것으로 예상됩니다.

이는 곧 **조직의 주요 제약이 인원 수에서 토큰 사용량으로 전환** 된다는 의미입니다. 따라서 개별 직원의 토큰 사용량을 측정하고 추적하는 것이 중요해집니다.

**토큰 기반 성과 평가**

개별 토큰 사용량을 측정하는 것이 극단적으로는 "어리석고 조작 가능해" 보일 수 있습니다. 하지만 이는 실제로는 매우 유용한 방향성 지표를 제공합니다. 토큰 사용량을 통해 다음을 파악할 수 있습니다:

- **생산성 실제 지표**: 얼마나 효율적으로 AI를 활용하고 있는가?
- **가치 기여도**: 어느 직원이 토큰을 극대화하고 가치에 불균형적으로 기여하는가?
- **자원 최적화**: 어디에 더 많은 AI 계산 리소스를 할당해야 하는가?
- **성과 추적**: 정량적이고 객관적인 성과 측정 가능

**조직 구조의 단순화**

이 새로운 경제 모델은 **"중간 관리자 없음"** 이라는 급진적인 개념으로 이어집니다. 전통적으로 중간 관리자의 주요 역할은 위와 아래 사이의 조정, 정보 전달, 진행 상황 관리였습니다. 하지만 AI가 이러한 조정 문제를 처리할 수 있다면, 중간 관리직은 더 이상 필요하지 않습니다.

새로운 조직 모델에서는 **두 가지 중요한 역할** 만 존재합니다:

1. **IC(개별 기여자) / 빌더 / 운영자**: 모든 사람이 적극적으로 프로토타입을 만들고 (단순한 자료가 아닌 실제 작동하는 프로토타입) 회의에 가져오는 역할
2. **DRI(직접 책임자)**: 명확한 소유권을 가지고 특정 영역의 성과에 대해 책임지는 역할

**개별 기여자는 성과에 대한 명확한 소유권을 가지며 모호함의 여지가 없습니다.** 이러한 IC들을 중심으로 회사를 효과적으로 구축할 수 있으며, 이는 전통적인 중간 관리직을 쓸모없게 만들 수 있습니다.

## 회사 두뇌 구축: 모든 것을 기록하고 연결하기

스스로 발전하는 회사를 구축하기 위한 **가장 중요하고 구체적인 조치** 는 전체 조직을 'AI가 읽을 수 있도록' 만드는 것입니다. 이는 단순히 중요한 문서를 정리하는 것이 아니라, **모든 것이 기록되고 AI가 검색하고 접근할 수 있어야 한다** 는 의미입니다.

**기록의 범위와 중요성**

조직의 모든 상호작용이 기록되어야 합니다:

- 다이렉트 메시지 (DM)
- 이메일 스레드
- 오피스 아워 대화
- 회의 기록
- 프로젝트 문서
- 코드 리뷰 주석
- 심지어 음성 전화까지도

발표자는 개인적인 경험을 강조합니다. Y Combinator의 파트너로서, 한 창업자와의 대화 중 약속했던 소개를 나중에 기억하지 못했다는 것을 깨달았습니다. 이 경험은 **모든 상호작용을 기록해야 할 절박한 필요성** 을 강조합니다.

만약 어떤 것이 기록되지 않는다면, **AI의 지능 속에서는 효과적으로 발생하지 않은 것이나 마찬가지입니다.** 이것이 데이터 기반 AI 시스템의 근본적인 특성입니다.

**아티팩트 생성 원칙**

둘째, 회사 내의 **모든 행동은 아티팩트를 생성** 해야 합니다. 아티팩트란 AI가 스스로 개선하는 데 사용할 수 있는 구조화된 정보를 의미합니다. 이를 위해:

- 에이전트를 내장하고
- 수동적인 '접착제' 프로세스를 코드화하며
- AI가 참고할 수 있는 형식으로 문서화

예를 들어, YC는 과거 수개월 동안 2천 시간 분량의 오피스 아워 녹음 내용을 보유하고 있었습니다. 이 정보를 직접 활용하는 것은 불가능해 보였습니다. 그러나 AI의 "화자 분리(diarization)" 기술을 활용하면, 정보를 집계하고 종합하며, AI를 위한 핵심 '단서(breadcrumbs)'로 분류할 수 있습니다.

**생생하게 살아있는 지식 기반**

한 가지 구체적인 사례를 보면, 새로운 영역(자금 조달, 채용, 공동 창업자 분쟁 등)에서 새로운 사용자 설명서를 작성하게 했습니다. 그 주말이 끝날 무렵, **150페이지 분량의 설명서** 를 만들었는데, 이는 기존 사용자 설명서보다 훨씬 뛰어났습니다.

이제 **매달 이 설명서를 업데이트할 수 있게 되었고**, 따라서 사용자 설명서는 **자체적으로 개선되는 시스템** 이 됩니다:

1. 새로운 조언이 주어질 때마다 기존 설명서와 비교
2. 가치 있는 내용은 통합하고 중복되는 내용은 폐기
3. 정기적인 업데이트를 통해 최신성 유지

이렇게 사용자 설명서는 **창업자들에게 제공하는 조언의 최신 살아있는 두뇌** 가 됩니다.

**AI 지원 의사결정**

이 기록된 정보를 **AI 에이전트의 맥락** 으로 주입할 수 있습니다. 그러면 초지능 AI에게 질문하여 **16명의 YC 파트너들의 통합된 지혜를 한 번에 얻을 수 있습니다.** 하지만 이는 **모든 것이 이해 가능하도록 기록되었을 때만 가능합니다.**

따라서 조직이 취해야 할 구체적인 조치는:

1. **모든 것을 기록**: 중요하고 사소한 모든 상호작용 기록
2. **검색 가능하게**: DM이나 이메일도 AI가 검색 가능한 형식으로 관리
3. **아티팩트 생성**: 모든 행동이 자체 개선 가능한 구조화된 정보 생성
4. **에이전트 내장**: 수동 프로세스를 자동화하고 코드화
5. **주문형 소프트웨어**: 모든 회사 운영(수익, 영업, 엔지니어링, 채용 등)에 대한 온디맨드 내부 소프트웨어 확보

## 임시 소프트웨어와 영구적 지식의 구분

AI 시대의 회사를 운영할 때 이해해야 할 중요한 구분이 있습니다: **소프트웨어는 일시적이지만, 지식과 데이터는 영구적** 이라는 것입니다.

**현재의 AI 역량**

최신 모델(예: Codex 55)은 충분히 발전하여 **대부분의 단순한 내부 소프트웨어 대시보드를 상당히 높은 품질로 한 번에 만들 수 있습니다.** 모든 내부 운영 팀은 일종의 **지능 이해 계층(intelligent understanding layer) 위에 앉아서** 자신만의 대시보드와 워크플로우를 만들 수 있게 되었습니다.

**데이터와 소프트웨어의 차별화 전략**

이제 조직이 취해야 할 전략은:

**데이터는 소중히 보관**

- 모든 이메일을 마크다운으로 저장하여 버리지 않기
- 모든 대화 기록 유지
- 과거 결정의 이유와 결과 문서화

**소프트웨어는 일시적으로 취급**

- 생성하고 다시 생성할 수 있음
- 모델이 더 똑똑해지면 버리고 새로 생성 가능
- 한두 달 후 더 나은 버전의 소프트웨어 재생성 가능

**가치 있는 부분의 재정의**

가치 있는 부분은 다음입니다:

1. **사람들의 머리 속에 있는 이해력**: 기능이 어떻게 작동하는지, 어떤 이벤트를 어떻게 운영하는지 등의 도메인 지식
2. **비즈니스 맥락**: 왜 이 결정을 내렸는가, 어떤 트레이드오프가 있었는가 등의 맥락 정보
3. **기술 아키텍처**: 시스템이 어떻게 구성되어 있고 어떻게 확장할 수 있는가

반면, 이 위에 있는 **소프트웨어는 일시적** 으로 봐야 합니다. 예를 들어:

- 특정 YC 이벤트를 운영하기 위한 소프트웨어는 생성하고 버릴 수 있음
- 몇 달 후 모델이 더 똑똑해지면 원래 지침을 다시 주어 새로운 소프트웨어를 생성
- 업데이트된 버전이 더 나을 확률이 높음

이렇게 함으로써 조직은 **일관되게 최신의 최적화된 도구** 를 유지하면서도, **핵심 지식과 맥락은 영구적으로 축적** 할 수 있습니다.

## AI 시대에서 인간의 역할: 현실과 지능의 접점

이제 자연스러운 질문이 제기됩니다: **"이 세상에서 인간은 무엇을 위해 존재할까?"**

기본적으로 우리는 **"회사 두뇌"** 에 대해 이야기하고 있습니다. 많은 혁신 기업들이 이 회사 두뇌를 구축하고 있는 중입니다. 그 중앙 부분은 모든 데이터, 이메일, DM, 기술, 노하우로 이루어져 있으며, 이것이 **회사 두뇌** 와 같은 역할을 합니다.

**인간의 새로운 역할**

인간은 **이 두뇌 주변에 앉아서 현실 세계와 상호 작용** 합니다. 이것이 **지능이 현실과 접촉하는 지점** 입니다. 인간은 AI 모델이 아직 도달할 수 없는 곳에 도달합니다. 이는 다음과 같은 상황들입니다:

**현재 AI가 처리하기 어려운 영역:**

1. **소설적인 상황**: 예상하지 못한 새로운 상황
2. **윤리적 고려 사항**: 도덕적 판단이 필요한 결정
3. **높은 이해 관계의 순간들**: 위험도와 중요도가 높은 결정

예를 들어, 창업자가 공동 창작자와 헤어질 생각을 하고 조언을 요청하는 상황입니다. 이는 단순한 정보 제공이 아니라, **감정, 관계, 인간의 복잡한 역학** 이 관련된 상황입니다.

**인간이 필요한 상황들**

발표자가 강조하는 인간의 역할:

1. **고감정 순간**: 감정 지원과 공감이 필요한 순간
2. **고위험 결정**: 회사의 생존을 걸 수 있는 중요한 결정
3. **창의적 혁신**: 완전히 새로운 방향을 제시하는 창의력
4. **영업 대화**: 복잡한 인간관계와 신뢰 구축이 필요한 협상

**미래 20년의 인간 역할**

발표자는 앞으로 **20년 동안 인간이 이 자리에 있을 것** 이라고 예측합니다. 영업 대화와 같은 고수준의 인간관계 기반 업무는 여전히 인간의 손길이 필요합니다. AI가 기술적으로 전화 통화를 처리할 수 있더라도, 신뢰 구축, 장기 관계 형성, 예외적인 상황 처리에는 인간이 필수적입니다.

따라서 미래의 조직은:

- **AI 두뇌**: 데이터 분석, 루틴 작업, 의사결정 지원
- **인간**: 현실과의 인터페이스, 고감정 상황, 창의적 혁신, 고위험 결정

이 두 가지가 **상호보완적으로 작동하는 하이브리드 조직** 이 될 것입니다.

## 결론

AI 시대의 도래는 단순한 기술 진화가 아니라, **조직의 근본적인 재설계** 를 요구합니다. 고대 로마 군단에서 영감을 얻은 전통적인 계층 구조에서 벗어나, AI가 주도하는 자체 개선 시스템으로의 전환이 필요합니다.

**핵심 실행 원칙:**

1. **모든 것을 기록**: 조직의 모든 상호작용과 결정을 기록하여 AI가 접근 가능한 형태로 관리
2. **자체 개선 루프 구축**: 센서 → 정책 → 도구 → 품질 게이트 → 학습의 5단계 시스템 확립
3. **토큰 기반 관리**: 인원 수 대신 토큰 사용량으로 자원을 할당하고 성과 평가
4. **중간 관리자 제거**: AI 에이전트가 조정 기능을 담당하면서 DRI와 IC 중심의 조직 구조 구축
5. **회사 두뇌 개발**: 도메인 지식, 비즈니스 맥락, 기술 아키텍처를 영구적 자산으로 축적

**최종 질문:** 만약 오늘 회사를 다시 시작한다면, 이런 형태로 구축하겠습니까? 대부분의 기업은 그렇게 할 수 있을 만큼 작습니다. 이미 회사를 운영 중이라면, 해체하고 이 원칙에 따라 재건하는 과정에 들어가야 할 때입니다. AI가 이끄는 자동 성장 조직의 시대는 이미 시작되었습니다.

---

원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://www.youtube.com/watch?v=X_JsIHUfUjc)