# 조지 호츠가 말한 AI 개발의 병목: 칩보다 소프트웨어와 통제권

> 2023-06-30 · Lex Fridman · 큐레이션 김태우
> https://challengekim.com/insights/조지-호츠가-말한-ai-개발의-병목-칩보다-소프트웨어와-통제권
> 원문: https://lexfridman.com/george-hotz-3-transcript

## 핵심 요약

- 조지 호츠가 tiny corp를 시작한 이유는 특정 기업에 AI 연산 능력이 집중되는 상황을 경계했기 때문이다.
- 호츠는 새 AI 칩의 성패를 가르는 어려운 과제로 칩에서 모델을 실행할 소프트웨어를 꼽았다. tinygrad는 이를 위해 연산 종류를 줄이고 여러 하드웨어를 지원하려는 시도다.
- 가정용 AI 컴퓨터인 tinybox는 인터뷰 당시 구상과 예약 주문 단계였다. 제시된 사양과 모델 실행 성능은 완성품의 검증 결과가 아니다.
- 호츠는 AI의 위험을 인정하면서도 소수 기업이나 기관만 강력한 모델을 통제하는 상황을 더 우려했다. 진행자 렉스 프리드먼은 개방이 해로운 행위의 문턱을 낮출 수 있다고 반론했다.

## tinygrad가 겨냥한 소프트웨어 문제

호츠는 합성곱 같은 신경망 연산을 이해하려고 tinygrad를 장난감 프로젝트로 시작했다. 이후 AI 연산에 쓰이는 칩이 한 기업의 제품에 크게 의존하면, 그 자원을 확보할 수 있는 쪽에 힘이 쏠린다고 생각하게 됐다. 호츠가 설명한 tiny corp의 목표는 엔비디아를 공격하는 것보다 **연산 능력을 분산하는 것**에 가깝다.

그는 AI 가속기를 만드는 기업들이 좋은 칩을 갖추더라도 소프트웨어에서 어려움을 겪는다고 주장했다. 모델을 새 칩으로 옮기려면 여러 연산을 구현하고 성능에 맞게 조정해야 한다. 호츠의 설명에 따르면 tinygrad는 행렬 곱셈조차 독립적인 기본 연산으로 두지 않고, 더 적은 종류의 연산을 조합한다. 연산을 곧바로 실행하지 않고 묶어 처리하면 메모리를 오가는 횟수를 줄일 수도 있다.

개발자가 실제로 GPU에서 실행된 작업과 연산량, 메모리 사용량을 확인하기 쉽게 만든 점도 그가 내세운 차이다. 다만 호츠는 인터뷰 당시 tinygrad의 성능이 폭넓은 하드웨어에서 경쟁력을 갖췄다고 말하지 않았다. 그가 성능상 경쟁력이 있다고 꼽은 곳은 퀄컴 GPU였다. 호츠에 따르면 자율주행 보조 소프트웨어 openpilot의 주행 모델에도 tinygrad가 쓰이고 있었다.

## 칩 선택보다 먼저 풀어야 할 일

호츠의 순서는 엔비디아와 AMD GPU에서 경쟁력 있는 소프트웨어를 먼저 만들고, 그다음 자체 가속기를 검토하는 것이다. 그는 기존 GPU에서도 충분한 성능을 내는 소프트웨어를 만들지 못한다면, 더 특화된 새 칩에서는 그 작업이 한층 어려울 것이라고 봤다.

AMD를 대안으로 검토하면서 겪은 문제도 들었다. 호츠는 당시 AMD 그래픽카드에서 데모 프로그램을 반복 실행했을 때 운영체제 커널 오류가 났다고 말했다. 이후 AMD와 긍정적인 대화를 나눴지만, tinybox에 넣을 GPU는 확정하지 않았다고 설명했다. 그에게 오픈소스는 코드를 공개하는 데 그치지 않고, 공개된 자리에서 문제를 처리하며 개발하는 방식까지 포함한다.

## tinybox는 어떤 제품을 목표로 했나

tinybox는 사용자가 집에서 AI 모델을 실행할 수 있도록 구상한 컴퓨터다. 호츠는 인터뷰에서 가격을 1만5,000달러로 제시하고, GPU 메모리 100GB 이상과 GPU 6개를 목표로 설명했다. 가정용 120볼트·15암페어 회로에 연결하고 일반 택배로 배송할 수 있어야 한다는 제약도 말했다. GPU는 AMD 제품에 기울어 있었지만 다른 제품도 검토 중이었다.

그가 제시한 사용 경험은 650억 매개변수 규모의 LLaMA 또는 비슷한 모델을 집에서 대화형으로 실행하는 것이었다. 초당 생성 토큰 수로 5개나 10개를 언급했지만, 이는 제공하고 싶은 성능에 대한 설명이었다. 냉각 성능뿐 아니라 집 안에 둘 수 있을 만큼 소음을 낮추는 일도 과제로 꼽았다. 인터뷰 당시 호츠는 환불 가능한 100달러 예약 주문을 받고 있다고 말했다.

## 자율주행에서 구분한 모델과 완성된 시스템

호츠는 자신이 설립한 comma.ai의 목표를 센서 입력을 받아 사람처럼 주행하는 방식을 학습하는 문제로 설명했다. 회사가 추진하던 주행 시뮬레이터는 주행 데이터에서 다음 화면을 예측하도록 학습하고, 차량의 상태와 동작을 입력받아 다음 상태를 만들어 내는 구상이었다. 그 안에서 강화학습을 적용할 때는 사람이 했을 행동을 그대로 모방하기보다, 운전자가 시스템을 해제하고 직접 운전할 만한 행동을 피하도록 평가하려 했다.

호츠가 이 문제를 이미 풀었다고 표현한 대목에는 중요한 제한이 따른다. 그는 이어서 당시 이 구조의 전체 과정을 완성하지 못했고, 시제품에는 오류가 있다고 말했다. 해결까지 1년이 걸릴 수도, 10년이 걸릴 수도 있다는 것이 그의 답이었다. 운전자가 직접 운전하고 싶어서 시스템을 해제하는 경우도 있어, 해제 기록이 모두 시스템에 대한 불만을 뜻하지는 않는다고 인정했다.

## AI 안전을 둘러싼 이견

호츠는 AI가 실제 피해를 줄 수 있다는 점을 부인하지 않았다. 다만 강력한 모델을 소수의 ‘신뢰받는’ 주체만 보유하는 방식에 반대했다. 그가 우려하는 대상에는 AI의 행동뿐 아니라 AI 기업과 사용자 사이의 이해관계도 있다. 클라우드 서비스의 경우 누가 서비스를 끌 수 있는지를 통제권의 문제로 봤다.

프리드먼은 언어 모델이 해로운 정보에 접근하는 수고를 줄이고 피해를 확대할 수 있다고 지적했다. 호츠는 위험한 정보를 독점적으로 통제하는 쪽이 더 두렵다고 맞섰다. 동시에 기업이 모델 가중치를 제품으로서 공개하지 않는 선택은 이해할 수 있다고 말했다. 그의 비판은 모든 비공개 모델을 향한 것이 아니라, 안전을 이유로 기본적인 모델 정보까지 감추는 방식에 집중됐다.

## 트위터 경험에서 본 개발 조직

호츠는 짧은 트위터 근무 경험을 돌아보며 새 기능보다 코드 구조를 먼저 정리해야 한다고 제안했다고 말했다. 코드 변경 뒤 통과한 테스트를 얼마나 믿을 수 있는지가 개발 속도에 영향을 준다는 설명이다. 그는 트위터에서 만난 개발자들의 설명을 바탕으로, 널리 쓰이는 내부 라이브러리를 만들어야 승진에 유리한 구조가 불필요한 자체 도구를 낳았다고 주장했다. 이는 호츠가 전한 조직 내부 경험과 해석이다.

그는 tiny corp에서도 채용 면접보다 GitHub 기여를 통해 협업 능력을 보겠다는 계획을 밝혔다. AI가 작은 코드 변경을 처리하고 테스트를 통과한 수정안을 제출하는 상황도 예상했지만, 인터뷰에서 이는 몇 년 뒤 가능할 것으로 본 전망이었다.

## 결론

호츠가 설명한 tinygrad와 tinybox는 AI 연산을 더 많은 하드웨어와 개인의 컴퓨터에서 다루려는 시도다. 인터뷰는 그 방향을 뒷받침하는 소프트웨어 설계와 초기 제품 구상을 보여 주는 동시에, 성능 개선과 자율주행 시스템 완성처럼 아직 남아 있는 과제도 분명히 드러낸다.

---

원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://lexfridman.com/george-hotz-3-transcript)