# AI 추론 시장이 커질수록 하드웨어가 중요해지는 이유

> 2026-10-24 · 20VC · 큐레이션 김태우
> https://challengekim.com/insights/ai-추론-시장이-커질수록-하드웨어가-중요해지는-이유
> 원문: https://www.youtube.com/watch?v=4UmFfI8CWuA

## 핵심 요약

- 나빈 라오는 AI 추론 시장이 10년 안에 10조 달러 규모가 될 것으로 전망했다. 추론 단가가 내려가면 새로운 사용처가 늘어난다는 논리다.
- 전력 공급이 병목이 되면 속도뿐 아니라 에너지 효율이 중요해진다. 그는 모델과 칩을 함께 설계하는 데 큰 개선 여지가 있다고 봤다.
- 토큰 가격이 내려갈수록 기존 하드웨어에서 모델을 운영하는 사업자의 마진은 압박받지만 전력을 더 효율적으로 사용하는 하드웨어에는 기회가 남는다고 예상했다.
- AI로 결과물을 만드는 속도는 빨라졌지만 정확성을 검증하고 필요한 결과를 정의하는 일이 새 병목으로 떠올랐다.
- 전통적인 소프트웨어 구독 사업에는 회의적이지만 AI와 사람이 함께 검증된 결과를 제공하는 사업에는 긍정적이었다.

## AI 시장의 성장과 이익은 같은 곳에 쌓이지 않는다

20VC 진행자 해리 스테빙스는 모자이크 ML을 데이터브릭스에 매각하고 언컨벤셔널 AI를 시작한 연쇄 창업자 나빈 라오와 AI 인프라와 사업 기회를 논의했다. 대화를 관통한 쟁점은 AI 사용량이 폭증할 때 어느 계층이 지속적으로 가치를 확보하느냐였다.

라오는 학습한 모델을 실행해 답이나 결과를 만드는 **추론** 시장이 10년 안에 10조 달러 규모가 될 것으로 전망했다. AI 모델 자체의 시장도 향후 몇 년 안에 1조 달러 규모에 이를 것으로 봤다. 노동과 가치 창출 과정의 일부가 기술로 옮겨가면서 시장의 범위가 커진다는 계산이다.

그러나 시장 성장과 높은 마진은 별개다. 라오는 일정 수준의 지능이 이미 범용 상품처럼 널리 공급되기 시작했다고 봤다. 최첨단 모델이 필요한 문제도 있지만 6개월 전 수준의 공개 모델만으로 충분히 유용한 작업도 많다고 말했다. 수요가 커지더라도 모든 공급자가 높은 이익률을 유지하지는 못한다.

## 전력의 여유분을 쓰고 나면 건설 속도가 한계가 된다

라오는 최근 데이터센터에 공급한 전력 상당 부분이 기존 인프라의 가동률을 높여 확보한 여유분에서 나왔다고 설명했다. 이 여유가 줄어들면 AI 인프라 확장 속도는 새 전력 인프라를 짓는 속도에 묶인다.

그는 보수적인 AI 성장률을 적용해도 몇 년 안에 여유 전력이 부족해질 것으로 봤다. 업계에서 들은 추산으로는 1기가와트 규모의 인프라를 구축하는 데 약 500억 달러가 든다고 전했다. 연간 40기가와트를 새로 확보한다는 계획에는 회의적이었고 10기가와트만 구축해도 대단한 성과라고 평가했다. 같은 비용 가정을 적용하면 5,000억 달러에 해당한다.

데이터센터가 일반 전력망보다 비싼 전기를 확보하는 움직임도 언급했다. 개별 계약 조건이 달라 구체적인 통계 대신 자신이 접한 사례를 근거로 들었다. 데이터센터는 연산 서비스를 팔아 얻는 수익 덕분에 더 높은 전기요금을 감당할 여지가 있다고 설명했다. 새로운 전력 공급 기술에도 기대를 걸었지만 대규모 구축의 실현 가능성과 경제성은 아직 확인해야 한다고 봤다.

## 모델과 칩을 함께 바꿔야 효율이 높아진다

라오는 컴퓨터의 효율을 물리적 소자, 연산 구조, 모델이라는 세 층으로 나눴다. 소자를 작게 만드는 데서 얻던 효율 개선은 크게 둔화했고 최근에는 계산에 쓰는 데이터의 비트 수를 32비트에서 16비트, 8비트, 4비트로 줄이는 변화가 중요한 역할을 했다고 봤다.

그가 더 큰 가능성을 보는 곳은 **모델과 하드웨어의 공동 설계**다. 기존 모델을 고정해 두고 더 빠른 칩을 만드는 대신 전력 소모를 줄이도록 모델과 연산 구조, 물리적 구현을 함께 바꾸는 방식이다. 언컨벤셔널 AI도 모든 설계 선택이 에너지 측면에서 이점이 있는지 따지는 데서 출발한다고 밝혔다.

예로 든 개념은 연산 단위 사이의 연결 일부를 없애는 희소성이다. GPU에서도 이를 활용할 수 있지만 칩 밖의 메모리를 비롯한 기존 구조가 희소성을 충분히 활용하도록 설계되지 않았다면 개선 폭에 한계가 생긴다. 반대로 하드웨어까지 그 특성에 맞추면 더 큰 효율을 얻을 수 있다는 논리다.

라오는 현재 모델에 널리 쓰이는 트랜스포머 구조도 최종 해법으로 보지 않았다. 여러 추론 경로를 생성하고 비교하면서 긴 출력을 다시 입력하는 방식이 비효율적이라고 평가했다. 다만 이를 대체할 구체적인 구조를 확정해 제시하지는 않았다.

## 추론 가격이 내려갈수록 갈리는 사업의 경제성

라오는 공개 모델을 안정적으로 운영하고 가동 시간을 보장하며 기존 하드웨어에서 비용을 낮추는 추론 서비스의 가치를 인정했다. 동시에 고객이 모델의 입출력 단위인 토큰에 지불하는 가격은 내려갈 것으로 예상했다. 사업자는 같은 하드웨어에서 더 많은 효율을 짜내야 하고 이 과정에서 확보할 수 있는 마진은 줄어들 것으로 전망했다.

반면 칩과 시스템, 네트워크를 포함한 하드웨어에는 더 큰 개선 여지가 남아 있다고 봤다. 그는 하드웨어를 전력을 지능으로 바꾸는 수단으로 봤다. 같은 전력으로 더 많은 지능을 제공하면 가격 경쟁 속에서도 가치를 확보할 수 있다. 그가 향후 10년의 투자 기회를 하드웨어에서 찾는 이유다.

공개 모델과 폐쇄형 모델의 역할도 나눠 봤다. 3년 뒤 토큰 사용량의 80%는 공개 모델이 처리하되 지출은 양쪽이 대략 절반씩 나눌 것으로 예상했다. 일상적인 작업은 공개 모델이 맡고 어려운 문제에는 비싼 최첨단 모델을 쓰는 구도다. 사용량 비중과 매출 비중이 같지 않을 수 있다.

## 생성이 빨라지자 검증이 병목이 됐다

라오는 자신의 칩 연구에서 AI가 탐색 속도를 바꾼 사례를 들었다. 서로 영향을 주는 발진기 사이에서 잡음이 어떻게 퍼지는지 대략 파악하려면 과거에는 연구팀의 일정과 모델링 작업을 합쳐 몇 주가 걸릴 수 있었다. 이제는 AI가 만든 코드를 직접 살펴보고 수정하며 한 시간 안에 답을 얻을 수 있다고 했다.

하지만 코드와 모델 등 결과물을 많이 만들수록 각각이 맞는지 확인하는 부담도 커졌다. 그는 문제의 중심이 **생성에서 검증으로 이동했다**고 봤다. AI가 여러 답을 제시해도 좋은 답을 고르는 판단은 여전히 필요하다. 판단을 연속해서 쌓는 작업에서는 겉보기에 그럴듯하지만 틀린 결과로 이어질 위험도 있다.

스테빙스가 검증 계층을 장악하면 자동화도 장악하는 것인지 묻자 라오는 검증만으로는 부족하다고 답했다. 먼저 무엇을 만들지 요구사항을 정의하고 중간 결과가 정확한지 확인하며 최종 결과가 처음 요구사항을 충족했는지까지 판단해야 한다고 말했다.

그는 전문 데이터와 학습 과정에도 가치가 남는다고 봤다. 단순히 관측 데이터를 대량 수집하는 데서 벗어나 중요한 작업을 잘 수행하도록 데이터를 고르고 학습 순서를 설계하면 차별화할 수 있다. 행동의 결과에 보상을 주는 강화학습도 이런 맥락에서 중요하다. 모든 작업의 데이터를 미리 모을 수 없기 때문이다. 다만 계산량이나 비용 대비 성능 개선만 보면 강화학습이 더 비효율적일 수 있다고 덧붙였다.

## 소프트웨어의 기회는 검증된 결과를 제공하는 데 있다

라오는 전통적인 서비스형 소프트웨어인 SaaS가 과거처럼 높은 마진을 확보하기는 어려울 것으로 봤다. 그러나 소프트웨어와 사람의 서비스를 결합해 결과를 제공하는 사업에는 긍정적이었다. 법률 AI 기업 하비를 예로 들며 AI가 작업하고 사람이 결과를 검증해 더 적은 인력으로 더 빠르게 비슷한 품질을 제공하는 방식을 설명했다.

모든 기업이 자체 모델을 만들 것이라는 전망에도 선을 그었다. 큰 기업은 규모와 경쟁 압력 때문에 맞춤형 AI에 투자할 수 있지만 작은 사업자는 바로 쓸 수 있는 완제품 서비스를 원한다고 봤다.

개발 현장에서도 비용 절감이 곧 인력 지출 감소로 이어진다고 보지는 않았다. 숙련 개발자는 좋은 결과를 판별하는 역할을 맡고 기업은 같은 예산으로 더 많은 기능과 더 짧은 수정 주기를 제공할 수 있다고 예상했다. 공급 비용이 내려가면 고객이 요구하는 작업량과 속도도 달라진다는 논리다.

다만 모델 위에 얹는 도구가 모두 그 가치를 확보한다고 보지는 않았다. 자율적으로 코딩 작업을 수행하는 제품에서는 개발 환경이나 모델을 작동시키는 도구보다 모델 자체에 가치가 모일 수 있다고 봤다. 자신의 회사에서도 직원들이 도구 사이를 쉽게 옮긴다는 점을 근거로 들었다.

## 로봇 시장의 가능성과 아직 남은 시간

라오는 추론 비용이 내려가면 AI의 사용처가 물리적 작업으로 넓어질 것으로 기대했다. 토큰 제공 비용을 10분의 1로 줄이면 기존 작업의 비용이 줄어들고 새롭게 경제성이 생기는 사용처도 크게 늘어난다고 주장했다. 그는 효율 개선이 소비 증가로 이어지는 제번스의 역설로 이를 설명했다.

로봇 시장의 투자 시점을 두고는 스테빙스와 견해가 갈렸다. 스테빙스는 청소나 건설 같은 응용 사업에 투자하기에는 너무 이르다고 봤다. 라오는 일부 작업의 시제품이 2\~3년 안에 등장하고 시장은 5\~7년 안에 형성될 것으로 예상했다. 자신의 관심도 당장의 응용 서비스보다는 기술 계층에 있다고 밝혔다.

그는 로봇용 모델을 만드는 기업이 결국 모델과 기기를 함께 제공할 가능성이 크다고 봤다. 물리적 문제를 해결하는 시장이 코딩 시장보다 훨씬 커질 수 있다고 전망하면서도 청소나 건설 비용이 0이 된다는 표현에는 동의하지 않았다. 비용을 크게 낮추는 것과 없애는 것은 다르다고 봤다.

라오의 논리를 잇는 축은 전력과 검증이다. 전력 제약 아래에서 더 많은 지능을 제공하고 그 지능이 만든 결과를 실제로 쓸 수 있게 만드는 데 가치가 남는다고 봤다. 투자 판단에서도 기존 수요를 반복 확인하기보다 수요가 분명한 어려운 기술 문제를 얼마나 해결하고 있는지 살펴야 한다고 강조했다.

---

원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://www.youtube.com/watch?v=4UmFfI8CWuA)