핵심 요약

  • Modal CEO는 저렴한 독점 모델이 공개형 모델의 성장을 끝내지는 않을 것으로 봤다. 두 시장 모두 커질 수 있으며 모델을 조정하고 실행 조건을 통제하려는 수요가 남는다는 이유다.
  • 추론 결과를 토큰 단위로 판매하는 사업은 고객이 공급자를 바꾸기 쉽다. 샌드박스, 학습, 평가 등 인접 도구를 함께 제공해야 차별화할 수 있다고 강조했다.
  • Modal은 여러 공급자의 GPU와 고객 수요를 모아 사용량 변동을 흡수한다. 다만 장기적인 하드웨어 가격 하락과 단기적인 공급 부족은 구분했다.
  • 제품 확장은 시간이 걸린다. 2023년 출시한 샌드박스는 2025년 여름 코드 생성 모델의 성능이 좋아진 뒤 본격적으로 성장했다.
  • 후속 학습과 코딩 에이전트의 기회를 높게 평가하면서도 결과를 확인하기까지 오래 걸리는 업무에는 강화학습의 한계가 있을 수 있다고 봤다.

추론 시장의 성장과 인프라 기업의 이익

20VC 진행자 해리 스테빙스는 Modal 공동창업자 겸 CEO와 AI 추론 시장의 성장, GPU 확보, 제품 확장 전략을 논의했다. 대화의 중심은 AI 사용량이 늘어날 때 인프라 기업이 어디에서 지속적인 이익을 얻을 수 있느냐는 문제였다. 추론은 학습을 마친 AI 모델을 실행해 결과를 만드는 과정이다.

Modal CEO는 추론을 새로운 클라우드에 비견할 만큼 큰 시장으로 봤다. 그러나 토큰만 판매하는 사업은 고객을 붙잡기 어렵다고 지적했다. 공급자를 바꿀 때 드는 비용이 작으면 가격 경쟁으로 흐르기 쉽기 때문이다.

그가 제시한 방향은 추론에 필요한 도구를 함께 제공하는 플랫폼이다. 빠른 응답이 필요한 추론, 작업을 모아 처리하는 배치 추론, 모델을 용도에 맞게 조정하는 후속 학습, 코드를 실행하는 샌드박스 등을 묶어야 한다고 봤다. 고객은 AI 애플리케이션을 만드는 데 필요한 여러 도구를 원하며 이를 뒷받침하는 인프라 전체는 복제하기도 어렵다고 설명했다.

공개형 모델과 독점 모델은 함께 커질 수 있다

스테빙스는 선도 AI 기업들이 저렴하고 성능 좋은 모델을 내놓으면 공개형 대규모 언어모델의 추론 사용량이 정체될 수 있다는 반론을 제시했다. Modal CEO는 시장 전체 크기를 고정해 놓고 보는 관점이라고 반박했다. 그는 두 영역 모두 향후 12개월과 그 이후에 5배, 10배, 20배 규모로 커질 수 있다고 전망했다.

공개형 모델의 가치는 가격에만 있지 않다. 특정 업무에 맞춰 추가 학습을 하거나 응답 지연과 처리량을 조정하려는 고객에게는 모델을 직접 통제할 수 있다는 점이 중요하다. 기반 모델이 바뀌거나 제공이 중단될 걱정 없이 같은 모델을 계속 개선할 수 있다는 장점도 들었다.

그렇다고 모든 기업이 자체 모델을 가져야 한다고 보지는 않았다. 그는 모델 통제권은 비용, 성능, 응답 속도, 수정의 용이성과 함께 판단할 요소 중 하나라고 봤다. Modal에는 공개형 모델을 조정하는 고객뿐 아니라 자체 독점 모델을 운영하는 고객도 있다고 밝혔다. Suno와 Runway를 그 사례로 들었다.

Modal도 처음부터 이 기회를 정확히 읽지는 못했다. 공개형 언어모델 추론을 범용 상품 간 가격 경쟁으로 보고 투자를 늦췄으며 뒤늦게 전담 인력을 크게 늘렸다고 돌아봤다. 플랫폼 전략을 내세우는 그 역시 개별 시장의 규모를 과소평가했던 셈이다.

GPU를 모으는 것과 수요를 모으는 것

Modal은 GPU를 공급하는 전문 클라우드 업체 25곳과 협력한다고 밝혔다. 고객 대신 공급자를 찾고 용량을 확보한 뒤 여러 곳의 자원을 하나의 큰 자원 풀처럼 운영하는 방식이다. 이를 위해 파일 시스템, 컨테이너 실행 환경, 작업 배치 시스템 등을 자체 개발했다고 설명했다.

개별 고객의 사용량은 갑자기 늘거나 줄 수 있다. 하지만 수천 유료 고객의 수요를 합치면 전체 변동은 상대적으로 완만해진다. Modal은 이 차이를 활용해 용량을 관리한다. 고객은 GPU를 장기간 고정 수량으로 예약하는 대신 초 단위 사용량에 따라 비용을 낸다.

용량 확보에는 예측도 필요하다. 그는 당시 GPU 확보에 3~4개월이 걸리며 최근 12개월 동안 월 30~40% 수준으로 늘어난 전체 수요를 바탕으로 필요한 용량을 추정한다고 밝혔다. 공급이 완전히 막혔다기보다는 더 높은 가격을 지불하면 GPU를 구할 수 있는 시장으로 봤다.

장기 가격 전망은 달랐다. 하드웨어 가격은 결국 내려간다고 보면서도 현재의 공급 부족 때문에 가격이 얼마나 더 오를지는 알 수 없다고 했다. 장기적인 가격 하락이 당장의 저렴한 GPU를 뜻하지는 않는다고 설명했다.

그는 수요에도 조건을 붙였다. 아직 매출을 내지 못하면서 GPU를 많이 쓰는 기업이 존재하며 이들이 실제 수익을 만들기까지 걸리는 시간이 시장의 제약이 될 수 있다고 봤다.

높은 이익률보다 여러 계층의 몫을 봐야 한다

Modal CEO는 추론 주변의 워크플로와 학습 도구에서 상당한 매출총이익 기회가 생길 것으로 예상했다. 다만 과거 소프트웨어 기업처럼 90%에 이르는 매출총이익률을 기대하지는 않았다.

고객이 애플리케이션에 지불한 돈은 모델, 인프라, 클라우드, Nvidia 등 여러 공급 계층으로 흘러간다. 각 계층이 자기 몫을 가져가는 만큼 시장이 커져도 한 기업이 대부분의 이익을 차지하기는 어렵다고 봤다. 그는 Modal이 장기적으로 40~60%의 매출총이익률에 도달할 기회가 있다고 예상했다.

현재의 회계상 수익성과 현금 사정도 구분했다. Modal은 손익계산서상으로는 흑자지만 GPU와 용량 확보에 많은 돈을 써 현금흐름은 상당한 마이너스라고 밝혔다. 과거에는 자본이 사업의 주된 제약이 아니었으나 용량을 크게 늘리는 단계에서는 자금의 중요성이 달라졌다고 설명했다.

샌드박스는 출시 2년 뒤에 본격적으로 성장했다

샌드박스는 생성한 코드를 실행할 수 있는 환경이다. Modal은 사람들이 언어모델로 코드를 생성하는 모습을 보고 2023년 이 제품을 출시했지만 초기에는 매출에서 차지하는 비중이 작았다고 밝혔다.

전환점은 2025년 여름이었다. 모델이 코드를 쓰고 애플리케이션 전체를 만드는 능력이 좋아지면서 샌드박스 사용이 급증했다. Modal CEO는 인터뷰 당시 샌드박스 사업의 연환산 매출 규모가 3억 달러이며 전체 매출의 약 3분의 1을 차지한다고 밝혔다. 강화학습, 자연어로 코드를 만드는 바이브 코딩, 백그라운드 에이전트 등이 수요를 만들었으며 이 용도들을 모두 미리 예상한 것은 아니라고 했다.

2021년 내놓은 서버리스 함수 제품도 2023년 생성형 AI 추론 수요가 커지면서 성장했다. 그는 인프라 사업을 개발자가 필요로 할 기본 구성 요소를 만들고 새로운 활용처가 나타날 때 이를 지원하는 일로 설명했다.

다만 플랫폼 확장이 곧 모든 제품을 동시에 만들라는 뜻은 아니다. 그는 두 번째 제품이 성공하기까지 회사 설립 후 4년이 걸렸다고 강조했다. 당시에는 학습 제품을 출시하고 배치 처리와 강화학습 관련 제품을 개발하고 있었지만 한 번에 한두 가지에 집중하도록 우선순위를 엄격하게 정해야 한다고 말했다.

후속 학습의 기회와 긴 피드백의 한계

후속 학습은 기본 학습을 마친 모델을 특정 작업에 더 잘 맞도록 개선하는 과정이다. Modal CEO는 특히 결과를 확인하기 쉬운 업무에서 기회가 크다고 봤다. 코딩은 샌드박스에서 코드를 실행하고 결과를 확인할 수 있어 결과에 대한 보상으로 모델을 개선하는 강화학습에 적합하다고 설명했다.

반면 결과를 평가하기까지 오래 걸리는 업무까지 같은 방식이 확장될지는 확신하지 못했다. 하루나 일주일 안에 에이전트가 수행할 수 있는 작업과 훨씬 긴 시간에 걸쳐 요구사항을 조율하고 결과를 살피는 엔지니어의 업무는 다를 수 있다고 봤다. 다만 자신이 기술의 발전 속도를 과소평가한 적이 많다며 이 한계 역시 달라질 가능성을 열어 뒀다.

소프트웨어 엔지니어 수요에는 낙관적이었다. 개발자의 일은 자연어를 코드로 옮기는 데 그치지 않고 사람이 무엇을 필요로 하는지 파악해 프로세스와 작업 흐름으로 구체화하는 데 있다는 이유다. Modal도 엔지니어 약 150명이 코딩 에이전트를 적극적으로 쓰며 관련 비용으로 월 약 50만 달러를 지출한다고 밝혔다.

그는 추론 시장의 경쟁이 모델 하나의 가격이나 GPU 보유량만으로 결정되지는 않는다고 봤다. 다양한 작업에 맞는 도구를 만들고 변동하는 수요와 용량을 관리하며 제품이 실제로 쓰이기까지 집중력을 유지하는 능력도 중요하게 여겼다. 샌드박스의 성장은 그 가능성을 보여주지만 그 역시 출시 직후 얻은 성과는 아니었다.