핵심 요약

  • 프랙타일은 AI 모델을 직접 판매하지 않고 칩과 랙 단위 시스템으로 수익을 내되 모델 연구 역량까지 내부에 갖추는 전략을 택했다.
  • 월터 굿윈은 장시간 작동하는 AI 에이전트에 빠른 추론과 큰 메모리 용량이 함께 필요하다고 봤다. 프랙타일은 연산 칩 위에 메모리를 쌓는 방식으로 이 문제에 접근한다.
  • 반도체 설계를 제조사에 넘기는 테이프아웃은 중간 단계다. 실제 승부는 전체 랙에서 작업을 안정적으로 실행하고 경제성 있게 양산하는 데 달렸다.
  • 굿윈은 전력과 데이터센터 부지가 부족할수록 같은 전력에서 더 많은 작업을 처리하는 칩의 가치가 커진다고 봤다.
  • 굿윈은 일정한 수준의 AI 능력을 제공하는 비용이 내려가더라도 더 어려운 문제에 모델을 사용하면서 전체 추론 지출은 늘어날 것으로 전망했다.

칩을 팔되 모델이 향할 곳까지 연구한다

20VC 진행자 해리 스테빙스는 프랙타일 창업자 겸 최고경영자 월터 굿윈과 AI 추론용 반도체의 기술과 사업 전략을 논의했다. 대화의 쟁점은 엔비디아가 강한 시장에서 새로운 칩 회사가 어떤 차이를 만들 수 있느냐였다.

굿윈은 사업 범위를 분명히 하면서도 연구 범위를 좁히지 않는 쪽을 택했다. 프랙타일은 칩과 랙 단위 컴퓨팅 시스템을 판매한다. 내부에서 개발한 모델을 수익화해 고객과 경쟁할 의도는 없다고 했다. 그러나 모델 구조와 작업 방식이 어떻게 바뀔지 이해하지 못하면 잘못된 반도체 설계에 투자할 수 있다. 그래서 머신러닝 연구자부터 제조 공정, 냉각과 기계 설계 전문가까지 한 조직에 둔다.

그는 엔비디아가 대규모로 공급하는 범용 제품의 강점을 인정했다. 프랙타일은 그와 달리 앞으로 중요해질 작업을 예측하고 그 작업에 맞춰 시스템 전체를 설계한다. 일부 범용성을 포기하더라도 추론 속도를 높이는 데 집중하는 방식이다. 굿윈은 대규모 언어모델 추론이 이미 거대한 시장이 된 만큼 특정 작업에 특화한다고 해서 작은 틈새시장에 머무는 것은 아니라고 봤다.

연산 속도보다 데이터를 옮기는 속도가 문제다

추론은 학습한 모델을 실행해 답을 생성하는 과정이다. 굿윈은 이 과정의 핵심 제약으로 메모리 대역폭, 즉 메모리와 연산 장치 사이에서 데이터를 주고받는 속도를 지목했다.

그의 설명에 따르면 지난 25년 동안 칩의 연산 성능은 약 100만 배 늘었지만 메모리 대역폭은 약 40배 증가하는 데 그쳤다. 언어모델은 출력 단위인 토큰을 순서대로 생성할 때마다 모델의 가중치와 앞서 처리한 문맥 정보를 읽어야 한다. 연산 장치가 계산을 더 할 수 있어도 필요한 데이터를 제때 가져오지 못하면 생성 속도가 막힌다.

기존 메모리를 선택할 때는 대가가 따른다. 연산 칩 안에 넣는 SRAM은 가까운 거리에서 데이터를 빠르게 전달할 수 있지만 면적과 비용 때문에 용량을 늘리기 어렵다. 별도 칩에 구현하는 DRAM은 더 조밀하고 저렴하지만 연산 장치와 연결하는 통로가 제한된다. HBM은 DRAM을 여러 층 쌓은 고대역폭 메모리지만 굿윈은 기존 HBM을 그대로 연산 칩 위에 올릴 수 있는 것은 아니라고 설명했다.

프랙타일은 DRAM을 연산 칩 위에 쌓아 수직으로 연결하는 방식을 개발해 왔다. 칩 가장자리의 좁은 연결 공간에 의존하는 대신 넓은 면적에 걸쳐 수백만 개의 연결을 아래로 내리는 구상이다. 목표는 SRAM 수준의 대역폭과 DRAM의 용량·확장성을 함께 확보하는 것이다.

빠른 챗봇보다 어려운 과제는 오래 일하는 에이전트다

굿윈이 추론 속도에 주목하는 이유는 답변이 빨리 나타나는 챗봇만 만들기 위해서가 아니다. 모델이 더 오래 계산하면서 답을 개선하는 추론 시점 연산 확장, 이른바 테스트 타임 컴퓨트가 더 중요한 배경이다.

어려운 문제를 풀 때는 모델 하나가 답을 즉시 내놓는 대신 여러 에이전트가 후보 해법을 탐색하고 자료를 읽으며 서로 정보를 교환할 수 있다. 많은 에이전트를 동시에 실행하면서 각 에이전트가 긴 순서의 계산까지 수행하면 필요한 추론량이 크게 늘어난다. 굿윈은 희귀질환 연구를 예로 들어 모델에 한 번 질문하는 것과 수많은 후보를 검토하도록 시간을 주는 것은 다른 작업이라고 설명했다.

여기서 빠른 메모리만으로는 충분하지 않다. 에이전트가 오래 작동할수록 기억해야 할 문맥도 길어지기 때문이다. 굿윈은 SRAM 중심 칩이 빠른 생성에는 강점이 있지만 긴 문맥과 큰 모델을 수용하는 데 용량 제약이 있다고 지적했다. 프랙타일은 속도와 용량을 동시에 요구하는 이 작업을 겨냥한다.

그는 여러 종류의 칩을 조합해 문제를 해결하는 방식에도 한계가 있다고 봤다. 모델 가중치는 사용자끼리 공유할 수 있지만 각 사용자의 문맥은 다르다. 이를 서로 다른 칩에 나눠 처리하도록 데이터센터를 구성하면 향후 모델 크기나 문맥 길이가 바뀔 때 필요한 칩 비율도 달라진다. 이미 설치한 비율을 쉽게 바꿀 수 없다면 일부 설비가 놀 수 있다.

프랙타일은 메모리를 위로 쌓고 아래 연산 칩의 공간을 계산 장치에 쓰려 한다. 굿윈은 대역폭·용량·연산 성능을 한 플랫폼에서 확보하면 복잡한 칩 조합의 필요성도 줄일 수 있다고 주장했다.

테이프아웃보다 중요한 것은 전체 랙의 작동이다

스테빙스는 새로운 칩 회사들의 발표와 실제 생산 사이에 간극이 있는지 물었다. 굿윈은 프랙타일이 제조 공정을 거쳐 돌아온 실리콘을 확보했고 추가 시험 생산을 진행하고 있다고 밝혔다. 완제품을 위한 테이프아웃은 대담 시점으로부터 몇 달 뒤 진행할 계획이라고 했다.

테이프아웃은 최종 반도체 설계 파일을 제조사에 넘기는 단계다. 이후 제조에 수개월이 걸리고 칩이 돌아오면 단일 칩에서 시작해 트레이와 랙으로 작업 실행 범위를 넓혀야 한다. 설계 파일을 보냈다는 사실이 곧 제품 완성이나 대량 공급을 뜻하지는 않는다.

프랙타일이 달성하려는 목표는 ‘태스크 제로’다. 기준이 되는 작업을 프랙타일 칩으로 구성한 전체 랙에서 실행하는 날을 뜻한다. 굿윈은 제조 과정에서 정상 제품을 얻는 비율인 수율, 고장에 대비한 설계, 시스템 신뢰성과 생산 확대 속도까지 제품 개발의 일부로 봤다.

공급망 전략도 이 목표와 연결된다. 프랙타일은 제조사와 협업하는 물리 설계 역량을 내부에 두고 직접 관계를 구축해 왔다. 굿윈은 이 덕분에 다른 회사들이 사용하는 공통 플랫폼에서 벗어나 맞춤형 메모리 적층을 추진할 수 있었다고 설명했다. 다른 공정이나 메모리 세대를 활용하면 경쟁이 집중된 자원 바깥에서 생산능력을 찾을 여지도 생긴다고 봤다.

전력이 부족할수록 칩의 효율이 중요해진다

굿윈은 AI 인프라의 병목이 GPU 부족에서 제조·메모리 공급망으로, 다시 데이터센터 부지와 전력으로 이동해 왔다고 봤다. 공급망 제약이 사라졌다는 뜻은 아니다. HBM과 반도체 제조능력의 부족에 더해 확보한 칩을 설치하고 가동할 공간과 전력도 중요한 제약이 됐다고 설명했다.

이때 중요한 지표는 한 사용자에게 답을 얼마나 빨리 주느냐만이 아니다. 같은 전력에서 전체 사용자에게 얼마나 많은 출력을 제공할 수 있는지도 봐야 한다. 굿윈은 HBM 기반 칩에서 생성 속도를 무리하게 높이면 전력 대비 전체 처리량이 크게 떨어질 수 있다고 지적했다.

그는 500메가와트 데이터센터에서 거대한 모델을 초당 수천 토큰으로 실행하려는 상황을 가정했다. 개별 응답 속도를 높이더라도 전체 처리량이 부족하면 사용자 수요를 감당할 수 없다. 그래서 빠른 생성 속도에서도 전체 처리량을 유지하는 칩을 설치할 유인이 커진다고 봤다.

그가 기대하는 공급 확대는 데이터센터 수를 수천 배 늘리는 방식이 아니다. 모델과 하드웨어를 함께 개선해 같은 부지와 전력에서 더 많은 AI 작업을 수행하는 방식이다.

추론 비용 하락과 전체 지출 증가는 함께 갈 수 있다

굿윈은 특정 수준의 AI 능력을 제공하는 비용과 미래 모델이 생성하는 토큰의 가격을 구분했다. 알고리즘이 개선되면 같은 하드웨어에서도 일정한 수준의 답을 더 저렴하게 얻을 수 있다. 긴 문맥을 압축하거나 필요한 부분에 계산을 집중하는 기술도 여기에 기여한다.

그러나 미래에는 더 큰 모델로 더 어려운 문제를 풀 수 있다. 토큰 가격 하나만 비교해서 추론 시장의 규모를 판단하기 어려운 이유다. 굿윈은 10년 뒤 모델 실행에 쓰는 총지출이 지금보다 훨씬 많아질 것으로 전망했다.

모든 사업자가 같은 수익성을 누릴 것으로 보지는 않았다. 충분한 수준의 공개 모델이 존재하는 작업은 범용화될 수 있지만 최첨단 모델의 능력과 효율에는 여전히 차이가 있다고 봤다. 공개 모델을 실행하는 소프트웨어에서도 차별화가 가능하다는 사례로는 딥시크를 들었다. 딥시크가 자체 모델과 실행 소프트웨어를 함께 최적화해 다른 제공자보다 높은 처리량과 속도를 확보했다고 설명했다.

반면 기업별로 모델을 추가 학습해 용도에 맞추는 파인튜닝의 이점은 다음 공개 모델이 나오면 사라질 수 있다고 봤다. 전문 추론 서비스에는 새로운 칩을 선택하고 특정 모델이나 작업에 집중할 여지가 있지만 비슷한 컴퓨팅 자원을 공급하는 클라우드 사업은 차별화를 유지하기 더 어렵다고 판단했다.

7억 2,000만 달러는 다음 세대와 공급망에 쓰인다

굿윈은 프랙타일이 시리즈 C에서 7억 2,000만 달러를 조달했다고 밝혔다. 자금은 첫 칩을 만드는 데만 쓰이지 않는다. 여러 세대의 제품을 미리 연구하고 시스템과 네트워킹을 개선하며 몇 년 뒤 필요한 부품의 장기 공급 계약을 확보하는 데 활용할 계획이라고 했다.

모델 구조의 변화, 긴 문맥 처리, 여러 에이전트의 병렬 실행과 하나의 에이전트가 오래 작동하는 방식의 차이도 연구 대상이다. 칩 회사라는 사업 정체성을 유지하면서 고객의 다음 작업을 예측하는 역량을 키우겠다는 구상이다.

프랙타일의 도전은 연산 성능 수치 하나를 높이는 데 그치지 않는다. 굿윈은 긴 문맥을 다루는 추론을 더 빠르게 실행하고 그 성능을 제한된 전력 안에서 안정적인 랙 제품과 양산으로 연결하는 일을 승부처로 제시했다.