핵심 요약

  • 마이크 볼피는 AI 인프라가 장기적으로 쓰일 것이라고 봤다. 다만 설비의 유용성과 현재 소유 기업의 생존은 별개라고 강조했다.
  • GPU 공급 부족은 구형 장비의 활용 기간을 늘리고 있다. 공급이 충분해지면 전력당 수익성이 낮은 장비부터 경쟁력을 잃을 수 있다.
  • 가까운 시일에는 반도체 생산 확대보다 이용자의 모델 선택 변화가 시장에 먼저 영향을 줄 것으로 예상했다.
  • AI 인프라의 경쟁 단위는 개별 칩에서 시스템 전체로 커지고 있다. 볼피는 메모리와 네트워크를 함께 최적화해야 한다고 봤다.
  • 시스코의 인수 경험에서는 반복 가능한 통합 절차가 성과를 냈다. 반면 수요 급감 때는 고객의 과잉 주문과 공급망에서 떠안은 위험이 동시에 드러났다.

인터넷 설비는 살아남았지만 소유자는 바뀌었다

a16z 팟캐스트에서 시스코의 전 고위 임원 마이크 볼피는 진행자들과 1990년대 인터넷 확장기와 오늘날의 AI 인프라 투자를 비교했다. 당시 인수·합병과 전략을 맡았던 그는 자신의 경험을 바탕으로 AI 설비의 장기적 가치가 투자 기업의 성공으로도 이어질지를 논했다.

볼피는 두 시기 모두 거대한 기술 변화에 대한 기대, 실제 수요 증가, 주식과 부채 형태의 자본 유입이 겹쳤다고 봤다. 인터넷 확장기에는 통신망 사업자들이 파산했지만 이들이 깔아 놓은 광케이블은 이후에도 유용하게 쓰였다. 달라진 것은 자산의 소유자였다.

그는 AI에서도 비슷한 일이 벌어질 수 있다고 예상했다. 현재 짓는 설비는 충분히 활용될 것이라고 확신하면서도 재무 상태가 취약한 사업자까지 모두 살아남으리라고 보지는 않았다. 거시경제와 지정학처럼 건설 주체가 통제하기 어려운 변수도 소유권의 향방을 바꿀 수 있다.

볼피가 이번 주기를 더 낙관하는 이유도 있다. 당시에는 상상에 머물던 인터넷 서비스가 많았지만 지금은 AI의 실용적 쓰임이 더 뚜렷하다고 봤다. 그는 앤트로픽과 OpenAI 등의 매출 증가 속도가 당시보다 빠르다는 점을 근거로 들었다. 성장률이 높다고 수익성까지 같다는 뜻은 아니라고도 덧붙였다.

GPU의 수명을 늘린 것은 성능만이 아니다

인터넷 설비와 AI 설비에는 중요한 차이가 있다. 광케이블은 땅에 묻은 뒤 20~30년 동안 쓸 수 있지만 AI 연산 설비의 핵심인 GPU가 경제적으로 얼마나 오래 쓰일지는 불확실하다.

볼피는 당초 예상보다 오래 활용되는 H100을 사례로 들었다. 예상보다 사용 기간이 길어지면 짧은 수명을 전제로 자금을 조달한 사업자는 이익을 볼 수 있다. 그러나 진행자는 그 현상이 장비의 본질적인 수명 연장보다 심각한 공급 부족의 결과일 수 있다고 짚었다.

대화에서 제시한 판단 기준은 전력 1와트로 얼마나 많은 토큰 매출을 만들 수 있는가였다. 토큰은 AI가 처리하고 생성하는 텍스트의 단위다. 신형 칩이 전력을 더 효율적으로 매출로 바꾼다면 공급이 충분해지는 시점에는 구형 GPU를 계속 돌릴 이유가 줄어든다. 지금은 수요가 워낙 커서 효율이 낮은 장비도 쓰인다.

볼피가 겪은 시스코의 급락에서도 수요 해석의 위험이 드러났다. 고객들은 물량 배정이 줄어들 것을 예상해 필요한 양보다 많이 주문했고 시스코는 이를 충족하려고 공급망 주문의 재무 위험을 떠안았다. 수요가 꺾이자 고객들은 구매를 조금 줄이는 대신 기존 주문을 취소했다. 장기적으로 필요한 제품이라도 눈앞에 쌓인 주문이 실제 소비량을 그대로 보여 주지는 않았다.

공급은 반도체가, 수요는 모델 선택이 바꾼다

볼피는 현재 AI 공급을 제약하는 가장 큰 요인으로 반도체를 꼽았다. 전력 문제도 있지만 공장 생산능력이 늘지 않으면 근본적인 공급 부족은 쉽게 풀리지 않는다고 봤다. 그는 이 여건이 앞으로 2~3년 안에 크게 바뀌기는 어렵고 5년 정도의 시야에서는 생산능력 확대를 상상할 수 있다고 말했다.

인터넷 확장기에는 한 가닥의 광섬유에 여러 파장의 빛을 보내는 WDM 기술이 전송 용량을 급격히 늘렸다. 볼피는 연산능력이 당시 광통신 용량처럼 한 번에 큰 폭으로 증가하기는 어렵다고 비교했다.

더 빨리 달라질 수 있는 쪽은 수요다. 볼피는 그동안 이용자들이 가장 뛰어난 최상위 모델을 원했지만 앞으로는 작업에 맞춰 모델을 고르는 데 더 신중해질 것으로 예상했다. 요청을 적합한 모델로 나눠 보내는 모델 라우터가 그 변화의 한 사례다. 모델 사이의 큰 가격 차이를 의식하기 시작하면 무엇을 얼마나 소비할지도 달라진다.

그는 AI 전용 클라우드, 추론 서비스 사업자, 모델 개발사 모두 이 두 힘 사이에 놓여 있다고 봤다. 공급은 제한돼 있고 구매자는 점차 비용에 민감해진다.

경쟁 단위는 칩 한 장에서 시스템 전체로 커진다

볼피는 지금의 AI 인프라를 하나의 시스템으로 설계해야 한다고 강조했다. 과거 네트워크는 시간대와 용도에 따라 트래픽이 크게 달랐다. 지금은 많은 GPU가 계속 작동하며 서로 데이터를 주고받는다. 부품 간 연결 방식도 상당 부분 독자 규격이어서 하나만 쉽게 교체하기 어렵다.

그가 구글의 TPU 구성을 높이 평가한 이유도 처음부터 전체를 하나의 시스템으로 설계했다는 점이었다. 엔비디아의 구성 역시 그 방향으로 이동하고 있다고 봤다. 서로 다른 회사의 칩과 스위치를 조합하는 방식에는 아직 시스템 차원의 비효율이 남아 있다고 평가했다.

경쟁 단위도 카드에서 랙으로, 경우에 따라 여러 랙이나 데이터센터 전체로 커진다. 개별 부품의 성능뿐 아니라 부품 사이의 연결과 전체 배치를 함께 최적화하는 능력이 중요해진다.

추론의 발전은 메모리 설계를 바꾼다

볼피는 모델 구조가 다양해지면 그에 맞는 칩 구조도 다양해질 것으로 예상했다. 모델마다 연산에 쓰는 숫자의 정밀도, 매개변수 규모, 여러 전문가 모듈을 조합하는 방식이 다르기 때문이다. 어떤 모델로 어떤 작업을 수행할지에 따라 적합한 하드웨어도 달라진다.

그는 특히 추론 중심의 작업이 큰 매개변수 규모와 KV 캐시를 요구한다고 설명했다. KV 캐시는 모델이 앞서 계산한 정보를 저장해 두는 공간이다. 이런 작업에서는 메모리와 연산 칩 사이에 많은 데이터를 빠르게 옮기는 능력이 중요하다.

그가 3차원 메모리 구조와 고밀도 접합 기술에 기대를 건 것도 이 때문이다. 다만 제조와 패키징은 더 복잡해진다. 연산 칩과 메모리를 같은 패키지에 넣을 때 생기는 열 문제도 해결해야 한다.

광학 연결 역시 조건에 따라 달리 봤다. 서버 내부에서는 구리로 해결할 수 있다면 구리를 쓰겠다는 입장이었다. 광학 부품은 온도 변화에 민감하기 때문이다. 반면 랙을 연결하는 구간에서는 필요한 대역폭과 배선 문제 때문에 광학 연결의 필요성을 인정했다.

예측 가능한 트래픽이 네트워크의 새 기회를 만든다

기존 인터넷 장비는 데이터가 불규칙하게 들어오고 나간다는 전제 아래 발전했다. 여러 이용자가 동시에 최대 대역폭을 쓰지 않는다는 점을 활용해 통신 자원을 나누는 방식이다.

AI 데이터센터는 양상이 다르다. GPU와 연결망을 계속 높은 수준으로 활용하려 하고 특히 학습 작업의 통신 패턴은 매우 예측 가능하다. 추론은 학습보다 변동성이 크지만 여러 요청을 묶어 처리하면 더 예측 가능한 형태로 만들 수 있다.

볼피는 이런 작업에 맞춰 네트워크를 다시 설계할 여지가 있다고 봤다. 불규칙한 패킷을 처리하려면 복잡한 제어와 임시 저장 공간이 필요하지만 통신 흐름이 일정하다면 그 복잡성을 줄여 비용을 낮출 수 있다고 설명했다. 그는 광학·전기 방식 또는 두 방식의 조합 모두 가능성을 열어 뒀다.

새 스위치 하나만 만들어서는 충분하지 않다. 네트워크가 시스템 전체의 일부가 됐기 때문에 GPU 공급자와 구매자가 함께 받아들여야 한다. 기존 업체는 비싼 장비의 가치를 낮출 수 있는 변화에 소극적일 수 있고 고객 역시 익숙한 구성을 바꾸는 데 부담을 느낀다. 기술적 가능성과 실제 채택 사이에는 이 간극이 남는다.

인수의 성패도 개별 거래보다 반복 과정에 달렸다

시스코의 인수 경험에서도 볼피는 개별 거래보다 전체 과정을 강조했다. 일부 인수는 크게 성공하고 일부는 실패했지만 충분한 횟수로 실행하면서 큰 성과를 내는 사례를 얻었다고 말했다. 개방형 통신 규약 덕분에 인수한 제품을 기존 제품과 연결하고 판매하기 쉬웠다는 산업적 조건도 있었다.

통합을 담당자 개인에게 맡기는 대신 전담 조직이 반복 가능한 절차를 운영한 것도 중요했다. 반대로 회사가 커지면서 더 큰 기업을 사들이고 일부만 통합하려 했을 때는 문제가 커졌다고 회고했다.

매각을 고민하는 스타트업에는 창업팀의 의지와 사업의 남은 성장 폭을 함께 보라고 했다. 잘되는 회사를 성급히 팔거나 자금이 부족한 회사를 매각하는 경우보다 판단하기 어려운 것은 그 중간에 있는 기업이다. 볼피는 창업자가 다음 단계를 계속 추진할 의지가 있는지, 사업이 지금보다 열 배 커질 가능성이 있는지를 냉정하게 살펴야 한다고 봤다.

볼피에게 AI 인프라의 장기적 유용성은 낙관의 근거였다. 그러나 그 낙관이 모든 설비와 기업에 똑같이 적용되지는 않는다. 앞으로도 필요한 인프라를 짓는 일과 그 인프라를 경제적으로 운영하며 살아남는 일은 서로 다른 과제다.