핵심 요약

  • 크루소 CEO는 AI 인프라의 당면 병목을 GPU를 설치하고 가동할 공간과 전력에서 찾았다. 전력이 있는 곳에 숙련 노동자를 확보하는 일도 어렵다고 했다.
  • 크루소는 GPU에 6년 감가상각 기간을 적용한다. CEO는 관리형 AI 서비스가 구형 칩의 수익 창출 기간을 늘릴 수 있다고 본다.
  • 그는 데이터센터가 들어선 지역의 전기요금이 대체로 내려갔다고 주장했지만, 대규모 수요에는 신규 발전 설비도 필요하다고 말했다.
  • 물 사용에 관해서는 텍사스 애빌린의 크루소 건물 설계를 사례로 들었다. 이 사례를 모든 데이터센터의 사용량으로 일반화할 근거는 대담에 제시되지 않았다.

비트코인 채굴에서 AI 인프라로

크루소는 처음에 남는 에너지를 비트코인 채굴로 수익화하는 데 자원을 주로 썼다. CEO에 따르면 회사의 장기 목표는 처음부터 AI 플랫폼이었다. 초기에는 AI 연구자들과 필요한 인프라를 살폈고, 2022년 초 유료 고객을 대상으로 클라우드 플랫폼을 출시했다. 같은 해 11월 챗GPT 출시 후 AI 연산 수요에 대한 그의 전망이 바뀌면서 데이터센터 설계와 에너지 확보에 투자를 늘렸다.

그의 판단은 AI 작업을 기존 인터넷 서비스처럼 특정 지역의 데이터센터에 집중할 필요가 없다는 데서 출발한다. 신경망을 서비스할 때 데이터센터까지 데이터를 보내는 시간보다 내부 연산 시간이 큰 비중을 차지한다고 보고, 저렴하고 풍부한 에너지가 있는 곳으로 시설을 분산할 수 있다고 설명했다.

GPU를 꽂을 곳이 부족하다

CEO가 말한 공급 제약은 칩 자체에만 있지 않다. GPU를 연결해 AI 작업을 실행할 데이터센터 용량이 부족하고, 전력과 건설 인력 중 어느 쪽이 병목인지도 사업 단계에 따라 달라진다는 것이다.

그는 애빌린의 첫 두 건물을 사례로 들었다. 약 200MW가 넘는 연산 용량을 1년 안에 마련하기로 했는데, 전력 배전 설비의 외부 조달 기간은 100주였다. 크루소는 내부 제조 역량을 이용해 해당 설비를 28주 만에 만들었다고 밝혔다. CEO는 직접 만드는 주된 이유를 제조 마진보다 납기 확보와 설계 유연성에서 찾았다. 다만 시설이 계획대로 완공되려면 부지, 허가, 전력망 연결 같은 절차도 넘어야 한다. 그는 계획된 데이터센터의 절반가량이 실제 가동되지 못할 수 있다는 진행자의 추정이 합리적이라고 봤다.

전기요금과 물 사용에 관한 주장

데이터센터가 지역 전기요금을 올린다는 우려에 대해 CEO는 자신들이 살펴본 시장에서는 대형 시설 투자 뒤 요금이 대체로 내려갔다고 주장했다. 발전 용량 투자가 늘고 기존 송배전망을 통해 공급되는 전력도 증가한다는 설명이다. 동시에 전력이 많이 필요한 신규 시설에는 데이터센터 업계가 새로운 발전 설비를 가동하는 데 기여해야 한다고 말했다. 대담에는 그가 언급한 시장별 요금 자료가 제시되지 않았다.

물 사용량에 대해서는 애빌린의 초기 건물 한 동을 예로 들었다. 건물당 전력 예산을 약 140MW로 잡았지만, 연간 물 사용량은 단독주택 약 10채와 비슷하다는 것이 그의 설명이다. GPU 냉각에는 물을 쓰되 순환식 구조로 설계했고, 외부에서 새로 쓰는 물은 주로 직원의 생활용수와 조경용수라는 취지다. 이 역시 크루소가 설명한 특정 설계의 수치다.

그는 대형 공사가 지역 상점의 매출과 세수에 도움이 된다고 주장하면서도, 공사 중 교통량·먼지·소음이 늘어나는 문제는 인정했다. 장기 일자리와 세수에 관한 전망도 제시했으나, 이는 향후 시설 운영을 전제로 한 기대다.

GPU는 몇 년 동안 돈을 벌 수 있나

크루소의 GPU 임대 계약은 대체로 사용 여부와 관계없이 약정 용량에 비용을 지불하는 방식이라고 CEO는 설명했다. 신용도가 높은 고객과 맺는 약 5년 장기 계약은 계약 기간 안에 투자금을 회수하고 현금흐름을 내도록 설계한다. 단기 계약은 마진이 높지만 갱신 여부가 불확실하다. 관리형 추론과 모델 미세조정 서비스도 계약 기간은 짧고 마진은 높은 편이라고 했다.

회사는 GPU에 6년 감가상각 기간을 적용한다. CEO는 최신 칩에 대한 수요와 별개로, 속도가 느린 구형 칩에도 저렴한 연산 수요가 남을 것으로 본다. 고객이 특정 칩이 아니라 추론 서비스를 이용하도록 하면 칩을 더 오래 수익화할 수 있다는 구상이다. 그는 2023년 호퍼 GPU를 대량 구매할 당시 3년 뒤 가치를 의심하는 시각이 있었지만, 대담 시점의 이용 요금은 구매 당시보다 높다고 말했다. 이는 크루소가 관찰한 가격 사례이며, 모든 GPU의 수명이나 향후 가격을 보장하는 수치는 아니다.

토큰 비용만으로 추론 경쟁력을 재기 어렵다

크루소는 데이터센터, GPU, 토큰을 각각 판매할 수 있는 상품으로 본다. CEO는 공급 부족 때문에 현재 관리형 GPU 클러스터의 마진이 높다고 설명하면서, 가치사슬의 어느 단계에서 마진이 발생하는지는 바뀔 수 있다고 했다.

추론 서비스에서는 토큰당 비용이 유용한 지표지만 토큰마다 가치가 같지는 않다고 말했다. 특정 모델이 초당 생성하는 토큰 수와 첫 응답까지 걸리는 시간도 함께 봐야 한다는 뜻이다. 그는 데이터센터에서 가장 값비싼 자산인 GPU의 유휴 시간을 줄이려면, 이전 연산 결과를 재사용하는 KV 캐시를 여러 메모리·저장 계층에 효율적으로 배치하는 일이 중요하다고 설명했다.

결론

크루소 CEO의 주장은 GPU의 경제성을 칩 구매가와 회계상 감가상각 기간만으로 판단하기 어렵다는 데 모인다. 실제 수익은 계약 기간과 갱신, 칩 가동률, 구형 칩을 활용할 서비스에 달려 있다. 전기요금과 물 사용에 관한 설명은 크루소가 제시한 시장 관찰과 시설 사례인 만큼, 다른 지역이나 설계에 그대로 적용할 수는 없다.