# 비슷한 AI 성능, 3.8배 다른 가격…추론 칩이 만드는 격차

> 2026-10-13 · Tom Tunguz · 큐레이션 김태우
> https://challengekim.com/insights/비슷한-ai-성능-3-8배-다른-가격-추론-칩이-만드는-격차
> 원문: https://tomtunguz.com/intelligence-per-dollar-2026

## 핵심 요약

- Tom Tunguz가 비교한 최상위 AI 모델 5개는 지능 점수 차이가 5점 이내지만, 과제당 비용은 최대 3.8배 차이가 난다.
- 가장 저렴한 Google Argon의 과제당 비용은 1.99달러다. Tunguz는 모델과 칩을 함께 개발해 온 Google의 경험을 가격 격차의 가능한 원인으로 본다.
- Google TPU의 과거 성능을 현재 서비스 비용으로 환산한 수치는 여러 가정에 의존한다. Microsoft와 OpenAI의 자체 칩 성능 발표도 비교 대상과 측정 범위를 살펴야 한다.
- 토큰 가격 하락과 40\~70% 마진 유지는 필자의 전망이다. 전력당 처리 능력이 좋아진다는 사실만으로 실제 서비스 원가가 같은 비율로 내려간다고 단정할 수는 없다.

## 비슷한 지능 점수에도 가격은 다르다

Tunguz가 인용한 Artificial Analysis 자료에서 최상위 모델 5개의 지능 점수는 5점 이내에 모여 있다. 그러나 과제 하나를 수행하는 비용은 최대 3.8배 차이가 난다. 같은 53점을 받은 모델 3개만 봐도 비용은 1.99달러에서 7.63달러까지 벌어진다.

여기서 과제당 비용은 단순한 답변 토큰 가격이 아니다. Intelligence Index v4.3.2의 평가 10개에 걸쳐 입력, 캐시 읽기·쓰기, 추론, 답변 토큰 비용을 평가별 비중에 따라 합산한 가중평균이다. 자료는 2026년 10월 기준이며, 모든 모델은 추론 노력을 최대로 설정해 측정했다.

Google Argon은 과제당 1.99달러로 가장 저렴하다. 가장 비싼 Fable 5.1보다 74%, Opus 5.5보다 67%, Muse Wonder보다 56%, Astra보다 39% 낮다. Tunguz는 이 가격 차이에 모델 구조와 GPU 비용 등의 차이가 반영돼 있을 수 있다고 해석한다.

## Google의 칩 효율이 가격을 설명할 수 있을까

Tunguz는 Google이 머신러닝 모델과 전용 칩을 함께 개발해 온 경험에 주목한다. 근거로 제시한 것은 Google의 AI 연산 전용 칩인 TPU에 관한 동료 심사 논문이다.

2023년 발표된 TPU v4 논문에서 Google 연구진은 비슷한 규모의 시스템을 비교했을 때 TPU v4가 Nvidia A100보다 1.2\~1.7배 빠르고, 전력 사용량은 A100의 약 1/1.3\~1/1.9 수준이라고 보고했다. 이는 **Google 자체 측정 결과이며 독립 검증은 아니다.** 비교 대상도 H100이 아닌 A100이다.

글은 처리량 배수 1.2와 전력 효율 배수 1.5를 곱해 같은 비용으로 토큰을 80% 더 제공할 수 있다는 추정치를 제시한다. 다만 원문이 전력 효율 범위의 중간값으로 사용한 1.5배는 제시된 1.3\~1.9배 범위의 산술적 중간값과는 맞지 않는다. 이 수치는 실제 서비스에서 측정한 결과도 아니다. 칩의 시스템 전체 총소유비용이 비슷하고, 과거의 효율 우위가 후속 세대에도 유지된다는 가정이 필요하다.

이 가정이 성립한다면 Google은 경쟁사와 비슷한 마진을 유지하면서 약 44% 낮은 비용으로 토큰을 제공할 수 있다는 것이 Tunguz의 계산이다. 그는 이를 Google의 상대적으로 큰 데이터센터 투자 규모를 설명할 수 있는 요인으로도 본다. 글이 인용한 수치에서 Google의 2026년 자본지출 전망은 1,800억\~1,900억 달러로, Microsoft의 약 1,200억 달러보다 크다. 반면 클라우드 사업 규모는 Microsoft의 약 37%라고 제시된다.

## Microsoft도 자체 추론 칩을 확대한다

자체 칩 개발은 Google만의 전략이 아니다. 글에 따르면 Microsoft의 Satya Nadella는 2026년 10월 Maia 300을 소개하며, 이듬해부터 Maia 제품군을 수 기가와트 규모로 확대하고 자사 제품과 서비스의 주력 추론 시스템으로 삼겠다고 밝혔다. 추론은 학습한 모델이 입력을 받아 결과를 생성하는 과정이다.

Microsoft는 Maia 300의 전력 1와트당 토큰 처리량이 주요 GPU 기반 시스템보다 40% 많다고 발표했다. 하지만 **비교 대상 시스템을 구체적으로 밝히지 않았고, 독립 벤치마크도 공개하지 않았다.** 따라서 이 수치는 회사가 제시한 성능 주장으로 읽어야 한다. Maia 300의 데이터센터 도입 예정 시점은 2027년이다.

## OpenAI의 성능 발표에도 비교 조건이 붙는다

OpenAI는 첫 추론 칩 Jalapeño를 Nvidia GB200·GB300과 비교한 결과를 발표했다. SemiAnalysis의 InferenceX 평가 도구로 측정했을 때 전력당 처리량은 1.5\~1.9배였고, 입력부터 결과까지 걸리는 전체 지연 시간은 비교 대상의 약 1/1.7\~1/3.6 수준이었다는 설명이다.

이 결과에는 세 가지 제한이 있다. 우선 비교 대상은 Blackwell 세대다. 원문은 2026년 고객 출하를 시작했고 Jalapeño와 마찬가지로 HBM4 메모리를 쓰는 Vera Rubin이 더 적절한 비교 대상이라고 지적한다.

또 Jalapeño는 한 번에 토큰 하나를 예측했지만, 일부 Nvidia 기준값은 여러 토큰을 예측하는 방식을 사용했다. 조건을 맞추면 전력당 처리량 우위는 약 1.5배로 좁아진다.

마지막으로 이 평가는 전력당 성능을 측정한다. 호스트 프로세서, 냉각, 네트워크, 소프트웨어, 가동률을 포함한 **총소유비용 비교가 아니다.** 시험에 참여한 SemiAnalysis도 Blackwell과의 비교가 일부 불완전하고 불공정하다고 평가했다.

## 토큰 가격 하락은 전망으로 남는다

Tunguz는 전력당 지능이 6개월마다 두 배로 높아진다는 설명을 바탕으로, 최상위 모델을 중심으로 40\~70% 마진을 유지하면서도 토큰 가격이 계속 내려갈 것으로 전망한다.

다만 그가 인용한 Google AI 인프라 최고기술책임자 Amin Vahdat의 설명은 구분해서 볼 필요가 있다. Vahdat는 개선의 대부분이 칩보다 모델에서 나오며, 자신의 팀이 원시 연산량이 아닌 토큰 생성량 기준의 실질 서비스 용량을 약 6개월마다 두 배로 늘리도록 요구받았다고 말했다. 이는 업계 전체의 달성 실적이나 가격 하락률을 확정한 발언이 아니다. 40\~70%라는 마진 범위도 Vahdat가 아닌 Tunguz의 추정이다.

이 글은 비슷한 지능 점수의 모델 사이에서 관찰되는 가격 차이를 칩과 모델의 효율 차이로 설명하려는 시도다. 자체 칩의 성능 수치는 그 해석을 뒷받침하지만, 실제 서비스 원가와 향후 가격을 판단하려면 각 비교의 조건과 가정을 함께 남겨 두어야 한다.

---

원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://tomtunguz.com/intelligence-per-dollar-2026)