핵심 요약

  • 에치(Etch)는 칩 하나가 아니라 칩, 보드, 전력 공급, 냉각, 칩 간 연결을 포함한 AI 추론용 랙 전체를 개발한다.
  • 창업자들은 입력을 처리하는 프리필과 답을 생성하는 디코드에 서로 다른 병목이 있다고 보고, 저전압 설계와 칩 여러 개의 메모리를 함께 쓰는 연결 기술에 집중했다.
  • 칩이 나오기 전에 소프트웨어, 냉각 장치, 생산 라인을 준비했다. 창업자들에 따르면 실제 칩을 받은 뒤 랙에서 추론을 실행하기까지 40일이 걸렸다.
  • 이들은 성능만큼 공급량이 중요하다고 본다. 다만 인터뷰에서 제시한 경쟁 제품 대비 성능과 장기 시장 전망은 창업자들의 주장과 예측이다.

추론의 두 단계에서 찾은 병목

에치의 창업자 롭과 개빈은 AI 모델이 입력을 읽는 프리필과 다음 단어를 생성하는 디코드를 구분한다. 프리필은 입력을 바탕으로 모델이 이후 생성에 쓸 정보를 준비하는 단계다. 디코드는 그 정보를 이용해 출력 토큰을 차례로 만드는 단계다. 이들은 프리필을 처리한 서버에서 디코드 서버로 해당 정보인 KV 캐시를 옮기는 방식도 설명했다.

롭은 프리필에서 중요한 지표가 칩에 표시된 최대 연산량 자체가 아니라 실제 작업에서 활용되는 연산량이라고 말했다. 연산 회로를 더 많이 쓰면 전력과 열이 늘고, 과열을 피하려고 칩의 작동 속도가 낮아질 수 있다는 설명이다. 에치는 이를 해결하려고 더 낮은 전압에서 작동하는 추론용 전력 공급 방식을 개발했다고 밝혔다. 첫 세대 제품의 전압이 다른 AI 칩의 절반 미만이라는 수치도 제시했지만, 인터뷰에는 이를 독립적으로 검증할 비교 결과가 나오지 않는다.

디코드에서는 메모리의 데이터 전달 속도와 칩 사이의 지연에 주목했다. 개빈은 칩 한 개의 메모리 대역폭보다 여러 칩을 연결했을 때 실제로 쓸 수 있는 대역폭을 봐야 한다고 말했다. 에치는 자체 연결 기술로 여러 칩의 메모리를 하나의 자원처럼 활용하려 한다. 롭은 엔비디아 블랙웰 칩 사이의 통신 지연을 약 4,000나노초로 제시하며, 에치가 이를 5분의 1 이하로 줄일 수 있다고 주장했다. 이것 역시 인터뷰에서 제시된 회사 측 비교다.

칩이 도착하기 전에 랙을 준비하다

에치는 칩 설계와 랙 개발을 동시에 진행했다. 창업자들에 따르면 실제 칩이 나오기 전 예상 발열 지점을 재현한 시험용 칩으로 냉각판을 검증했고, 700개가 넘는 FPGA를 연결해 설계한 칩과 추론 소프트웨어를 시험했다. 칩이 없는 랙을 고객 데이터센터에 먼저 보내 네트워크와 저장장치 등도 준비했다. FPGA는 완성된 칩을 제작하기 전에 설계한 디지털 회로의 동작을 시험하는 데 쓴 장치다.

이 준비에는 비용이 들었다. 대신 창업자들은 실제 칩을 받은 뒤 랙에서 추론을 실행하기까지 걸리는 시간을 40일로 줄였다고 말했다. 다른 AI 칩 회사가 같은 단계에 10개월이 걸렸다는 비교도 제시했으나, 상대 회사와 측정 조건은 인터뷰에 명시되지 않았다.

선행 검증이 모든 문제를 잡아낸 것은 아니다. 개빈은 실제 칩에서 잘못된 결과를 만드는 회로 문제가 발견됐다고 설명했다. 디지털 회로를 시험하는 FPGA로는 확인하기 어려웠던 문제였다. 팀은 두 신호의 시점을 50피코초 이내로 맞추는 방법을 찾아 약 2주 만에 해결했다고 밝혔다. 초기 웨이퍼의 칩 검사에서 모두 불합격으로 표시됐던 순간도 있었다고 회고했다.

큰 자본이 필요했던 설계 변경

초기에는 칩 개발만으로는 충분하지 않다는 판단이 자금 계획을 바꿨다. 롭은 2024년 초 물리 설계 업체와의 계약에만 최소 4,000만~5,000만 달러가 필요했고, 보유 현금은 1,500만 달러였다고 말했다. 모델이 커지면서 보드, 냉각판, 연결 장치까지 포함한 클러스터를 직접 만들어야 한다고 판단했다. 두 창업자는 이후 12개월에 약 1억 달러가 필요할 것으로 계산했다.

투자 유치는 처음부터 순조롭지 않았다. 롭에 따르면 여러 주요 투자자가 초기 제안을 거절했다. 이후 소액 투자 약정이 쌓였고, 이사회에서 검토한 표에는 총 1억300만 달러의 비확정 투자 의향이 적혀 있었다. 그는 이를 바탕으로 시리즈 A를 진행했으며 이후에도 여러 차례 자금을 조달했다고 설명했다. 비확정 의향의 합계가 곧바로 입금된 금액을 뜻하는 것은 아니다.

성능 다음은 공급량

창업자들은 추론 시스템의 가치를 정해진 응답 속도를 유지하면서 같은 전력으로 동시에 몇 명에게 서비스를 제공할 수 있는지로 판단한다. 롭은 에치의 시스템이 같은 응답 속도에서 동시 이용자를 대략 한 자릿수 배수 이상 늘릴 수 있다고 주장했다. 인터뷰에는 실제 고객 작업을 기준으로 한 검증 자료가 제시되지 않았다.

그는 다음 세대 설계에서 부품 수를 줄이고 조립, 수리, 대량생산을 쉽게 만드는 데 무게를 두겠다고 말했다. 첫 세대 제품은 경쟁 제품과 다른 4나노 공정을 선택했다고도 설명했다. 생산 능력이 한정된 부품을 둘러싼 경쟁을 줄이려는 결정이었다는 것이 그의 설명이다. 칩과 메모리 생산에는 협력사가 필요하지만, 에치는 랙의 다른 부분을 가능한 한 직접 개발해 생산 속도를 높이려 한다.

에치가 인터뷰에서 제시한 과제는 낮은 전력으로 빠르게 토큰을 만들고, 그 시스템을 실제로 대량 공급하는 일이다. 두 창업자의 기술적 설명과 개발 사례는 그 선택의 근거를 보여준다. 경쟁 제품을 얼마나 앞설지는 제시된 주장과 별도로 확인해야 한다.