핵심 요약

  • 나빈 라오는 AI 서비스의 수요가 늘어나는 속도에 비해 공급 가능한 전력이 제약이 될 것이라고 전망했다.
  • 그가 이끄는 언컨벤셔널 AI는 정보를 메모리와 연산 장치 사이에서 옮기는 데 드는 에너지를 줄이기 위해 동역학적 컴퓨터를 개발하고 있다.
  • 회사는 발진기의 상호작용을 이용한 이미지 생성 모델을 시뮬레이션으로 공개했고, 이후 제작한 초기 칩에서도 이미지를 생성했다고 밝혔다.
  • 라오가 제시한 이미지당 약 500나노줄은 초기 칩의 측정 결과다. 기존 AI 모델의 전력 효율을 1,000배 높이겠다는 목표나 상용 제품의 성능이 입증됐다는 뜻은 아니다.

AI 수요 앞에 놓인 전력 제약

라오는 구글이 공개한 월간 처리량이 3,200조 토큰을 넘는다고 말했다. 토큰은 AI 모델이 입력과 출력을 처리하는 단위다. 그는 토큰당 에너지를 비교적 낮은 가정치인 10줄로 잡으면 평균 전력 수요가 약 12기가와트에 이른다고 계산했다. 이어 미국 데이터센터의 전력 사용량을 약 40기가와트로 제시하며, 모델 크기와 이용량이 함께 늘 경우 약 3년 안에 에너지 부족에 직면할 수 있다고 추정했다. 이 시점은 그의 전망이다.

라오에 따르면 데이터센터를 구축할 때도 전력 확보가 먼저 고려된다. 그는 AI 서비스에서 토큰을 제공하는 비용의 약 절반이 에너지 비용이라고 주장했다. 언컨벤셔널 AI가 내세운 목표는 기존 하드웨어보다 전력당 처리 능력을 1,000배 높이는 것이다. 당초 5년으로 잡았던 달성 기간은 연구가 예상보다 빠르게 진행됐다며 3년 반으로 단축했다.

정보를 덜 움직이는 컴퓨터

라오는 현재 컴퓨팅 시스템에서 에너지가 많이 드는 이유로 정보 이동을 지목했다. 그의 설명에 따르면 인간 대뇌피질에서 이동하는 정보량은 초당 약 160억 비트인 반면, 고성능 컴퓨팅 시스템은 칩 밖의 메모리와 초당 약 30조 비트를 주고받는다. 뇌와 컴퓨터의 동작을 그대로 비교한 성능 지표는 아니지만, 그가 설계 방향을 정할 때 주목한 차이다.

기존 컴퓨터는 연산 장치와 메모리 사이에서 데이터를 이동시킨다. 언컨벤셔널 AI는 물리적 소자의 상태 변화 자체로 연산을 수행하고, 각 연산 요소가 기억 기능도 맡도록 설계한다. 라오는 이를 4D 컴퓨팅이라고 부른다. 칩을 평면뿐 아니라 수직으로 쌓는 세 공간 차원에, 소자의 상태가 변하는 시간 차원을 더한다는 뜻이다.

발진기에서 이미지 생성 칩까지

라오는 여러 메트로놈을 움직일 수 있는 판 위에 놓으면 물리적 상호작용만으로 박자가 맞춰지는 사례를 들었다. 회사는 이처럼 구성 요소의 연결과 시간에 따른 변화로 계산하는 방식을 생성형 AI에 적용하려 한다. 먼저 발진기 집합을 바탕으로 한 이미지 생성 모델 ‘우노’를 시뮬레이션하고 공개했다. 라오에 따르면 이 모델은 학습을 거쳐 자동차, 새, 비행기 등의 이미지를 생성했다.

연결 수를 줄이는 희소성도 핵심 설계 요소다. 모든 요소를 서로 연결하면 요소 10개에는 100개, 1,000개에는 100만 개의 연결이 필요하다. 라오는 일부 연결을 제거해도 시스템의 동작을 유지할 수 있으며, 회사의 시뮬레이션과 물리적 시스템에서는 학습 가능성과 효율이 개선됐다고 설명했다.

회사는 이어 물리적 칩을 설계해 제조 시설에 보냈고, 돌아온 칩에서 이미지를 생성했다고 발표했다. 라오는 이 초기 결과의 에너지 사용량을 이미지당 약 500나노줄로 제시하며, 일반적인 GPU의 이미지 생성에 드는 에너지는 밀리줄 단위라고 비교했다. 다만 발표에서는 두 방식이 같은 모델과 이미지 품질 조건에서 비교됐는지 설명하지 않았다. 언어 모델 같은 다른 작업도 가능하다는 발언 역시 이 칩에서 해당 작업을 검증했다는 결과와는 구분해야 한다.

상용화에는 모델 전환이 필요하다

라오가 먼저 구상하는 제품은 데이터센터용 랙 단위 시스템이다. 이용자는 네트워크를 통해 토큰을 입력하고 출력받지만, 내부 연산 방식은 기존 컴퓨터와 달라진다는 설명이다. 그는 완전한 제품까지 약 2년이 걸릴 것으로 예상했다.

기존 모델을 옮길 때는 개별 연산을 그대로 이식하는 방식이 아니라 모델 수준에서 전환해야 한다고 말했다. 기존 모델을 사용할 수는 있지만 전환에 상당한 계산이 필요하다는 것이다. 회사는 시간에 따라 변하고 확률적 성질을 띠는 요소를 표현하기 위한 파이썬 라이브러리도 만들었다. 이론 연구자와 칩 설계자가 한 제품을 함께 만드는 일 역시 라오가 꼽은 어려움이다.

결론

언컨벤셔널 AI는 이미지 생성 시뮬레이션에 이어 초기 물리 칩의 결과를 제시했다. 라오가 목표로 삼은 전력 효율과 데이터센터용 제품은 아직 개발 단계에 있다. 발표가 보여준 성과의 범위는 초기 칩의 이미지 생성과 그 에너지 측정치까지다.