핵심 요약

  • 엑스트로픽은 트랜지스터를 계속 작게 만드는 방식이 한계에 가까워지고 있다는 판단에서 새로운 AI 연산 방식을 개발하고 있다.
  • 이 회사의 칩은 초전도 아날로그 회로에서 일어나는 전자의 불규칙한 움직임을 확률 모델의 샘플링에 활용한다.
  • 엑스트로픽은 첫 칩의 이미지와 기술 개요를 공개했으며, 하드웨어에 맞춰 작동하는 소프트웨어도 개발 중이다.
  • 인터뷰에서 제시한 전자 변동 횟수와 기존 알고리즘의 처리 단계 수는 서로 다른 지표다. 실제 작업의 속도 향상으로 단정할 수 없다.

작아지는 트랜지스터와 확률성

엑스트로픽 측은 AI 모델이 더 많은 데이터와 에너지를 요구하는 가운데, 트랜지스터의 크기를 줄여 연산 성능을 높여 온 방식이 한계에 다가가고 있다고 설명했다. 아주 작은 규모에서는 물질의 열적 요동 때문에 전자가 트랜지스터를 통과하는 과정이 불규칙해진다는 것이다.

회사는 이 불규칙성을 제거할 대상으로만 보지 않는다. 신경망 학습과 생성 과정에도 확률을 활용하는 절차가 있으므로, 전자의 움직임 자체를 확률적 기계학습의 연산에 쓰겠다는 구상이다.

무작위 표본을 회로에서 얻는 방식

확률 모델에서는 가능한 결과들의 분포에서 표본을 반복해서 뽑는 ‘샘플링’이 필요하다. 엑스트로픽 측은 복잡한 분포를 디지털 컴퓨터에서 샘플링하려면 회로를 여러 차례 실행해 의사난수를 만들어야 하므로 에너지가 많이 든다고 설명했다.

회사가 제시한 방식은 낮은 전력으로 작동하는 회로에 샘플링 문제를 담는 것이다. 이 상태에서는 개별 전자의 움직임이 전류와 전압에 영향을 주고, 그 값이 불규칙하게 변한다. 회로가 샘플링할 수 있는 분포의 범위를 정하고 입력 전압을 바꾸면, 다른 분포에서 표본을 얻는다는 설명이다.

공개한 칩과 성능 주장

엑스트로픽은 첫 칩의 이미지를 공개했다. 회사 설명에 따르면 칩은 초전도체로 만들었고, 내부의 기본 요소는 디지털 방식의 뉴런이 아니라 아날로그 확률 회로다. 회사는 회로뿐 아니라 이에 맞는 소프트웨어 체계도 구축해야 한다고 인정했다.

인터뷰에서는 최적화한 몬테카를로 샘플링 코드가 초당 약 10만 단계를 수행하는 반면, 칩에서는 전자가 초당 약 800억 번 변동한다고 주장했다. 알고리즘의 단계 수와 물리적 변동 횟수는 같은 성능 지표가 아니다. 인터뷰에는 이를 실제 모델 실행 시간이나 에너지 사용량으로 연결한 측정 결과가 제시되지 않았다.

겨냥하는 확률 모델

엑스트로픽 측은 칩이 ‘에너지 기반 모델’을 물리적 과정으로 실행한다고 설명했다. 인터뷰에서 이 모델은 데이터와 맞지 않는 생성 결과에 불이익을 주어 샘플링 방향을 조정하는 방식으로 소개됐다. 회사는 이러한 확률적 기계학습을 위해 하드웨어의 물리적 작동 방식에 맞춰 변환되는 소프트웨어를 개발 중이다.

엑스트로픽이 공개한 것은 확률적 연산을 칩의 물리 현상에 직접 연결하려는 접근과 초기 칩이다. 그 접근이 기존 AI 연산보다 얼마나 빠르고 효율적인지는 인터뷰에 나온 수치만으로 판단할 수 없다.