핵심 요약

  • 인셉션은 이미지를 점진적으로 다듬는 확산 모델의 원리를 텍스트와 코드 생성에 적용하고 있다.
  • 창업자는 2024년 연구에서 10억 개 미만 매개변수 규모의 확산 언어 모델이 같은 규모의 자기회귀 모델과 비슷한 품질을 보이면서 텍스트를 약 10배 빠르게 생성했다고 설명했다.
  • 인셉션은 확산 언어 모델을 실제 서비스에 제공하고 있지만, 최상위 지능 수준에 도달했다고 주장하지는 않는다.
  • 속도 외의 이점으로 생성 과정의 제어 가능성과 데이터 효율을 연구하고 있다. 더 큰 규모에서도 이점이 유지될지는 확인이 필요하다.

이미지를 다듬던 방식으로 문장을 생성하다

인셉션의 창업자는 2019년부터 연구실에서 이미지의 잡음을 제거하도록 신경망을 훈련했다고 설명했다. 확산 모델은 순수한 잡음에서 시작해 대상을 여러 단계에 걸쳐 다듬는 방식으로 이미지를 생성한다. 그는 이미지 생성에서 얻은 결과를 바탕으로 텍스트와 코드에도 이 방식을 적용할 수 있는지 연구했다.

텍스트에는 별도의 어려움이 있다. 이미지의 두 픽셀 색상 사이에는 중간값을 둘 수 있지만, 두 단어 사이에 같은 방식으로 의미 있는 중간값을 두기는 어렵다. 창업자는 연속적인 이미지 데이터에서 쓰던 아이디어를 단어처럼 구분된 데이터에 옮기려면 새로운 연구가 필요했다고 말했다.

한 토큰씩 생성하는 제약

현재 널리 쓰이는 자기회귀 언어 모델은 앞서 생성한 내용을 바탕으로 다음 토큰을 하나씩 만든다. 토큰은 모델이 텍스트를 처리하는 단위다. 열 번째 토큰을 생성하려면 앞선 토큰이 먼저 나와야 한다. 창업자는 이 순차적 작업이 GPU에서 연산보다 메모리 사이의 데이터 이동에 많은 시간을 쓰게 한다고 설명했다.

인셉션이 택한 확산 방식은 여러 토큰을 동시에 처리한다. 창업자의 설명에 따르면 이 병렬 작업은 GPU가 잘 처리하는 연산 형태에 가깝다. 그는 추론 속도가 사용자에게 응답을 내놓는 시간뿐 아니라, 추론 모델의 연산량을 늘리거나 강화학습 과정에서 모델의 시도를 대량 생성할 때도 중요하다고 봤다. 다만 어떤 생성 방식이 여러 종류의 데이터를 다루는 모델에 적합할지는 아직 결론이 나지 않았다고 말했다.

연구 결과에서 실제 서비스까지

창업자는 2024년 연구에서 같은 데이터와 매개변수 규모를 사용했을 때 확산 모델이 자기회귀 모델과 비슷한 수준으로 데이터를 예측했다고 설명했다. 비교에 사용한 지표는 모델이 데이터의 구조를 얼마나 잘 포착했는지를 살피는 퍼플렉시티였다. 이 연구의 모델은 10억 개 미만 매개변수 규모였으며, 그의 설명에 따르면 텍스트 생성 속도는 비교 대상보다 약 10배 빨랐다. 이는 당시 연구 규모에서 얻은 결과다.

인셉션은 이후 상용 규모의 확산 언어 모델 ‘머큐리’를 개발해 실제 서비스에 제공하고 있다. 창업자는 벤치마크에서 속도를 중시하는 다른 연구소의 모델들과 품질이 비슷하면서 더 빠르다고 주장했다. 회사는 약 2년 된 조직으로, 인터뷰 당시 인원은 약 50명이라고 밝혔다. 모델의 크기와 훈련 연산량은 공개하지 않았다.

음성 서비스가 속도를 요구하는 이유

창업자가 든 사용 사례는 음성 에이전트다. 이 서비스는 음성을 문자로 바꾸고, 언어 모델이 도구 사용과 다음 발화를 결정한 뒤, 다시 음성을 합성한다. 여러 단계가 이어지므로 언어 모델의 응답 지연이 중요하다.

그는 한 고객이 이전에는 필요한 속도를 얻기 위해 맞춤형 칩에서 언어 모델을 구동했지만, 이후 인셉션의 확산 모델로 전환했다고 설명했다. 그의 주장에 따르면 확산 모델은 엔비디아 GPU에서도 비슷한 속도를 제공했고, 해당 고객에게 비용과 품질 면에서도 이점이 있었다. 이 사례만으로 모든 음성 서비스에서 같은 결과가 나온다고 볼 수는 없다.

기존 서비스에 연결하는 방식도 중요했다. 창업자는 머큐리가 기존과 호환되는 API에서 텍스트를 입력받아 텍스트를 반환하며, 지시 수행과 JSON 같은 구조화된 출력도 처리한다고 말했다. 고객은 기존 서비스 구성을 유지하면서 모델을 바꿀 수 있었다는 설명이다.

제어 가능성과 배포의 과제

창업자는 확산 모델이 결과를 점진적으로 만들기 때문에 생성 도중 제약이나 외부 평가 기준에 맞춰 방향을 조정할 여지가 있다고 설명했다. 반면 자기회귀 방식에서는 결과 전체를 만든 뒤에야 특정 제약을 만족했는지 평가해야 하는 경우가 있다. 그는 확산 모델의 제어 가능성에 관한 학술적 근거가 있다고 말했지만, 이를 어떤 제품 경험으로 제공할지는 탐색 중이라고 했다.

데이터 효율도 가능성으로 제시했다. 잡음을 더한 여러 형태의 동일한 데이터를 학습에 사용할 수 있다는 설명이다. 다만 창업자는 그 이점이 더 큰 규모에서도 유지되는지, 데이터가 부족한 작업에서 어떤 차이를 만드는지는 아직 확인해야 한다고 말했다.

배포 기반은 성숙하지 않았다. 인셉션은 확산 언어 모델을 제공하기 위한 실행 엔진과 후속 훈련 도구를 자체 개발했다. 창업자는 이를 회사의 기술 자산으로 보면서도, 기술을 모두 공개하지 않은 선택이 외부 기여와 도입, 자체 환경 배포를 어렵게 한다는 점을 인정했다.

결론

인셉션이 현재 제시하는 확실한 차별점은 추론 속도다. 창업자는 연구 규모의 비교 결과와 실제 고객 사례를 근거로 병렬 생성의 이점을 설명했다. 더 높은 지능, 데이터 효율, 새로운 제어 방식이 큰 규모의 언어 모델에서도 성립할지는 아직 열린 문제로 남아 있다.