랭체인 CEO가 본 AI 추론 시장과 모델 라우팅의 가치

핵심 요약

• 해리슨 체이스 랭체인 CEO는 AI 추론과 코딩 에이전트 수요가 자신의 예상보다 훨씬 컸다고 말했다. 다만 추론 시장의 성장 전망과 모델 라우팅의 가치는 구분했다.
• 업무에 맞는 모델을 선택하는 라우팅은 특정 분야의 에이전트일수록 실행 구조와 작업 상태를 알아야 한다는 입장이다. 범용 채팅이나 코딩에서는 API 접점에서 처리할 여지도 있다고 봤다.
• 분야별 에이전트의 경쟁력은 무엇이 좋은 결과인지 정의하는 전문 지식에 있다. 처음부터 모델을 훈련하기보다 맥락과 실행 구조를 개선하고, 사용량이 쌓인 뒤 후속 학습을 검토해야 한다는 설명이다.
• 기억과 지속 학습의 어려움은 저장소보다 무엇을 배워서 남길지 판단하는 데 있다. 랭체인도 지나치게 범용적인 기억 제품으로 시장 적합성을 찾지 못했다고 밝혔다.
• 체이스는 코딩 도구 지출이 엔지니어 급여의 약 30%라고 추산했다. 사용량 파악, 예산 설정, 실행 구조 개선을 통해 최근 두 달간 토큰 사용량이 늘어도 지출은 줄었다고 말했다.

추론 시장의 성장과 라우팅의 가치는 다르다

체이스는 랭체인을 시작한 뒤 가장 과소평가했던 시장으로 추론과 코딩 에이전트를 꼽았다. 추론은 모델을 실행해 답이나 결과를 생성하는 과정이다. 그는 수요가 워낙 커서 Fireworks, AWS, Crusoe 등 여러 사업자가 기회를 얻을 수 있다고 봤다. 이는 시장 전망에 대한 그의 판단이며, 개별 기업의 수익성을 검증한 결론은 아니다.

그는 약 1년 반 전 이사회와 게이트웨이 사업을 논의했지만, OpenRouter 같은 서비스에 비해 어떤 가치를 더할 수 있을지 찾지 못해 진출하지 않았다고 회고했다. 지금은 그 판단이 잘못이었다고 평가했다.

다만 게이트웨이 수요가 크다고 해서 자동 라우팅이 널리 쓰인다고 보지는 않았다. 게이트웨이는 여러 모델에 하나의 API로 접근하게 하는 접점이고, 라우팅은 요청에 맞춰 모델을 선택하는 기능이다. 체이스는 OpenRouter 사용의 상당 부분이 자동 선택보다 사용자가 미리 지정한 모델에 접근하기 위한 것일 수 있다고 추정했다. 실제 사용 비중은 자신보다 해당 회사가 더 잘 안다는 단서도 붙였다.

모델 선택은 에이전트의 작업 상태를 알아야 한다

체이스는 분야별 라우팅이 하네스, 즉 모델에 도구·데이터·메모리를 연결하고 실행을 관리하는 구조 안에 있어야 한다고 주장했다. 하네스는 작업의 진행 상태를 더 많이 알고, 모델에 맞춰 지시문을 바꾸거나 프롬프트 캐시를 유지하기도 쉽기 때문이다. 프롬프트 캐시는 반복되는 입력을 재사용해 비용을 줄이는 기능이다.

법률·금융·코딩에 똑같이 적용되는 라우터를 기대하기는 어렵다는 것이 그의 입장이다. 어떤 업무를 수행하는지, 실행 구조가 어떻게 생겼는지에 따라 선택 기준이 달라진다.

게이트웨이 방식에도 장점은 있다. 기존 하네스의 코드를 바꾸지 않고 API 접점만 교체해 적용하기 쉽다. 하네스를 직접 수정할 수 없는 상황에서는 특히 유용하다. 범용 채팅의 간단한 인사에 비싼 모델을 쓰지 않는 식의 선택이나, 코딩이라는 넓은 용도 안에서의 라우팅도 가능하다고 봤다.

그는 라우팅이 누구나 쉽게 공급하는 범용 기능으로 굳어졌다고 보지 않았다. 모델 변화가 빠르기 때문에 구축과 유지가 어렵다는 설명이다. 특정 모델들의 장점을 조합해도 새 모델이 여러 작업에서 더 나아지면 라우팅의 가치가 다시 낮아질 수 있다.

분야별 경쟁력은 평가 기준과 통제권에서 나온다

에이전트 개발이 어려운 이유는 모델이 항상 같은 방식으로 행동하지 않기 때문이다. 입력은 자유로운 자연어이고, 여러 모델 호출과 도구 사용이 이어지면서 오류가 연쇄적으로 발생할 수 있다. 체이스는 모델 자체의 발전과 함께 이를 안정적으로 활용하는 시스템이 중요하다고 설명했다.

모델이 좋아지면 제품의 일부를 지워야 하는 경우도 생긴다. 초기 랭체인은 모델이 구조화된 텍스트를 만들면 이를 해석해 도구를 실행했다. 이후 OpenAI가 모델과 API에 도구 호출을 직접 지원하자 그 방식으로 전환했다. 반면 기업 고유 데이터와 외부 API를 연결하는 시스템의 역할은 계속 남는다고 봤다.

중립적인 하네스가 필요한 이유로는 기억과 맥락의 이동성을 들었다. 에이전트가 쌓은 지식이 특정 모델 제공자의 구조에 묶이면 더 좋은 모델로 바꾸기 어렵고 가격 인상에도 취약해질 수 있다. 그는 모델·하네스·맥락을 각각 조정할 수 있는 구조를 중시했다.

그렇다고 가치가 하네스에만 쌓인다는 뜻은 아니다. 체이스는 좋은 결과를 정의하고 평가 기준으로 옮길 수 있는 분야 전문가가 유리하다고 봤다. 모델의 결과를 측정하는 평가인 ‘이밸’을 만들려면 해당 업무에서 무엇이 중요한지 알아야 하기 때문이다.

처음에는 데이터·기억·도구 등 맥락을 다듬고, 이어 하네스를 개선하는 접근을 권했다. 기존 모델에 추가 학습을 시키는 후속 학습은 사용자가 생긴 뒤 검토할 수 있다. 현재는 분류·추출·요약처럼 범위가 좁은 작업에서 효과를 보기 쉽지만, 도구를 반복 호출하며 에이전트 전체를 이끄는 핵심 모델까지 대체할지는 아직 열린 문제라고 말했다.

지속 학습은 실행 기록을 개선으로 되돌리는 과정이다

체이스는 지속 학습을 실행할수록 시스템이 나아지는 것으로 정의했다. 모델이 도구를 호출하는 내부 반복 구조는 크게 바뀌지 않더라도, 바깥에 별도의 개선 과정이 필요하다는 설명이다.

이 과정은 실행 기록인 트레이스를 모으고, 배울 점을 찾고, 무언가를 수정한 뒤 실제로 좋아졌는지 측정하는 순서다. 수정 대상은 기억에 담긴 텍스트일 수도, 하네스 코드일 수도, 모델의 학습된 매개변수일 수도 있다. 기록은 이런 변화로 이어질 때 가치가 생긴다.

평가 점수 하나만으로 충분하지도 않다. 그는 공개 학술 벤치마크에 모델이 지나치게 최적화돼 있을 수 있다고 봤다. 업무에 맞춘 내부 평가는 유용하지만, 실제 실행 기록을 직접 살펴보고 평가 기준도 바꿔야 한다고 강조했다. 모델이 기존 평가가 포착하지 못하는 방식으로 좋아질 수 있기 때문이다.

기억 역시 저장 기술만의 문제는 아니다. 체이스가 만난 일부 기업은 기억을 파일 하나에 저장했다. 어려운 부분은 수많은 관찰에서 무엇이 남길 만한 정보인지 추려내는 일이었다. 그는 에이전트가 자신의 지시문이나 구조를 돌아보고 개선하는 능력이 아직 부족하며, 이를 위한 시스템의 형태도 정립되지 않았다고 말했다.

랭체인은 기억 관련 상용 제품을 중단했다. 체이스는 제품 시장 적합성을 찾지 못했고, 너무 범용적으로 접근했던 점을 원인으로 짚었다. 개인 비서와 기업 업무, 법률과 금융에 필요한 기억은 서로 다르므로, 초기에는 학습과 기억을 담당하는 에이전트도 분야에 특화돼야 한다고 봤다.

토큰 사용량이 늘어도 지출을 줄인 방법

체이스는 모델의 가격 대비 성능이 좋아지는 동시에, 에이전트끼리 대화하거나 여러 에이전트를 실행하면서 전체 토큰 수요가 늘고 있다고 설명했다. 특히 코딩 비용이 급증하면서 랭체인도 관리에 나섰다고 밝혔다.

그가 제시한 순서는 세 단계다. 먼저 누가 무엇에 얼마나 쓰는지 파악하고, 다음으로 예산을 설정하며, 마지막으로 하네스 자체를 개선하는 것이다. 랭체인은 코딩 에이전트 사용 기록을 모아 분석하고 예산을 뒀다. 예산에 도달하면 엔지니어링 책임자와 논의해 대체로 늘려주지만, 잘못된 반복 실행을 막는 장치로 활용했다.

또 자체 클라우드 코딩 에이전트의 하네스에 프롬프트 캐시와 라우팅을 적용했다. 체이스는 이런 조치로 최근 두 달간 토큰 사용량이 증가했는데도 지출은 감소했다고 말했다. 엔지니어 급여 대비 약 30%라는 코딩 도구 지출 비중은 정확한 집계가 아닌 추산이라고 명시했다.

많이 쓰는 사람이 언제나 더 생산적인 것도 아니었다. 그는 일부 선임 엔지니어의 높은 지출은 충분히 가치 있다고 판단했지만, 설정 실수로 비용이 폭증한 사례도 소개했다. 한두 작업에서 플러그인이 웹페이지의 스크린샷이나 DOM 구조를 매번 에이전트에 보내며 큰 반복 실행을 일으켰고, 이 일에 일주일 동안 약 4만 달러를 썼다고 설명했다.

앞으로 에이전트 비용이 인건비의 몇 배가 될지는 단정하지 않았다. 적은 인원이 많은 에이전트를 운영하는 조직을 상상할 수 있지만, 현재는 다양한 전문성을 가진 사람들의 협업과 검토가 필요하다고 말했다. 그런 운영을 잘하는 엔지니어의 보수가 오르면 비용 비율 자체는 크게 달라지지 않을 가능성도 제시했다.

수요가 커져도 전문성과 실행은 필요하다

체이스는 추론 외에도 더 많은 소프트웨어를 뒷받침할 기반 인프라와 분야별 에이전트에서 기회를 봤다. 특정 업종 하나를 지목하기보다, 기술 도입은 적지만 전문 지식이 많이 쌓인 영역에서 그 지식을 데이터와 실행 로직에 담는 접근을 중시했다.

소비자 서비스에서도 범용 에이전트와 분야별 에이전트가 함께 존재할 것으로 전망했다. 음악 서비스와 운동 서비스는 사용자에 대해 배울 수 있는 내용이 다르다. 각 서비스의 에이전트가 지식과 API를 자연어 인터페이스로 제공하고, 범용 에이전트가 이들과 상호작용하는 형태를 예상했다. 다만 에이전트가 늘릴 요청량이 하위 인프라에 어떤 영향을 줄지에 대해서는 구체적인 답을 내놓지 않았다.

기업의 성공 조건으로는 강한 기술 인력, 빠른 실행, 브랜드를 꼽았다. 먼저 주목받으면 이점이 있지만 성공을 보장하지는 않는다고 덧붙였다. 빠르게 성장했던 AutoGPT를 반례로 들며 이후의 실행이 중요하다고 설명했다.

체이스의 전망에서 큰 추론 수요는 출발점이다. 개별 에이전트의 가치는 분야에 맞는 맥락과 실행 구조, 결과를 평가하고 개선하는 과정에서 만들어진다. 라우팅과 기억도 그 업무 안에서 얼마나 잘 작동하는지로 판단해야 한다는 입장이다.