핵심 요약

  • 트래젝터리는 기업이 실제 업무에서 얻은 경험과 피드백을 AI 모델 개선에 활용하도록 학습·평가·배포를 한곳에 묶었다. 사용 중에 계속 배우는 완전한 지속 학습은 앞으로의 목표다.
  • 출발점은 에이전트의 작업 기록, 좋은 결과를 판단할 기준, 작업을 재현할 환경이다. 특히 환경 구성과 결과 평가에는 여전히 수작업이 많이 든다.
  • 공동창업자 로낙 말데는 법률 AI 기업 하비와 금융 에이전트 기업 로고가 자체 데이터로 모델의 정확도와 비용 효율을 개선했다고 밝혔다.
  • 장기적으로는 모델뿐 아니라 에이전트의 실행 구조도 개선하려 한다. 말데는 그 과정에서 사람이 목표와 평가 기준을 정하는 역할을 강조했다.

똑똑한 모델이 기업의 경험을 배우려면

세쿼이아 캐피털이 공개한 이번 대담에서 트래젝터리 공동창업자 로낙 말데는 기업의 실제 업무 경험을 AI 학습에 연결하는 방법을 설명했다. 이미 지능적인 모델을 각 기업이 원하는 업무에 맞춰 어떻게 계속 개선할지가 대화의 중심이었다.

말데가 생각하는 지속 학습은 사람이 살아가면서 경험을 쌓고 행동을 바꾸는 방식에 가깝다. 반면 현재의 AI 에이전트는 영리하게 일을 처리해도 그 경험을 다음 학습에 반영하려면 별도의 대규모 일괄 업데이트가 필요하다. 그는 이를 종이 지도를 받아 여행하다가 경로를 바꾸려면 다시 지도 제공처에 연락해야 했던 시절에 비유했다.

트래젝터리의 첫 목표는 모든 기업이 모델을 학습하고 맞춤화할 수 있도록 접근성을 높이는 것이다. 말데는 이 단계를 누구나 온라인으로 지도를 구할 수 있게 된 시기에 빗댔다. 최종 목적지는 운행할 때마다 경로와 교통 정보를 갱신하는 지도 서비스처럼 실제 사용 경험이 계속 학습으로 이어지는 시스템이다.

그는 이를 위해 모델 구조도 바뀌어야 한다고 봤다. 다만 트래젝터리는 기초 연구의 성과를 실제 업무에 연결하는 층을 맡으려 한다. 기업은 좋은 결과가 무엇인지 알고 있지만 그 판단을 모델 개선에 반영하기는 어렵다고 봤다.

작업 기록을 학습 재료로 바꾸는 세 단계

말데는 윈드서프에서 제품 안의 수정과 재시도 기록을 모델 학습에 활용했던 경험을 소개했다. 공동창업자들도 로봇의 실제 작동 경험이나 멀티모달 모델에 대한 예술가의 피드백을 학습에 연결하는 일을 했다. 분야는 달라도 실제 현장의 반응을 모델 개선에 반영한다는 과제는 같았다.

이를 제품으로 만들려면 먼저 트레이스, 즉 에이전트가 어떤 과정을 거쳐 작업했는지 보여주는 실행 기록이 필요하다. 주 에이전트의 호출뿐 아니라 하위 에이전트의 활동, 제품 안에서 일어난 일, 사용자의 피드백까지 하나의 시간 순서로 추적할 수 있어야 한다.

두 번째는 그 기록을 재현하는 일이다. 실제 서비스에서 관찰한 작업을 다시 실행할 수 있어야 평가와 학습에 쓸 수 있다. 트래젝터리는 고객이 실행 기록과 도커 파일 같은 환경 명세를 가져오면 작업을 재현할 수 있도록 연결한다고 설명했다.

세 번째는 작업 경험을 모델 개선으로 바꾸는 학습 체계다. 학습 과정에서 무엇을 줄이고 어떤 결과에 보상을 줄지 정하는 함수와 알고리즘이 여기에 포함된다. 트래젝터리는 기업이 이 복잡한 내부 구조를 직접 구축하지 않아도 되도록 만드는 데 집중한다.

회사 이름인 트래젝터리도 작업 과정을 뜻하는 말에서 나왔다. 말데는 AI가 생성한 토큰의 양보다 경제적 가치가 있는 작업 하나와 그 수행 과정을 중요한 단위로 보고 싶다고 했다.

환경 재현과 평가에 드는 수작업을 줄인다

현재 제품에서는 고객이 실행 기록, 보상 기준, 실행 환경을 제공해야 한다. 이 가운데 특히 어려운 부분은 실제 서비스와 일치하는 환경을 만드는 일과 결과에 점수를 매기는 일이다. 법률이나 투자은행 업무에는 정답 여부를 완벽하게 검증할 수 있는 보상 기준이 없는 경우도 많다.

말데는 환경 재현의 부담을 줄이기 위해 GRPO라는 강화학습 알고리즘을 수정하고 있다고 설명했다. 그가 소개한 기존 방식에서는 같은 과제를 8번이나 16번 수행한 결과를 묶어 비교한다. 게임의 같은 단계를 여러 차례 플레이한 뒤 결과를 비교하는 것과 비슷하다.

트래젝터리는 이를 한 번의 수행 경험에서도 배울 수 있는 ‘그룹 크기 1’ 방식으로 바꾸고 있다. 말데는 서로 다른 작업에서 얻은 1만 개의 실행 과정을 각각 한 번의 경험으로 학습하는 데 진전이 있었으며 이 방식이 반복 실행용 환경과 관련 인프라의 필요를 없앤다고 밝혔다.

평가에도 비슷한 접근을 시도한다. 1만 개의 기록을 사람이 모두 평가하는 대신 전체를 대표할 만한 100개를 골라 고객이 상세한 평가 기준을 제공한다. 이후 그 사례를 배운 평가 모델이 나머지 기록에도 기준을 적용하도록 한다.

말데는 이를 완벽한 해법으로 보지는 않았다. 그가 원하는 최종 화면은 에이전트가 잘하는 일과 못하는 일을 확인하고 개선할 항목을 표시한 뒤 학습을 시작하는 형태다. 좋은 결과의 기준은 사람이 정하되 그 기준을 학습에 반영하는 노동은 줄이는 것을 목표로 연구한다.

하비와 로고가 자체 모델에서 얻은 것

법률 AI 기업 하비는 폐쇄형 최첨단 모델 위에 제품을 구축해 왔다. 말데는 하비가 법률사무소의 요구와 업무의 세부 맥락을 담은 데이터를 보유하고 있었지만 기존 모델을 사용하는 것만으로는 그 데이터를 충분히 활용하기 어려웠다고 설명했다.

하비는 전문가 지식을 반영한 법률 에이전트 벤치마크를 만들고 트래젝터리로 모델을 학습했다. 말데에 따르면 해당 평가에서 오픈소스 모델의 정확도는 약 4%에서 약 18%로 높아졌다. 학습한 모델의 비용은 최첨단 모델의 약 6분의 1이었다. 그는 개선 여지가 여전히 크지만 비용이 낮아지면 같은 작업에 더 많은 토큰을 사용할 수 있다고 덧붙였다.

금융 에이전트 기업 로고가 원한 것은 장황한 답변보다 간결하고 명확하게 필요한 일을 수행하는 모델이었다. 말데는 로고가 자체 데이터를 활용해 같은 작업에 쓰는 토큰의 효율을 몇 배 높이고 비용과 처리 시간도 줄였다고 밝혔다.

두 사례에서 각 기업이 원하는 성능은 서로 달랐다. 법률 업무의 전문적인 판단 기준과 금융 업무의 간결한 수행 방식은 범용 모델 하나를 그대로 사용하는 것만으로 충분히 반영하기 어렵다. 트래젝터리는 고객이 가진 데이터와 평가 기준을 맞춤형 학습에 연결하려 한다.

학습·평가·배포를 하나의 제품에 묶는다

말데는 윈드서프에서 최첨단 모델을 학습할 수 있는 단계에 이르기까지 6~9개월이 걸렸다고 말했다. 이런 작업에는 대규모 연구팀과 수억 달러 규모의 연구개발·컴퓨팅 투자가 필요했다고 설명했다. 트래젝터리는 여러 기업이 반복하는 이 과정을 제품으로 묶으려 한다.

공개한 플랫폼에서는 고객이 에이전트 실행 기록과 원하는 결과의 기준을 가져와 모델을 학습하고 같은 곳에서 평가와 배포까지 진행할 수 있다. 배포한 모델에서 새 기록을 모아 다시 학습으로 연결하는 순환을 만드는 것이 핵심이다.

현재 주요 고객은 에이전트 실행 기반을 이미 갖춘 AI 중심 기업이다. 말데는 하비와 로고 외에 엔비디아 같은 대기업도 플랫폼을 사용하고 있다고 밝혔다.

그다음 목표는 하네스, 즉 모델이 도구와 하위 에이전트를 사용하며 작업하도록 구성한 실행 체계까지 개선하는 것이다. 그는 반복한 일을 더 빠르고 저렴하며 안정적으로 처리하는 데는 모델 학습이 중요하고 이전에는 못 하던 일을 가능하게 하는 데는 하네스도 중요하다고 봤다.

예를 들어 일부 어려운 작업에는 최첨단 모델을 쓰고 나머지에는 자체 학습한 효율적인 모델을 배정하는 구상을 제시했다. 그가 언급한 10%와 90%의 작업 배분은 이런 미래 운영 방식의 예시다.

스스로 배우더라도 사람이 방향을 정한다

말데가 보는 다음 연구 과제는 호기심이다. 현재의 에이전트는 작업을 수행하지만 사람이 경험에서 세상의 작동 방식을 익히듯 지식을 축적하지는 못한다고 봤다. 공을 던져 보고 결과를 관찰하면서 감각을 익히는 것처럼 자신이 모르는 부분을 알아내고 행동의 결과를 탐색하는 능력이 필요하다고 말했다.

그는 이 방향을 모델이 스스로 AI 연구자가 되어 자신을 개선하는 재귀적 자기 개선과 구분했다. 말데가 지향하는 지속 학습은 사람과 상호작용한 경험을 바탕으로 사람이 정한 업무를 더 잘 수행하도록 배우는 방식이다. 알고리즘 안에 사람이 계속 관여할 수 있는 구조를 남겨야 한다고 강조했다.

이 구상에서는 제품을 만드는 사람의 역할도 달라진다. 말데는 모델과 하네스가 경험을 바탕으로 개선되는 미래에 제품 개발자가 정원사와 비슷해질 수 있다고 봤다. 식물의 성장을 하나하나 대신하기보다 지지대를 세워 자랄 방향을 잡는 역할이다.

트래젝터리의 현재 출발점은 기업별 모델 학습을 쉽게 만드는 제품이다. 실제 업무에서 계속 배우는 에이전트까지 가려면 환경 재현과 평가의 부담을 줄이고 사람의 목표를 학습에 반영하는 과제가 남아 있다. 이번 대담에서 말데는 기업이 쌓아 온 경험과 좋은 결과를 판단하는 기준을 학습에 연결해야 한다고 반복해 강조했다.