핵심 요약

  • 박스 CEO 아론 레비는 AI 모델을 기업의 실제 업무에 연결하는 과정에 큰 사업 기회가 있다고 본다. 데이터 시스템 연동, 사람의 검토, 기존 시스템과 업무 절차의 변경이 필요하기 때문이다.
  • 박스는 기업 문서에 에이전트를 적용해 질문에 답하고, 정보를 추출하고, 업무 단계를 자동화하고 있다. 레비가 제시한 계약서 분석과 은행 고객 등록 사례는 각각 활용 방식과 지향점을 보여준다.
  • 기업이 쓸 모델은 작업별 정확도와 비용으로 판단해야 한다는 것이 레비의 입장이다. 박스는 자체 평가를 거쳐 기본 모델을 정하고 고객에게도 모델 선택권을 제공한다.
  • 레비는 코딩 분야보다 다른 지식 업무에 AI가 확산되는 데 시간이 더 걸릴 것으로 본다. 흩어진 데이터, 접근권한, 외부 고객의 응답처럼 모델 성능만으로 풀 수 없는 제약이 있다.

모델과 기업 업무 사이의 간극

레비는 AI 모델의 능력이 높아져도 이를 기업의 업무에 연결하는 소프트웨어가 필요하다고 주장한다. 은행이나 제약회사, 법률회사의 업무에는 별도 데이터 시스템과 기존 절차가 있다. 중간에 사람의 판단이 필요하고, 다음 단계가 시작될 때까지 기다려야 하는 경우도 있다. 범용 챗봇이 질문에 답하는 것만으로는 이런 과정을 모두 처리하기 어렵다는 설명이다.

그는 이 간극을 메우는 기업이 특정 분야의 데이터와 업무 지식을 쌓으면, 나중에는 일부 작업에 맞춘 모델까지 다룰 수 있다고 본다. 다만 모델 제공사가 응용 소프트웨어 영역으로 얼마나 확장할지, 그 영역을 다른 기업에 얼마나 열어둘지는 앞으로의 변수로 남겨뒀다. 레비 자신도 응용 소프트웨어에 사업을 건 당사자라는 점을 인정했다.

박스가 문서에 에이전트를 적용하는 방식

박스는 기업이 클라우드에서 문서를 저장·공유·관리하도록 출발했다. 레비에 따르면 박스가 다루는 파일은 수천억 개에 이르며, 그 안에는 계약서와 연구 자료, 대출 문서 같은 정보가 들어 있다. 그러나 파일을 하나씩 열어보지 않으면 그 내용을 파악하기 어렵다. 박스는 에이전트가 문서에 관한 질문에 답하고, 필요한 정보를 추출해 구조화된 데이터로 만들고, 업무 단계를 자동화하도록 제품을 구축했다.

레비가 든 대표적인 활용 방식은 방대한 계약서나 연구 문서에서 핵심 항목을 뽑아 분석하는 것이다. 모든 문서를 사람이 읽기에는 비용이 너무 크다는 문제에서 출발한다. 한편 은행 고객 등록 과정의 자동화는 그가 제시한 미래의 지향점이다. 자동화할 수 있는 단계를 에이전트가 처리하고 추가 확인이 필요한 단계에서 사람에게 넘겨, 현재 1~2주 걸리는 왕복 절차를 약 한 시간으로 줄이는 모습을 그렸다. 이를 이미 달성한 성과로 말하지는 않았다.

박스의 에이전트는 자체 검색·파일 시스템을 이용해 여러 검색 결과의 관련성을 다시 판단하고 필요한 문서 내용에 접근한다. 레비는 외부 모델에 박스의 API만 연결한 경우와 비교해 정확도와 응답 속도에서 더 나은 결과를 봤다고 설명했다. 이는 박스가 자체 업무에 맞춰 조정한 결과에 관한 그의 설명이지, 모든 기업 시스템에 적용되는 비교 결과는 아니다.

정확도와 비용에 따라 모델을 고른다

박스는 생명과학, 금융, 공공 부문 등에서 문서와 질문을 주고 답을 평가하는 테스트를 운영한다. 박스 직원들의 실제 데이터 활용 방식에 맞춘 별도의 평가도 한다. 레비에 따르면 이 결과와 비용·정확도 기준으로 기본 모델을 정하며, 고객은 다른 모델을 선택할 수도 있다.

문서에서 데이터를 대량 추출하는 고객은 모델별 결과를 직접 비교하기도 한다. 레비는 원하는 비용 수준에서 추출 정확도 98%를 얻을 수 있는지 확인하는 사례를 들었다. 고객 데이터에 맞춰 여러 모델을 시험하는 직원의 지원도 있다고 했다. 그에게 중요한 것은 특정 모델을 고정해 쓰는 일보다 작업에 맞는 결과를 얻는 일이다.

가중치가 공개된 모델의 사용은 앞으로 늘 것이라는 전망도 내놨다. 다만 현재는 토큰 사용량이 더 많아지거나 출력이 불안정한 경우가 있다고 짚었다. 작업이 안정되면 비용이 더 낮거나 추가 학습으로 성능이 좋아지는 경우에 해당 작업을 공개 가중치 모델로 옮길 수 있다는 설명이다. 복잡한 판단에는 고성능 모델을 쓰고 반복적인 하위 작업에는 저렴한 모델을 쓰는 식의 조합도 제시했다.

기업 데이터의 접근권한이 만드는 제약

대담에서는 기업의 정보를 모델이 어떻게 기억해야 하는지도 다뤘다. 모델의 가중치에 정보를 반영하는 방식과, 필요할 때 자료를 찾아 문맥으로 제공하는 방식 가운데 무엇이 적합한지는 데이터의 변화 속도와 성능 향상을 따져야 한다는 것이 레비의 견해다.

특히 접근권한은 어려운 문제다. 레비는 서로 경쟁하는 고객의 사건을 맡은 법률회사에서 담당자별로 볼 수 있는 문서가 엄격하게 나뉘는 사례를 들었다. 담당자가 프로젝트에 추가되거나 빠질 때 권한도 바뀐다. 이런 환경에서는 한 사람이나 조직의 정보를 모델에 반영하는 방식이 권한 변경을 어떻게 따를지 살펴야 한다. 그는 접근 제한이 덜한 업무라면 조직에 특화된 모델이 유용할 가능성도 열어뒀다.

기록 시스템과 보이지 않는 에이전트

레비는 기업의 데이터와 업무를 관리하는 ‘기록 시스템’ 제공사에 두 가지 과제가 있다고 본다. 자기 제품의 업무를 잘 처리하는 에이전트를 만들면서, 외부 에이전트가 사용할 수 있도록 API도 열어야 한다는 것이다. 그가 든 사례는 문서가 보존 정책에 맞는지 살피고 보관이나 법적 보존 조치가 필요한 때를 알려주는 상시 에이전트다. 이는 고객의 제안에서 나온 활용 구상으로 소개됐다.

그는 대화창이 질문이나 일회성 요청을 처리하는 수단으로 남겠지만, 기업 업무의 상당 부분은 백그라운드에서 진행될 것이라고 예상한다. 계약서를 검토하거나 보안 사건을 분류한 뒤 사람에게는 검토할 작업이 목록으로 나타나는 방식이다. 이를 위해서는 채팅창 외에도 업무에 맞는 대시보드, 대기열, 작업 목록이 필요하다고 봤다.

코딩 밖으로 확산되는 데 시간이 걸리는 이유

레비는 코딩 에이전트의 빠른 도입을 다른 지식 업무에 그대로 대입하기 어렵다고 설명했다. 코딩에서는 결과물인 코드가 컴퓨터에서 바로 다뤄지고, 이용자가 연결 오류 같은 기술 문제를 직접 해결할 수 있다. 반면 영업 담당자의 성과는 고객의 답변, 회의 일정, 구매 예산에도 좌우된다. 자동화 도구가 좋아져도 이런 외부 조건을 없앨 수는 없다.

데이터를 연결하는 일도 다르다. 코드가 한 저장소에 모여 있는 경우와 달리, 기업의 지식은 사내 시스템과 오래된 파일 공유 공간에 흩어져 있을 수 있다. 담당자와 에이전트의 접근권한도 각각 맞춰야 한다. 레비는 이런 구현과 업무 변경 때문에 기업 AI의 확산이 기술 업계의 기대보다 오래 걸릴 것으로 본다.

박스 내부의 경험도 같은 문제를 보여준다. 레비는 회사 문서가 박스에 모여 있어 에이전트가 활용하기 쉬운 편이라고 설명하면서도, 단순히 토큰을 많이 쓰는 사람을 성과자로 보지는 않는다고 했다. 사용량을 살펴 유용한 업무 방식을 찾으면 다른 직원에게 시연하고 공유한다. AI로 제품을 만드는 속도가 빨라진 만큼, 그는 실제 고객에게 제품을 전달하고 기업 업무에 정착시키는 능력이 중요해졌다고 주장한다.

결론

레비의 설명에서 기업 AI 도입의 핵심은 모델 하나의 성능이 아니다. 문서와 권한을 연결하고, 작업별 정확도와 비용을 평가하며, 사람의 검토가 필요한 지점을 업무 절차에 반영하는 일이다. 박스의 사례는 그 과정에 제품과 운영상의 일이 얼마나 남아 있는지를 보여준다.