핵심 요약

  • 디오고 알메이다는 AI가 어려운 문제를 풀면서도 일상 업무를 맡지 못하는 원인으로 판단의 불안정성을 꼽았다. 그가 말하는 신뢰성은 서버 가동률이 아니라 같은 업무에서 올바른 판단을 꾸준히 내리는 능력이다.
  • 모델을 개선할 때는 학습시킬 과제를 먼저 정해야 한다고 봤다. 그다음 우선순위는 데이터, 연산량, 알고리즘 순이다.
  • 기업의 경쟁력은 자체 모델 보유보다 업무를 이해하고 자동화를 구현하는 소프트웨어에서 나올 수 있다고 주장했다.
  • AI 사용료가 내려간다고 지출이 저절로 늘지는 않는다. 자동화 프로젝트가 실제 가치를 만들어야 기업이 예산을 확대한다.
  • 공개 모델의 성능과 보안도 따로 살펴야 한다고 봤다. 벤치마크 순위뿐 아니라 배포 방식, 추가 학습, 도구 호출 감시 등을 함께 고려해야 한다고 말했다.

어려운 문제를 푸는 AI가 회계는 맡지 못하는 이유

벤처투자 팟캐스트 20VC의 진행자 해리 스테빙스는 AI 자동화 모델 Jev를 만드는 창업자 디오고 알메이다와 모델 성능, 데이터, 기업용 소프트웨어의 미래를 논의했다. 대화 내내 AI가 이미 보여준 높은 지능을 어떻게 믿고 맡길 수 있는 자동화로 바꿀지 짚었다.

알메이다는 현재 모델의 문제를 능력의 편차로 설명했다. 어려운 수학 문제를 다루는 모델도 훨씬 단순해 보이는 회계 업무에서는 안심하고 쓰기 어렵다고 봤다. 그는 이를 대부분의 순간에는 아인슈타인이지만 일부 순간에는 미스터 빈이 나오는 상황에 비유했다.

사람이 결과를 확인하는 보조 도구라면 실수를 걸러낼 여지가 있다. 소프트웨어가 뒤에서 계속 업무를 처리하려면 작은 오류 가능성도 중요해진다. 알메이다가 원하는 것은 엔지니어가 초기에 공을 들여 만든 뒤 계속 실행해 둘 수 있는 시스템이다.

그는 모델이 이미 일부 행동에서는 일관성을 보인다는 점에 주목했다. 챗봇은 대체로 문장 형태를 유지하고 정중한 이메일도 작성한다. 문제는 그 문장 안에서 내리는 판단이다. 알메이다는 무엇을 안정적으로 수행하도록 학습시키느냐가 핵심이라고 봤다.

연산량보다 먼저 정해야 할 학습 과제

알메이다가 제시한 우선순위는 올바른 과제, 데이터, 연산량, 알고리즘 순이다. 인간 피드백을 바탕으로 학습하는 RLHF와 검증 가능한 보상을 활용하는 RLVR도 서로 다른 목표와 과제 구조를 갖는다. 그는 사람에게 좋은 평가를 받거나 시험 점수를 높이는 목표가 백그라운드 업무의 안정적인 수행으로 곧바로 이어지지는 않는다고 지적했다.

새로운 과제를 만들면 필요한 데이터도 새로 정의해야 한다. 알메이다는 RLHF를 개발할 당시 모델의 답변 두 개를 사람이 비교한 선호 데이터가 인터넷이나 기업 데이터베이스에 준비돼 있지 않았다고 설명했다. 지시문을 정하고 평가자를 모집한 뒤 어떤 형태의 데이터가 필요한지 반복해서 다듬어야 했다.

그의 관점에서는 기업이 쌓아 둔 데이터가 많다는 사실만으로 학습 경쟁력이 생기지 않는다. 해당 과제를 개선할 수 있는 형태로 데이터를 구성해야 한다. 모델이 발전하면 유용한 데이터의 난도도 달라지므로 데이터 제작자는 최신 모델이 어디에서 어려움을 겪는지 알아야 한다.

AI가 생성한 합성 데이터도 마찬가지다. 알메이다는 자신의 팀이 합성 데이터를 많이 사용하지만 합성 여부 자체보다 목표 과제를 개선하는 방식이 중요하다고 말했다. 데이터의 출처를 고르기 전에 어떤 판단을 더 잘하게 만들 것인지 정해야 한다고 봤다.

그는 연산량을 늘려도 효과가 없다는 주장을 하지는 않았다. 다만 연산량만 계속 키우면 된다는 접근에 반대했다. 추가 연산으로 성능을 높이려면 그에 맞는 데이터와 과제 설계가 필요하다고 말했다.

AI 기능이 붙었지만 업무는 그대로인 소프트웨어

알메이다는 AI가 소프트웨어를 작성하는 방식은 크게 바꿨지만 사람들이 사용하는 소프트웨어 자체는 그만큼 바꾸지 못했다고 봤다. 기존 기업용 서비스 옆에 AI 기능을 붙이고 결과가 맞는지는 사용자가 확인하는 형태가 많다고 지적했다.

그는 현재 모델의 신뢰성을 고려하면 이런 선택이 합리적이라고 해석했다. 회사에 큰 손실을 줄 수 있는 판단을 모델에 맡기기는 어렵다. 대신 사용자가 결과를 검토하는 보조 기능을 제공하면 검증 부담을 사용자에게 남길 수 있다.

기존 서비스형 소프트웨어 기업에는 유리한 조건도 있다. 알메이다가 강조한 강점은 유통망보다 업무 흐름에 대한 이해였다. 고객이 어떤 일을 하고 어디에서 막히는지 알며 자동화에 필요한 초기 엔지니어링에도 투자할 수 있기 때문이다. 다만 이 조건이 대형 소프트웨어 기업의 승리를 보장한다고 보지는 않았다.

그는 AI를 사람과 같은 인터페이스를 가진 동료로만 상상하는 접근에도 반대했다. 병뚜껑을 돌리는 좁은 작업을 자동화하려고 사람 전체를 재현할 필요는 없듯이 업무도 자동화 기술의 강점에 맞게 다시 나눌 수 있다고 봤다. 사람이 하던 일을 그대로 모방하는 방식만으로는 가능한 설계의 범위를 좁힐 수 있다고 말했다.

기업의 고유한 지능은 모델 밖에도 있다

스테빙스는 기업이 자체 데이터로 모델을 학습시키고 고유한 지능을 소유해야 한다는 견해를 제시했다. 알메이다는 특정 업무에 집중한 모델이 비용을 낮추거나 좁은 영역에서 성능을 높일 가능성은 인정했다. 그러나 모든 기업이 그 경로를 따라야 한다고 보지는 않았다.

그는 모델을 둘러싼 소프트웨어에도 기업의 고유한 지능이 담길 수 있다고 주장했다. 실제 문제를 이해하고 처리 절차를 설계하고 반복 업무를 자동화하는 코드가 중요하다고 봤다. 어떤 데이터베이스를 쓰는지만큼이나 그것을 어떻게 활용하느냐가 중요하다는 비유를 들었다.

현재 보조 도구의 가치를 두고도 이견이 있었다. 스테빙스는 법률 AI 기업 하비가 깊이 있는 분야별 제품 기능을 갖췄다며 단순한 모델 포장으로 보는 시각에 반박했다. 알메이다는 자신이 하비의 사용권을 갖고 있지 않아 제품을 완전히 알지는 못한다고 전제했다. 그러면서 법률가의 생산성을 돕는 기능을 넘어 더 큰 업무 단위를 자동화하려면 훨씬 많은 엔지니어링이 필요하다고 답했다.

그가 제시한 방향은 특정 모델을 소유하는 데서 끝나지 않는다. 모델과 소프트웨어를 결합해 실제 업무를 안정적으로 끝내는 데 있다.

토큰 가격 하락이 예산 확대로 이어지는 조건

대화에서 알메이다는 AI의 지능을 하나의 숫자로 표현하는 방식에도 선을 그었다. 코딩 데이터를 늘리고 관련 과제에 집중하면 코딩 성능은 크게 좋아질 수 있지만 그렇다고 글쓰기나 다른 능력까지 같은 속도로 개선되는 것은 아니라고 설명했다.

그는 모델이 처리하는 텍스트 단위인 토큰의 가격과 벤치마크 점수만 비교해서는 업무 가치를 충분히 알기 어렵다고 봤다. 중요한 것은 해당 비용으로 어떤 일을 얼마나 안정적으로 끝낼 수 있느냐다.

그는 효율 향상이 전체 소비 증가로 이어지는 제번스의 역설에도 조건을 붙였다. 사용료가 싸져 기존 예산으로 더 많은 프로젝트를 시도할 수 있게 되는 것과 기업이 전체 AI 예산을 늘리는 것은 별개의 일이다. 프로젝트가 실제로 성공하고 충분한 가치를 보여줘야 추가 지출이 뒤따른다.

이 때문에 알메이다는 AI 수요가 계속 증가한다고 낙관하지 않았다. 일부 지출에는 뒤처질지 모른다는 불안이 작용하며 기업이 기대했던 성과를 얻지 못하면 수요가 빠르게 줄 수 있다고 봤다. 스테빙스는 현재 모델만으로도 아직 꺼내 쓰지 못한 가치가 많다는 반론을 제시했다. 알메이다도 모델의 능력이 높다는 점에는 동의했지만 그 능력을 업무 성과로 바꾸는 방식이 충분히 갖춰졌는지는 따져야 한다고 답했다.

공개 모델은 순위와 사용 방식을 함께 봐야 한다

미국과 중국의 공개 모델 경쟁에서도 알메이다는 벤치마크를 불신했다. 모델을 직접 시험할 시간이 없는 사람일수록 순위에 의존하기 쉽고 시험 점수에 맞춰 성능을 높이는 개발 방식의 영향을 크게 받는다고 봤다.

그는 미국 공개 모델이 중국 모델의 실제 지능을 따라잡기 어려울 수 있다고 추정했다. 미국 개발사들이 더 높은 윤리·법적 기준을 적용받는다는 자신의 인식이 근거였다. 다만 성능 향상이 둔화하면 작은 차이가 실사용에서는 중요하지 않을 가능성도 함께 언급했다.

보안을 논할 때는 사용 조건을 구분했다. 알메이다는 중국 모델을 별도 조치 없이 코딩 에이전트에 넣어 쓰지는 않겠다고 말했다. 동시에 모델을 그대로 사용하는 경우와 추가 학습이나 보호 장치를 적용하는 경우를 같은 위험으로 볼 수는 없다고 주장했다. 도구 호출의 안전성을 다른 모델로 분류하는 방식도 예로 들었다.

그는 공개 모델 선택을 국적이나 순위 하나로 끝낼 문제로 보지 않았다. 어떤 작업을 맡기고 무엇을 감시하며 여러 모델을 어떻게 조합하는지까지 포함하는 설계 문제로 봤다.

알메이다가 대화 내내 되돌아간 기준은 실제 업무의 안정적인 완료였다. 높은 시험 점수와 저렴한 사용료도 중요하지만 기업이 자동화를 계속 쓰고 투자를 늘리게 만드는 것은 맡긴 일을 꾸준히 끝내는 능력이라고 봤다.