핵심 요약

  • OpenAI는 컴퓨터 조작 AI가 평균적인 사람보다 빨라졌으며 숙련자보다 빠른 수준에 가까워지고 있다고 봤다. 속도는 사용자가 직접 처리할지, 에이전트에 맡길지를 가르는 기준이다.
  • 사람이 쓰는 화면을 그대로 조작하므로 별도 연결 기능이 없는 오래된 기업 소프트웨어도 자동화 대상으로 삼을 수 있다.
  • 기업 도입에는 모델의 정확도뿐 아니라 접근 가능한 앱·사이트의 제한, 작업별 승인, 실행 기록을 확인하는 기능이 필요하다.
  • 스타트업의 기회는 특정 업종의 업무를 깊이 이해하고 흩어진 소프트웨어를 연결해 고객이 쓰기 쉬운 제품으로 제공하는 데 있다.

속도가 빨라지면 위임의 기준이 바뀐다

벤처캐피털 a16z의 이번 팟캐스트에는 OpenAI에서 컴퓨터 조작 제품을 개발해 온 아리 와인스타인과 제임스 선이 출연했다. 두 사람은 AI가 사람처럼 컴퓨터를 조작할 때 어떤 업무를 맡길 수 있으며 사람이 어디에서 통제권을 가져야 하는지를 논의했다.

컴퓨터 조작 AI는 화면을 보고 앱과 브라우저를 직접 다루는 에이전트다. 와인스타인은 OpenAI의 제품이 평균적인 사람보다 빠르게 컴퓨터를 쓰는 수준에 도달했으며 숙련자보다 빠른 수준에도 가까워지고 있다고 말했다.

백그라운드에서 끝내는 일이라면 처리 시간이 조금 길어도 사용자는 다른 일을 할 수 있다. 하지만 결과를 기다려 다음 단계로 넘어가야 하거나 제대로 수행하는지 지켜봐야 한다면 속도가 중요해진다. 직접 했으면 더 빨랐겠다는 느낌이 들면 위임의 이점이 줄어들기 때문이다.

와인스타인은 최신 모델이 같은 작업에 쓰는 추론용 토큰을 줄여 평균적으로 빨라졌고 창의적인 작업과 세부적인 신뢰성도 나아졌다고 평가했다. 다만 모든 작업에 같은 모델이 필요한 것은 아니다. 그는 가격과 품질이 다른 모델을 제공하고 있으며 저렴한 모델도 컴퓨터 조작 능력이 개선되고 있어 작업별 선택이 더 다양해질 것으로 봤다.

오래된 소프트웨어를 그대로 연결하는 힘

와인스타인이 강조한 컴퓨터 조작의 장점은 사람이 사용하는 인터페이스를 그대로 쓸 수 있다는 범용성이다. 개발자가 별도 연결 기능을 만들지 않아도 에이전트가 사람이 하던 방식으로 프로그램을 다룰 수 있다는 의미다.

선은 기업에 15~20년 동안 사용한 소프트웨어가 많고 이런 프로그램에는 AI와 연결할 도구가 없는 경우가 있다고 설명했다. 화면 구성도 익숙하지 않으면 사람이 핵심 기능을 찾기 어렵다. 일부 기업은 이런 프로그램의 사용법을 모델에 가르치는 작업 지침을 만들고 있다고 했다.

컴퓨터 조작은 독립적인 작업 종류라기보다 복잡한 업무를 끝내기 위한 수단이다. 여러 도구를 거쳐야 하는 업무라면 그중 일부 단계에서 화면 조작이 필요해질 수 있다. 선은 아주 간단해서 버튼 두 개만 누르면 되는 일은 직접 처리하기도 하지만 속도가 더 빨라지면 이런 구분도 달라질 수 있다고 봤다.

더 빠른 에이전트에는 더 분명한 통제가 필요하다

에이전트가 빨라질수록 사람이 모든 행동을 실시간으로 지켜보기는 어려워진다. 선은 이때 기업이 어떤 행동을 자동으로 허용하고, 어디에서 사람의 승인을 받을지 정해야 한다고 말했다.

그가 소개한 통제는 두 층으로 나뉜다. 먼저 에이전트가 사용할 수 있는 앱과 웹사이트를 명시적으로 제한한다. 민감한 데이터나 특정 프로그램은 모델이 스스로 판단해 접근하는 대신 관리자가 정한 경계 밖에 두는 방식이다.

다음은 행동별 승인이다. 파일을 내려받거나 올릴 때, 새로운 사이트에 접속할 때 사람의 승인을 요구하도록 설정할 수 있다. 선은 각 행동이 안전하고 사용자가 적은 의도에 맞는지 별도 모델이 살피는 Guardian이라는 자동 승인 시스템도 소개했다.

모델 자체의 안전성도 중요하다. 선은 외부 콘텐츠에 숨은 지시로 에이전트를 잘못 유도하는 프롬프트 인젝션에 대한 저항성과 의도하지 않은 행동을 피하는 능력이 개선됐다고 말했다. 동시에 기업에는 이런 성능을 보여주는 내부·외부 평가 결과와 관리자가 직접 설정할 수 있는 제한이 필요하다고 설명했다.

제품 설계도 신뢰 형성에 영향을 준다. 사용자가 원하면 에이전트의 커서를 보며 작업을 따라가고 사용하는 모드에 따라 새 앱이나 사이트에 접근하기 전에 허락을 받도록 하는 식이다.

당장의 기회는 조달·재무·영업의 번거로운 연결 작업이다

선은 기업의 유망한 활용처를 반복적인 업무 자동화와 더 야심 찬 창작·설계 작업으로 나눴다. 현재 기업이 먼저 주목하는 쪽은 반복 업무다.

조달 사례에서는 여러 팀이 수천 행짜리 스프레드시트에 필요한 실험 장비를 적는다. 운영팀이 이를 내부 조달 시스템에 옮기고 조달팀은 시스템에서 나온 내역을 바탕으로 공급업체에 연락한다. 선은 이처럼 사람이 여러 화면 사이에서 정보를 옮기는 과정을 컴퓨터 조작으로 자동화할 수 있다고 설명했다.

재무에서는 월말에 여러 장부의 내역을 대조하는 업무를 들었다. 일부 금융 소프트웨어에는 데이터를 빠르게 가져올 API, 즉 프로그램끼리 정보를 주고받는 인터페이스가 없다. 이때 에이전트가 화면에서 장부를 살펴보고 내역을 대조한 뒤 이상한 항목을 사람에게 알리거나 추가로 조사할 수 있다. 영업에서도 여러 도구로 잠재 고객 정보를 모아 고객관계관리 시스템인 CRM에 입력하는 흐름이 대상이다.

시장 조사 사례도 구체적이다. 선은 개인적으로 배드민턴 영상 분석 소프트웨어를 만들면서 에이전트가 다른 종목의 관련 서비스에 가입하고 직접 사용한 뒤 화면을 캡처하고 개선 의견을 내도록 했다고 말했다.

회로 설계, 건축, 하드웨어 엔지니어링, 게임 디자인은 앞으로 기대하는 활용처로 제시했다. 이미 널리 정착한 기업 사례와 향후 가능성은 구분했다.

실행을 맡겨도 사람이 쓰는 화면은 남는다

두 출연자는 기존 소프트웨어의 자동화와 새로운 소프트웨어의 등장이 함께 이어질 것으로 봤다. 와인스타인은 현재 운영되는 프로그램 중 수십 년 전에 만든 것도 많아 한꺼번에 사라지지는 않을 것이라고 말했다.

그렇다고 모든 제품이 에이전트끼리만 대화하는 형태가 되는 것도 아니다. 선은 아내가 즐기는 보드게임의 전술 연습 프로그램을 직접 만든 경험을 소개했다. 배우는 방식에 맞춰 화면과 연습 과정을 설계했고 학습자가 직접 플레이하는 경험은 여전히 중요했다. 에이전트는 이후 실수를 정리하고 배운 내용을 요약하는 역할을 맡을 수 있다.

기업에서도 화면의 역할은 남는다. 진행자는 결제 실행을 에이전트에 맡기더라도 사람이 왜 그 결제가 이뤄졌는지 확인하고 지급 시점이나 할인 조건을 설정할 수 있어야 한다고 짚었다. 실행 과정을 모두 따라가는 대신 목표를 정하고 판단 근거와 기록을 확인하는 인터페이스가 필요하다고 봤다.

공개 웹에는 별도의 이해관계도 있다. 선은 광고로 수익을 내는 사이트에서 에이전트의 방문이 매출로 이어지지 않을 수 있다고 말했다. 반면 사람이 상품이나 여행지를 둘러보고 번거로운 마무리 작업만 에이전트에 맡기는 협업 방식도 가능하다고 봤다.

스타트업의 기회는 업종을 이해하고 끝까지 연결하는 데 있다

선은 대형 AI 기업이 성장해도 해결할 문제에 비해 내부 팀의 여력이 부족하다고 말했다. 특정 산업의 규제, 고객 확보 방식, 고객 지원을 깊이 이해하는 스타트업에는 여전히 기회가 있다고 봤다.

그가 소개한 사례는 음식점 그룹을 돕는 기업이다. 창고 사진을 분석하고 다음 날 방문객 전망과 비교해 부족할 식재료를 파악한 뒤 조달 소프트웨어에서 주문한다. 이어 전사적자원관리 시스템인 ERP에서 필요한 직원의 근무 일정도 조정한다. 여러 프로그램에 나뉜 업무를 하나로 연결하는 데 컴퓨터 조작을 쓰는 사례다.

선은 일반적인 중소기업 고객에게는 도구가 무엇을 할 수 있는지 이해하는 일부터 어렵다고 설명했다. 도구를 적절히 연결하고 배포하고 계속 지원하는 일도 각각 남아 있다. 모델을 제공하는 것과 고객의 전체 업무를 작동시키는 제품을 만드는 것은 서로 다른 과제다.

협업 방식 역시 제품의 형태에 따라 달라진다. 팀원이 쓰는 도구를 보조할 것인지, 클라우드에서 기존 소프트웨어를 대신 조작할 것인지에 따라 사람에게 개입을 요청할 시점이 달라진다. 실패나 성공을 알릴 때도 모든 사건을 통지하기보다 사용자가 무시하지 않도록 요약하는 설계가 필요하다고 와인스타인은 말했다.

다음 과제는 일관된 사용 경험이다

선은 현재 컴퓨터 조작 제품의 복잡성이 사용자에게 드러난다고 지적했다. 브라우저 확장 기능, 데스크톱 앱 안의 브라우저, 클라우드 컴퓨터가 서로 다른 로그인 상태와 비밀번호를 쓰면 사용자는 혼란스러워진다. AI가 컴퓨터를 대신 쓴다는 개념은 쉬워도 실제 사용 환경은 이해하기 어려워질 수 있다고 봤다.

와인스타인은 사용자가 매번 에이전트를 떠올려 호출해야 하는 부담도 줄어들기를 기대했다. 선이 든 사례에서는 에이전트가 받은편지함에는 있지만 일정표에는 없는 외부 회의 초대를 찾아 알렸다. 또 업무 메시지에서 중요한 피드백을 고르고 관련 오류 기록을 확인해 분석하는 과정도 연결했다.

이들이 제시한 방향은 더 빠른 실행, 사람과의 실시간 협업, 사용자의 상황을 먼저 살피는 에이전트다. 동시에 목표를 정하고 방향을 조정하는 역할은 사람에게 남겨뒀다.

대화에서 제시한 기업용 컴퓨터 조작 AI의 과제는 실행 속도와 통제 방식을 함께 설계하는 일이다. 기존 프로그램 사이의 번거로운 작업을 맡기면서도 사람은 필요한 순간에 개입하고 결과의 이유를 확인할 수 있어야 한다.