핵심 요약

  • 브렛 애드콕은 AI가 물리적 환경에서 일하는 로봇과 사람의 디지털 작업을 돕는 비서, 두 방향으로 발전할 것으로 전망한다.
  • 그가 이끄는 HARK는 화면을 보고 마우스와 키보드로 웹을 조작하는 에이전트를 개발 중이다. 연구용 미리보기를 공개했지만, 개인의 일을 폭넓게 맡는 비서는 아직 완성되지 않았다.
  • Figure 로봇은 물류 현장에서 소포를 분류하는 작업을 수행했다. 애드콕은 고객이 요구한 소포당 3초보다 빠른 2.9초 간격으로 200시간 연속 작업했다고 설명했다.
  • Figure가 목표로 하는 낯선 가정에서의 자율 작업은 여전히 해결 과제다. 장소와 조명, 물건이 달라지면 기존 학습 데이터만으로 대응하기 어렵다는 것이다.

AI는 물리적 노동과 디지털 작업으로 향한다

애드콕은 AI가 인터넷보다 훨씬 큰 변화를 가져올 것이라고 전망한다. 이는 그의 예측이지 확인된 시장 규모가 아니다. 그가 제시한 첫 방향은 사람 형태의 로봇이 가사, 물류, 의료 등 물리적 환경에서 일하는 것이다. Figure는 이를 위한 휴머노이드 로봇을 개발한다.

두 번째 방향은 사용자의 계정과 기억에 접근하고, 대화하면서 컴퓨터 작업까지 수행하는 디지털 비서다. 애드콕이 설립한 HARK는 이쪽에 집중한다. 그는 현재의 챗봇과 코딩 에이전트가 유용하지만, 개인의 여러 일을 지속적으로 맡는 비서와는 거리가 있다고 본다.

HARK가 웹 화면을 직접 다루려는 이유

애드콕은 범용 디지털 비서라면 금융 모델 작성부터 항공편 예약, 음식 주문까지 사용자가 컴퓨터로 하는 일을 처리해야 한다고 말한다. 웹사이트마다 외부 프로그램이 연결할 수 있는 통로인 API가 있는 것은 아니므로, 화면을 보고 커서를 움직이며 키보드를 쓰는 능력이 필요하다는 판단이다.

HARK는 에이전트마다 가상 컴퓨터를 마련하고, 그 안에서 화면을 보며 작업하도록 설계했다. 애드콕은 최근 컴퓨터 사용 모델의 연구용 미리보기를 공개했으며, 성능 향상의 한 요인으로 자체 강화학습 과정을 들었다. 다만 인터뷰에서는 그 학습법의 세부 내용이나 독립적으로 검증된 성능 수치를 제시하지 않았다.

그는 HARK를 이용해 커피를 주문하고 이메일·메신저·할 일을 관리한다고 설명했다. 이는 자신의 사용 사례다. 개인 비서라는 구상이 널리 작동하려면 컴퓨터 조작뿐 아니라 지속적인 기억, 음성 대화, 시각 이해도 개선해야 한다고 덧붙였다.

새 기기는 무엇을 대체해야 하나

애드콕은 AI용 기기의 중심을 안경이나 펜던트 같은 보조 기기보다 기존 컴퓨터와 휴대전화를 대체할 수 있는 제품에서 찾는다. HARK가 여러 기기를 시제품으로 만들고 시험하고 있지만, 인터뷰에서 최종 형태는 공개하지 않았다.

그는 기기가 사용자의 상황을 이해하고 앱을 하나씩 조작하는 수고를 줄이려면 기존 제품보다 훨씬 나은 경험을 제공해야 한다고 주장한다. 현재 사용하는 스마트 안경에 대해서는 휴대전화 연결에 의존하고 사용 과정이 번거롭다는 불만을 밝혔다. 이는 해당 제품에 대한 그의 평가이며, 새 기기가 그 문제를 해결했다는 뜻은 아니다.

Figure가 먼저 겨냥한 현장 작업

애드콕에 따르면 Figure 로봇은 현재 주로 제조와 물류 작업에 투입된다. 그는 고객의 실제 작업에 가까운 사례로 컨베이어 벨트의 소포 분류를 들었다. 고객이 요구하는 속도는 소포당 3초이고, 초기 필요 작업량은 하루 5시간가량, 주 5일이라고 설명했다. Figure는 같은 작업을 200시간 연속으로 수행하며 소포당 2.9초를 기록했다고 주장한다. 고객이 인력 부족과 높은 이직률 때문에 자동화를 찾고 있다는 설명도 덧붙였다.

Figure는 시험·연구용 로봇과 고객에게 보내는 로봇을 모두 생산한다. 애드콕은 Figure 3의 엔지니어링 검증 단계 로봇을 약 1천 대 만들었고, 인터뷰가 이뤄진 주에 세 번째 고객에게 로봇을 보냈다고 말했다. 이 수치를 고객에게 판매·배치된 로봇 1천 대로 해석할 수는 없다.

그가 꼽은 핵심 제약은 생산량보다 로봇의 범용 지능이다. 정해진 현장에서 소포를 분류하는 것과 처음 보는 집에서 다양한 일을 하는 것은 다른 문제라는 설명이다.

낯선 집에서 빨래를 접기 어려운 까닭

애드콕은 Figure가 카메라 영상을 받아 모터 동작으로 연결하는 방식과 빨래 접기를 이미 구현했다고 설명했다. 그러나 테이블 높이, 조명, 옷의 종류가 다른 집에서는 모델이 학습하지 못한 상황을 만난다. 이런 환경의 데이터는 인터넷에서 충분히 구하기 어려워 직접 수집해야 한다는 것이다.

그가 제시한 목표는 감독 없이, 처음 들어간 집에서 여러 날에 걸쳐 작업하는 로봇이다. 인터뷰 당시 그는 그 목표가 진행 중이라고 평가하면서도 낯선 환경에 적응하는 일이 가장 어렵다고 인정했다. 음성과 지속적인 기억을 갖춘 AI 비서 역시 가까운 시기의 목표로 제시했지만, 현재 음성 시스템의 기억과 도구 사용에는 한계가 있다고 말했다.

애드콕의 구상은 웹을 자유롭게 쓰는 디지털 비서와 새 환경에서 일하는 로봇으로 이어진다. 인터뷰에 나온 소포 분류와 개인 사용 사례는 진행 상황을 보여주지만, 두 시스템이 범용적으로 작동한다는 증거로 제시되지는 않았다.