핵심 요약

  • 범용 모델의 로봇 적용: 대규모 언어 모델(LLM)이 다양한 로봇의 역량을 크게 향상시킬 수 있다
  • 코드 기반 접근법: 로봇은 직접 명령 대신 LLM이 생성한 코드를 통해 복잡한 작업을 수행할 수 있다
  • 시각-언어-행동 모델(VLA): RT-2와 같은 초기 모델들이 인터넷 규모 데이터로 훈련되어 새로운 가능성을 열었다
  • 빠른 기술 진전: 최신 모델들의 지연시간이 매월 약 2배씩 개선되고 있어 실시간 제어가 가능해지고 있다

LLM과 로봇 제어의 만남

MIT 필립 이솔라 교수는 최근 로봇 사용 에이전트의 시대에 접어들었을 가능성을 제시했습니다. 이 개념을 구현하는 선도적 기업들이 등장했습니다.

Waddle Labs 는 LLM이 로봇을 효과적으로 제어하도록 돕는 하네스를 개발하고 있으며, 이를 통해 수집한 데이터로 더 나은 모델을 훈련합니다. Robocurve 는 로봇과 모델을 평가하는 물리 AI 전문 회사입니다. 두 회사의 최근 영상들은 LLM이 뚜껑을 열고, 로봇 간 통신을 하며, 펜 캡을 여는 작업을 수행하는 모습을 보여주며 큰 화제를 모았습니다.

초기 VLA 연구에서 배운 교훈

RT-2 논문은 로봇 제어 분야의 선구적 성과입니다. 이 모델은 인터넷 규모로 훈련된 언어 모델 을 사용하여 로봇을 제어했습니다. 흥미로운 점은 영어 대신 말단 이펙터 포즈(로봇이 취해야 할 자세)를 출력한다는 것입니다. 이는 조인트 명령으로 변환되어 로봇을 움직입니다.

RT-2와 현재의 LLM 기반 접근법의 핵심 차이는 아키텍처보다 훈련 방식 에 있습니다. 최신 모델들은 로봇 데이터만 아니라 코딩 데이터, 컴퓨터 사용 데이터, 시각 데이터 등 다양한 종류의 데이터 에서 이점을 얻습니다. 이를 통해 도구 사용 능력이 크게 향상되었습니다.

코드 정책: 복잡한 작업을 위한 새로운 패러다임

"정책으로서의 코드(Code as Policies)" 접근법은 Google DeepMind가 2022년 제시한 개념입니다. 이 방식에서는 로봇이 수행해야 할 기본 동작(물체 집기, 들어올리기, 특정 자세로 이동)을 함수로 정의합니다.

LLM은 이러한 함수들을 조합하여 복잡한 작업을 수행하는 코드를 작성합니다. 놀라운 점은 코딩 데이터로 충분히 훈련된 모델은 추가적인 로봇 데이터 없이도 새로운 작업에 대응할 수 있다는 것입니다. 이는 인컨텍스트 학습(in-context learning) 능력 덕분입니다.

로봇 제어의 실시간 가능성

최신 모델들은 카메라 입력을 받아 로봇을 직접 제어 할 수 있습니다. 하지만 모든 작업이 직접 제어에 의존할 필요는 없습니다. 반복적인 작업은 빠르게 실행 가능한 코드로 작성 하는 것이 효율적입니다. 이전 경험에서 학습한 기술을 컴파일된 함수로 호출 하면 예외 상황도 더 잘 처리할 수 있습니다.

현재의 제약은 모델의 지연시간(latency) 입니다. 다행히 최신 LLM들의 지연시간은 매달 약 2배씩 개선되고 있어, 연말까지 실시간 로봇 제어 가 가능해질 것으로 예상됩니다.

컴퓨터 사용 데이터의 놀라운 역할

최근 모델들이 로봇 제어에 탁월한 성능을 보이는 이유 중 하나는 컴퓨터 사용 데이터와 CAD 데이터 로 광범위하게 훈련된 점입니다.

CAD 소프트웨어에서 객체를 회전시키거나 블렌더에서 디자인하는 행동들은 공간 추론 능력 을 모델에게 가르칩니다. 이러한 능력은 로봇 제어에 직접 전이됩니다. 로봇 공학 커뮤니티는 이를 인식하고 아이트래킹 비디오, 원격 조작 데이터 등 다양한 데이터 소스 를 활용하기 시작했습니다.

범용 로봇의 미래

연구 주도 기관들 사이에는 2년 이내에 범용 로봇이 등장할 것 이라는 합의가 있습니다. 여기서 범용 로봇은 자연어 지시를 받으면 유능한 십대 청소년이 맨손으로 할 수 있는 모든 일 을 수행할 수 있는 로봇을 의미합니다.

이는 ChatGPT의 등장만큼 혁신적일 것입니다. 다만 로봇 공학은 알려지지 않은 작업과 환경으로도 일반화 할 수 있어야 합니다.

결론

LLM이 로봇 제어에 적용되면서 로봇 공학은 새로운 전환점을 맞이했습니다. 코드 기반 접근, 다양한 데이터 소스의 활용, 그리고 빠르게 개선되는 모델 성능은 범용 로봇의 등장을 앞당기고 있습니다. 앞으로 몇 년간 로봇 공학 분야의 발전은 사회적 인식 이상으로 빠르게 진행될 것으로 전망됩니다.