# 사람에게 센서를 달아 로봇을 가르치는 Mecka의 데이터 공장

> 2026-10-20 · Sequoia Capital · 큐레이션 김태우
> https://challengekim.com/insights/사람에게-센서를-달아-로봇을-가르치는-mecka의-데이터-공장
> 원문: https://www.youtube.com/watch?v=0idrTKCDhuE

## 핵심 요약

- Mecka는 사람의 작업을 기록하고 가공해 로봇 기초 모델 학습용 데이터로 제공한다. 영상뿐 아니라 행동과 힘에 관한 정보까지 수집 범위를 넓히고 있다.
- 데이터 공장의 핵심은 촬영 인력 모집에 그치지 않는다. 전용 장비 개발, 배포와 업로드, 가공, 부정 제출 탐지까지 연결해야 한다.
- 조시 가오는 현재의 데이터 확대가 제한된 환경의 상업적 작업을 해결하는 데 도움이 되지만, 어떤 일이든 수행하는 범용 로봇까지 보장하지는 않는다고 본다.
- Mecka는 장기적으로 현장 데이터 수집과 추가 학습, 기업의 로봇 도입을 지원하는 사업으로 발전하려 한다.

## 인터넷에 없는 로봇의 학습 재료

Mecka 창업자이자 CEO인 조시 가오는 로봇 학습에 필요한 데이터를 픽셀, 행동, 논리로 설명한다. 대규모 언어 모델은 인터넷에 쌓인 방대한 자료를 활용할 수 있었지만, 로봇에는 물리 세계에서 무엇을 보고 어떻게 행동했는지 보여주는 정제된 데이터가 부족하다는 것이다.

그렇다고 완전히 처음부터 출발하는 것은 아니다. 기존 영상 모델과 세계 모델의 연구를 활용할 수 있다. 가오는 물리적 현실에 더 충실한 영상을 생성하도록 모델을 가르치는 일 역시 로봇 사전학습 데이터의 용도가 될 수 있다고 설명했다.

Mecka가 초기에 주목한 것은 **사람이 작업하는 모습을 당사자의 시점에서 기록한 1인칭 데이터**였다. 당시 많이 쓰이던 원격 조작 데이터는 사람이 로봇을 직접 제어해 시범을 만드는 방식으로, 가오가 보기에는 규모를 키우기 어려웠다. 반면 사람의 일상 작업을 기록하면 로봇이 자신의 시점에서 세상과 상호작용하는 법을 배울 재료를 더 넓게 모을 수 있다고 판단했다.

초기 실험은 모바일 앱으로 요리와 청소 등을 촬영하게 하는 방식이었다. 이후 사업은 전용 하드웨어와 여러 산업의 협력 관계를 구축하는 방향으로 발전했다.

## 영상에서 손의 힘까지 기록한다

영상만으로는 물체를 얼마나 세게 잡거나 당겼는지 충분히 알기 어렵다. 가오는 손목 카메라로 손과 물체가 접촉하는 순간을 관찰하는 접근을 소개하면서도, 이를 힘을 이해하기 위한 우회적인 방법으로 평가했다.

Mecka는 사람이 착용하고 일상 작업에 필요한 힘을 기록하는 촉각 장갑을 개발하고 있다. 카메라와 센서를 장착한 모자, 장갑과 외부 카메라 등을 연결하는 중앙 허브도 만들었다. 모바일 앱은 확장하기 쉬웠지만, 물리 세계에 관한 정보를 충분히 풍부하게 담는 데 한계가 있었기 때문이다.

가오는 일상에서 가하는 힘을 안정적으로 측정하고 곧바로 로봇 학습용 데이터셋으로 바꿔주는 기성 장비를 구하기 어려웠다고 설명했다. 따라서 데이터 사업에는 **무엇을 측정할지 결정하고 장비를 반복해서 개선하는 하드웨어 개발 역량**도 필요하다.

## 데이터 공장의 병목은 수집 이후에도 이어진다

Mecka는 개인과 기업을 통해 데이터를 모은다. 개인은 모바일 앱에 가입하고 직업을 등록한 뒤 침실 청소, 아침 식사 준비 같은 작업에 참여할 수 있다. 가정 밖의 작업을 확보하려면 제과점이나 인쇄회로기판 제조 라인처럼 서로 다른 현장의 기업을 모집해야 한다.

회사는 직업과 산업 등 여러 기준으로 데이터의 분포를 살피고 부족한 영역을 채운다. 그 뒤에도 장비를 생산하고 가정과 사업장에 배포하며, 기록을 업로드하고 가공하는 운영이 이어진다. 가오는 데이터의 유용성을 확보하는 전체 비용에서 기여자에게 지급하는 비용이 가장 큰 요소는 아니라고 설명했다. 장비와 운영, 소프트웨어를 결합해 대규모 데이터의 품질을 입증하는 능력이 차별화 요소라는 주장이다.

품질 관리의 대상에는 부정 제출도 포함된다. 실제로 누군가가 유튜브에 올라온 맥도날드 근무자의 1인칭 영상을 다시 촬영해 자신의 기여물로 제출하려 한 사례가 있었다고 한다. 가오는 자동 검수 기준뿐 아니라 수집 현장을 직접 확인하고, 좋은 데이터를 제공하도록 보상 체계를 설계하는 일도 필요하다고 말했다.

같은 작업을 반복하는 것만으로 충분하지도 않다. 그는 대형 창고에서 원격 조작 시범을 반복해 모으던 경험을 언급하며, 다양성이 부족하면 데이터 추가의 효과가 포화될 수 있다고 설명했다. 현실에서는 새로운 예외 상황이 계속 나타나므로 품질 기준과 처리 절차도 빠르게 바뀌어야 한다.

## 하나의 데이터 방식으로는 부족하다

가오는 로봇 업계의 데이터 수집 규모가 수백만 시간대에 들어섰다고 평가했다. 그가 출발점으로 참고했던 Ego4D의 약 4,000시간과 비교하면 큰 변화다. 다만 이것은 Mecka 한 회사의 수집 실적을 뜻하는 발언은 아니다. 그는 자율주행의 데이터 축적과 비교하면 로봇 분야가 여전히 훨씬 더 많은 데이터를 필요로 한다고 봤다.

학습 방식에서도 단일한 해법을 경계한다. 한때 특정 방식의 데이터만 유효하다는 주장이 있었지만, 이제는 여러 재료를 섞는 방향으로 수렴하고 있다는 설명이다. 사람의 1인칭 기록, 원격 조작 시범, 실제 적용 환경에서 모은 데이터가 서로 다른 역할을 맡는다. 앞으로 촉각 데이터와 시뮬레이션도 이 조합에 들어갈 것으로 예상했다.

Mecka는 Egoverse에도 초기 기여자로 참여해 여러 산업과 가정의 1인칭 데이터, 행동 궤적 데이터, 플랫폼과 웹 도구를 제공했다고 밝혔다. 가오는 업계가 데이터와 도구, 수집 과정의 교훈을 공유할 필요가 있다고 설명했다.

관찰 자료를 많이 모으는 것만으로 뛰어난 수행 능력을 얻을 수 있느냐는 반론에 대해서는 알파고의 학습 과정을 비유로 들었다. 전문가의 행동을 모방한 뒤 스스로 대국하며 학습하는 단계로 나아갔듯, 로봇도 추가 학습이 필요하다는 것이다. 다만 바둑과 달리 물리 세계 전체를 재현할 시뮬레이터는 아직 없다고 지적했다.

그의 관점에서 사람의 작업 데이터는 기본적인 물리와 행동을 배우는 재료이면서, 그런 시뮬레이터를 만드는 데에도 기여한다. 세계 모델이 컵을 실제로 떨어뜨리지 않고도 깨지는 상황을 예측하고, 이를 행동 궤적으로 연결할 수 있다면 학습을 가속할 가능성이 있다. 실제 환경과 시뮬레이션을 함께 사용하는 방식은 그의 전망이지, 이미 완성된 학습 체계는 아니다.

## 범용 로봇보다 먼저 풀릴 작업들

가오는 로봇의 발전을 어느 날 모든 문제가 해결되는 단일한 사건으로 보지 않는다. 기반 데이터를 늘려 일정한 일반화 능력을 얻고, 특정 장소와 작업의 데이터를 추가로 모아 현장에 필요한 신뢰성을 확보하는 과정으로 본다.

가정은 촬영 자료를 구하기 쉽지만 배치하기 쉬운 환경은 아니다. 아기 위로 로봇이 넘어지는 상황까지 고려해야 하기 때문이다. 그는 초기 활용처로 작업 목표와 표준 절차가 분명한 환경에 주목했다. 조립 라인의 집기·이동과 포장 작업, 세탁물 접기 등이 대담에서 거론됐다. 이 가운데 일부 작업이 가까운 시기에 해결될 것이라는 발언은 가오의 예상이다.

이미 쓰이는 로봇의 형태도 휴머노이드에 한정되지 않는다. 가오는 중국과 동남아시아 호텔에서 청소하거나 프런트에서 객실까지 물건을 전달하는 로봇을 사례로 들었다. 산업용 청소 로봇처럼 범위가 제한된 활용에서 시작해 점차 더 복잡한 조작으로 나아갈 수 있다는 관점이다.

그는 현재 데이터의 비율을 유지하며 규모를 키우면 여러 작업을 해결할 수 있다고 보면서도, 그것만으로 어떤 환경에서든 모든 일을 해내는 로봇에 도달한다고 단정하지 않았다. 힘과 영상 등 다양한 관측을 받아 행동이나 음성, 제어 신호를 내보내는 모델에 관심을 보였다. 범용 모델이 넓은 영역에서 좋은 성능을 내더라도, 전문 로봇 모델은 특정 작업의 높은 신뢰성에서 강점을 가질 수 있다고 덧붙였다.

## 데이터 공급에서 현장 도입으로

로봇이 현장에 배치되면 실패 사례와 수정 데이터를 다시 학습에 활용하는 순환 구조를 만들 수 있다. 다만 가오는 이런 구조가 자리 잡기까지 시간이 필요하며, 작업과 산업별로 속도도 다를 것이라고 봤다.

Mecka의 구상도 1인칭 데이터 공급에 머물지 않는다. 특정 현장의 데이터를 수집하고, 모델을 추가 학습시키며, 기업이 로봇을 도입하도록 지원하는 플랫폼으로 발전하려 한다. 아직 로봇이 경험하지 못한 예외 상황이나 더 숙련된 작업의 데이터 역시 계속 필요할 것으로 본다.

가오는 이 역할을 새로운 형태의 시스템 통합 사업에 비유했다. 장비를 설치하는 데서 끝나는 대신, 설치 후에도 데이터로 성능과 작업 범위를 개선하는 사업이다. 이는 Mecka가 지향하는 방향이며, 이미 달성한 성과와는 구분된다.

Mecka의 접근은 사람의 행동을 기록하는 일에서 출발하지만, 실제 사업은 센서 개발과 현장 운영, 품질 관리, 추가 학습까지 이어진다. 가오가 제시한 경로는 이 기반을 넓히면서 상업적으로 가능한 작업을 하나씩 해결하고, 그 현장에서 다음 학습에 필요한 데이터를 얻는 과정이다.

---

원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://www.youtube.com/watch?v=0idrTKCDhuE)