핵심 요약

  • 클레어 보의 9개 과제 비교에서는 Grok Bot이 업무 전반에서, Meta의 Muse가 개인 생활과 일부 창작 과제에서 강점을 보였다. 다만 에이전트마다 연결된 도구가 달라 결과를 해석할 때 이 차이를 고려해야 한다.
  • 응답 속도와 승인 요청 횟수도 사용 경험을 갈랐다. Muse는 9개 과제 중 4개에서 가장 빨랐고 Claude Duet은 가장 느린 편이면서 승인을 더 자주 요청했다.
  • Figma의 PM OS는 제품 관리자들이 빠뜨리기 쉬운 일을 처리하도록 만든 31개 AI 스킬의 공유 저장소다. 조직 맥락을 수집하고 반복 업무의 기본 수준을 높이는 데 초점을 맞췄다.
  • Figma에서는 Slack 정리, 버그 탐색, 성장 실험, 글쓰기 피드백에 AI를 활용한다. 성장 실험 도구 AutoXP에는 출시 전 사람이 한 번 검토하는 단계가 있다.

AI에 맡길 일과 조건

ChatPRD 창업자이자 How I AI 진행자인 클레어 보는 두 회차에서 AI 에이전트의 실제 활용법을 다뤘다. 한 회차에서는 개인용 에이전트 4종에 같은 종류의 업무를 맡겼고 다른 회차에서는 Figma의 성장 제품 관리자 에즈라 메카버가 사내 AI 업무 도구와 사용 과정을 소개했다.

두 사례에서는 AI에 어떤 일을, 어떤 조건에서 맡겨야 도움이 되는지 살펴봤다. 개인용 에이전트 비교에서는 제품마다 잘하는 일이 달랐다. Figma에서는 제품 관리자들이 놓치기 쉬운 일을 찾아 반복 가능한 절차로 만드는 데 집중했다.

보는 Grok Bot, Dot, Meta의 Muse, Claude Duet을 Slack 답장, 받은편지함 분류, 코딩, 영상 편집, Figma 썸네일, 가족 프로젝트, 쇼핑 등을 포함한 9개 과제로 비교했다. 이 평가에서 Grok Bot은 종합 93%를 기록했고 Figma 작업과 받은편지함 분류, 쇼핑 과제에서 1위를 차지했다. 보는 업무용 에이전트 하나를 고른다면 Grok Bot부터 써보겠다고 했다.

종합 점수보다 중요한 과제별 차이

Muse는 개인 생활과 창작 과제에서 두드러졌다. 짧은 영상과 가족 신문을 만드는 과제에서 가장 좋은 결과를 냈고 별다른 추가 지시도 필요하지 않았다. 물리학 질문에는 시간을 재기 어려울 만큼 빠르게 답했다. 보는 이런 속도 때문에 간단한 질의응답을 ChatGPT에서 Muse로 더 많이 옮기고 있다고 밝혔다.

Figma 썸네일에서는 Grok Bot의 차이가 뚜렷했다. Dot과 Claude Duet은 주로 기존 템플릿을 채운 반면 Grok Bot은 새로운 제목과 배치를 제안했다. 보는 그 결과가 실제 유튜브 썸네일처럼 보였으며 자신의 여러 Figma 테스트에서도 Grok Bot이 꾸준히 앞섰다고 평가했다.

코딩 판단에서는 다른 결과가 나왔다. Dot은 Sentry 관련 수정 과제에서 의도한 해결에 가장 가까이 다가갔다. Claude Duet은 두 번째 버그를 발견했고 Dot이 이미 끝낸 작업을 중복 수행하지 않았다. 보는 본격적인 코딩에는 여전히 Claude나 Codex를 선택하겠지만 Duet의 개인용 에이전트 인터페이스를 거쳐 사용하지는 않겠다고 했다.

Dot은 개인 맥락을 짚기도 했다. 보의 Lovable 강연이 유료인지, 원격으로 진행되는지 물은 유일한 에이전트였다. 보는 이를 비서실장다운 판단으로 받아들였지만 창작 과제의 부진 때문에 종합적으로는 Grok Bot과 Muse에 뒤처졌다고 봤다.

연결 도구와 대기 시간이 결과를 바꾼다

이 비교에는 중요한 조건 차이가 있었다. Codex로 설정을 점검한 결과 네 에이전트가 같은 연결 도구와 스킬을 갖추고 있지 않았다. 특히 Muse에는 Slack과 GitHub 연결이 없어 여러 업무 과제를 완료할 수 없었다. 에이전트가 접근할 수 있는 도구의 차이가 평가 결과에도 영향을 줬다.

속도 역시 보가 강조한 기준이었다. Muse는 9개 과제 중 4개에서 가장 먼저 끝났고 Claude Duet은 일관되게 가장 느렸다. 보는 에이전트가 몇 분씩 응답하지 않으면 사용자가 작업 맥락을 잊고 다시 쓰고 싶은 마음도 줄어든다고 봤다.

승인 요청도 차이를 만들었다. Claude Duet은 평가 중 네 차례 승인을 요청했고 나머지는 각각 한 차례였다. 보에게 Duet은 믿고 맡기는 도구보다 계속 감독해야 하는 도구처럼 느껴졌다. 현재 보는 업무에는 Grok Bot, 개인적인 일에는 Muse를 나눠 쓰고 있다.

Figma는 PM이 빠뜨리는 일부터 정리했다

메카버가 공동 제작한 PM OS는 Figma 제품 조직이 공유하는 31개 AI 스킬의 저장소다. 여기서 스킬은 특정 업무를 반복 수행하도록 재사용하는 지침을 뜻한다. 메카버는 출시 전에 지원팀을 참여시키거나 회의 내용을 기록하는 일처럼 제품 관리자들이 자주 빠뜨리는 업무에서 출발했다. 목표는 각 업무에서 지켜야 할 최소 수준을 마련하는 것이었다.

이를 위해 조직 맥락부터 수집한다. 직원이 약 2,000명인 회사에서는 누구와 협업해야 하는지 찾는 일부터 어렵다. PM OS의 한 스킬은 팀 구성을 파악하고 관련 디자이너, 엔지니어링 매니저, 팀 리더를 검토자로 자동 추가한다.

메카버는 Slack의 관련 대화, 프로젝트, 미결정 사안, 답변을 기다리는 사람을 모아주는 ‘what’s up’ 스킬을 하루 약 여섯 번 실행한다. 이 스킬이 중요한 맥락을 보존해주기 때문에 하루에 약 10개 채널을 보관 처리한다고 했다.

구성은 비교적 단순하다. Git 저장소에 AGENTS.md 지침 파일, 재사용 스킬, 명령 실행에 붙는 몇 가지 자동화 기능을 둔다. 자동 버전 확인으로 제품 관리자 60~70명이 같은 버전에 맞춰 일하고 개인용 비공개 하위 저장소에서는 각자 필요에 맞게 조정한다. 처음에는 Claude Code의 터미널 인터페이스로 시작했으며 이후 읽기 쉬운 로컬 웹 화면을 더했다. 메카버는 브라우저 조작의 신뢰성이 자신의 업무에 충분해진 점 등을 이유로 현재 주로 Codex를 쓴다.

버그 탐색과 성장 실험을 반복 가능한 절차로

메카버는 여러 시나리오를 집중 점검하는 버그 탐색 작업에도 에이전트를 쓴다. 테스트 계정과 시나리오를 모아둔 FigJam 보드를 제공하고 발견한 문제를 기록하게 한다. 에이전트는 텍스트 상자에 이모지 1,000개를 넣는 경우부터 팀 이름에 따라 문법이 달라지는 경우까지 경계 사례를 찾아냈다.

성장 실험 도구 AutoXP에서는 에이전트 세 개가 역할을 나눠 사용자가 어느 단계에서 이탈하는지 찾고, 새 문구를 제안하고, 구현을 준비한다. 출시 전에는 사람이 실험을 한 번 검토한다. 이후에는 시스템이 결과를 분석하고 다음 반복을 자동으로 시작한다. 메카버는 성장 업무에서 트래픽을 낭비하는 일을 가장 큰 문제로 봤다.

두 활용법에서는 모두 작업의 출발점과 결과물을 구체적으로 정한다. 버그 탐색에는 테스트 계정과 시나리오가 있고 성장 실험에는 이탈 분석부터 출시 전 검토와 결과 분석까지 이어지는 순서가 있다.

빠른 피드백과 대화의 재시작

메카버가 시제품으로 만든 Jev 도우미는 사용자가 글을 쓰다가 잠시 멈출 때 내용을 검토한다. 임시로 넣어둔 표현과 근거 없는 주장을 표시하고 조사 자료 모음에서 관련 인터뷰 인용문을 찾아준다. 빠르고 저렴한 모델을 활용해 별도의 AI 작업을 실행한다기보다 옆에서 편집자가 계속 살펴보는 듯한 경험을 만드는 방식이다.

AI 대화가 잘 풀리지 않을 때 메카버는 계속 따지기보다 새로 시작하는 편을 택한다. 결과가 나쁘면 지시가 불명확했거나 대화에 불필요한 맥락이 섞였다는 신호로 보고 새 대화에서 목표를 다시 설명한다.

보의 비교에서는 과제마다 적합한 에이전트가 달랐다. Figma 사례는 그 에이전트가 일할 수 있도록 맥락과 절차를 마련하는 과정에 초점을 둔다. 두 사례에서 실제 활용도를 가른 것은 제품 이름뿐 아니라 연결된 도구, 기다리는 시간, 업무 지침, 사람이 검토하는 지점이었다.