핵심 요약

  • 앤트로픽 제품 리더들은 제품 관리자의 핵심 역할을 사용자의 실제 문제와 기술을 연결하는 일로 본다. 기술의 변화가 빨라지면서 문제를 푸는 기존 방식은 더 자주 다시 검토해야 한다.
  • 클로드는 조직 안의 관련 정보를 찾아줄 수 있지만, 프로젝트에 필요한 사람을 모으고 고객 대응·안전장치·일정을 연결하는 역할까지 맡지는 못하고 있다.
  • 제작 비용이 낮아지면서 세부 설계를 오래 토론하기보다 여러 버전을 만들어 시험할 수 있게 됐다. 그만큼 무엇을 만들지 판단하고 끝까지 실행하는 능력이 중요해졌다.
  • 가능성이 있지만 현재 모델로는 작동하지 않는 제품은 중단한 뒤 평가 체계를 남겨둘 수 있다. 새 모델이 나오면 같은 과제를 다시 시험하기 위해서다.

빨라진 제작 속도가 드러낸 PM의 일

한 참석자는 제품 출시를 앞두고도 PM이 꼭 필요한지 의문을 품었다. 직접 만들고 있었고 클로드의 도움도 받을 수 있었기 때문이다. 그러나 PM이 합류한 뒤에는 놓칠 뻔한 일이 보였다. 다양한 고객의 요구를 반영하고, 고객 성공팀이 변경 사항에 답할 수 있게 준비시키며, 안전장치를 담당하는 사람을 연결하고, 관계자들의 진행 상황을 맞추는 일이었다.

그는 클로드가 조직의 다른 곳에서 벌어지는 관련 작업을 찾아주는 데는 도움이 된다고 말했다. 다만 아직은 사람들을 모아 일을 성사시키는 조정자 역할을 하지 못한다고 봤다. 도구의 도움을 받아도 한 사람이 처리할 수 있는 일에는 한계가 있다. 제작자가 구현에 집중하는 동안 사용자 요구와 조직의 여러 작업을 연결할 사람이 필요하다는 설명이다.

답을 예측하는 대신 만들어서 확인한다

다른 제품 리더는 과거에 버튼 위치와 사용자의 손동작까지 검토하며 설계 판단을 익혔다고 회고했다. 당시에는 제품을 만들고 출시하는 비용이 컸기 때문이다. 지금은 세 가지 버전을 만들어 시험하는 편이 더 빠를 때가 있다고 했다. 오랫동안 쌓은 전문성이 언제 유용한지도 다시 살펴야 한다는 뜻이다.

그렇다고 제품 판단이 사라지는 것은 아니다. 만들 수 있는 것이 늘수록 무엇을 만들지 골라야 하고, 제한된 정보 속에서도 사용자 문제를 파악해 실행해야 한다. 대담에서는 변화에 적응하는 능력과 함께, 여러 가능성 사이에서 결정을 내릴 책임도 강조됐다. 앤트로픽의 실험 조직에서는 각 시도의 책임자가 투자를 늘릴지, 줄일지, 멈출지를 판단한다고 설명했다.

에이전트가 쓸 수 있는 제품의 조건

대담에서 말하는 ‘에이전트 네이티브’ 제품은 사람이 할 수 있는 작업을 AI 에이전트도 제품 안에서 수행할 수 있도록 설계한 제품이다. 한 참석자는 AI를 옆 창에 붙이는 단계에서 더 나아가, 사람과 에이전트가 같은 기본 기능을 이용할 수 있어야 한다고 말했다. 오래 운영한 애플리케이션에 이런 구조를 나중에 더하는 일은 어렵다는 점도 인정했다.

그는 앤트로픽 내부 프로젝트에서 클로드가 진행 상황을 살피고, 팀이 그 상황을 확인할 화면을 만드는 사례를 들었다. 화면을 작업에 맞춰 바꿀 수 있다는 장점이 있지만, 사람과 클로드 중 누가 데이터를 수정할 수 있는지, 변경 내역을 어떻게 확인할지는 풀어야 할 문제로 남는다. 예측 가능한 구성 요소와 설계 기준도 계속 필요하다고 봤다.

병렬 실험을 하나의 제품 경험으로 묶는 법

앤트로픽은 아직 어떤 AI 제품 형태가 적합한지 알아가는 단계라고 설명했다. 초기에는 기능이 일부 겹치더라도 여러 방향을 시험하고, 효과가 확인되면 안정적인 경험으로 다시 묶는 접근이다. 효과를 볼 때는 사람들이 실제로 쓰는지, 다시 찾는지, 문제 해결에 가치를 느끼는지 같은 기준을 살핀다.

여러 팀의 실험이 서로 단절되지 않으려면 공통 기반이 필요하다. 대담에서는 한때 채팅과 다른 작업 환경이 기억, 외부 도구 연결, 파일 저장 방식에서 서로 달랐다는 사례가 나왔다. 이런 상태에서는 세 번째 경험을 만들더라도 기존 경험과 이어지기 어렵다. 공통 기반을 갖추는 작업이 병렬 실험을 뒷받침한다는 설명이다.

실험 결과를 제품에 통합하는 방법은 아직 완전히 정해지지 않았다고도 했다. 새 탭을 계속 추가하면 사용자가 선택해야 할 것이 늘어난다. 반대로 가능성이 확인되기 전에 실험을 접을 수도 있다. 제품팀은 새로운 시도를 유지하면서도 사용자가 이해할 수 있는 경험으로 묶어야 한다.

실패한 시도를 다시 시험할 수 있게 남긴다

새 모델이 나오면 이전에는 작동하지 않던 제품이 가능해질 수 있다. 한 참석자는 앤트로픽이 2024년에 만든 초기 컴퓨터 사용 제품을 예로 들었다. 당시 모델은 복잡한 소프트웨어 작업을 끝내는 데 오래 걸렸고, 그 과정을 지켜보는 사용자에게도 도움이 되지 않았다. 자동화와 사용법 교육이라는 두 목적 모두에 맞지 않았다는 평가다.

팀은 프로젝트를 일단 멈추되 평가 환경을 남겨 새 모델마다 다시 시험했다. 이후 성공하는 경우가 실패하는 경우보다 많아진 것을 확인하고 작업 기록도 살펴봤다고 설명했다. 현재 모델의 한계를 확인한 실험이라도 평가 기준을 남기면 나중에 다시 판단할 근거가 된다.

결론

이 대담에서 PM의 역할은 제작 과정을 모두 직접 통제하는 사람보다, 사용자 문제를 붙들고 적절한 시도를 고르며 조직의 일을 연결하는 사람에 가깝다. AI 도구가 할 수 있는 일이 늘어나는 만큼 그 판단과 조정이 어디까지 필요한지도 계속 시험하고 있다.