핵심 요약

  • 모델 개발은 목표를 세우는 일만으로 끝나지 않는다. 학습 결과에서 예상 밖 강점을 찾아 사용자 경험으로 만드는 일도 제품 관리자의 역할이다.
  • 모델의 말투, 설명 방식, 되묻는 질문도 사용자 경험에 속한다. 이런 특성을 평가 기준과 학습 데이터로 연결해야 한다.
  • 평가는 프롬프트 다섯 개로도 시작할 수 있다. 다만 평가 기준, 평가자, 실제 서비스 환경까지 함께 살펴야 한다.
  • 60·20·20 원칙은 지금 작동하는 기능을 중심에 두되 가까운 미래에 개선될 기능과 아직 가능성만 보이는 기능에도 투자하는 접근이다.
  • AI가 자료 수집과 시제품 제작을 쉽게 할수록 제품 관리자는 요구사항을 적는 데서 더 나아가 판단의 근거와 통찰을 제시해야 한다.

예측하기 어려운 모델을 제품으로 만드는 일

전 에어비앤비 제품 리더이자 Lenny’s Podcast 진행자인 레니 라치츠키가 구글의 제미나이 등 최첨단 AI 모델 제품을 총괄하는 툴시 도시(Tulsee Doshi)와 대화했다. 대담에서는 빠르게 바뀌는 모델의 능력을 어떻게 유용한 제품으로 만들 것인가를 주로 다뤘다.

도시는 구글이 최첨단 모델 경쟁에서도 이기려 한다고 밝혔다. 동시에 하드웨어부터 모델, 최종 사용자 제품까지 갖춘 구조를 바탕으로 비용과 품질이 다른 여러 모델을 제공하려 한다고 설명했다. 정보를 찾는 검색 사용자, 무언가를 만드는 엔지니어, 핵심 인프라를 지키는 보안 담당자는 저마다 요구가 다르기 때문이다.

그러나 모델에 원하는 능력과 평가 목표를 설정했다고 해서 결과를 전통적인 제품 개발처럼 예측할 수 있는 것은 아니다. 연구진은 학습 과정을 관찰하고 지표를 추적하며 개입하지만 제품 관리자는 완성된 모델을 써 보면서 새롭게 드러나는 강점도 찾아야 한다. 특정 능력의 점수가 올랐다는 사실과 그 능력이 실제 제품에서 빛나는 순간은 같지 않다.

제품 관리자의 일은 모델에 무엇을 넣을지 정하는 데서 끝나지 않는다. 모델에서 나온 결과를 이해하고 예상하지 못한 강점을 사용자에게 가치 있는 경험으로 바꾸는 일까지 포함한다.

모델의 행동도 사용자 경험이다

AI 제품의 사용자 경험은 화면과 메뉴에만 있지 않다. 모델이 얼마나 투명하게 설명하는지, 어떤 방식으로 대화하는지, 언제 사용자에게 질문을 돌려주는지도 경험을 결정한다.

도시의 팀은 사용자 피드백을 살피는 동시에 제미나이가 어떤 행동을 보여야 하는지 정의한다. 이를 평가 기준으로 바꾸고 학습에 쓸 데이터와 모델의 답변을 유도하는 보상 설계로 연결한다. 제품팀과 연구팀은 이 과정에서 함께 모델의 행동을 다듬는다.

화면 설계 역시 사용자에 따라 달라진다. 수많은 사람이 질문을 던지는 검색에서는 누구나 접근할 수 있는 경험이 중요하다. 반면 터미널과 개발 도구를 오가는 숙련 사용자를 위한 제품에는 더 복잡한 조작 방식을 허용할 수 있다. 도시는 모든 제품에 같은 단순함을 적용하는 대신 사용자가 누구인지에 맞춰 새로운 사용 방식을 실험하는 일을 강조했다.

평가는 프롬프트 다섯 개에서 시작한다

도시는 제품 관리자에게 체계적인 평가와 모델을 직접 써 보며 얻는 감각이 모두 필요하다고 봤다. 여기서 평가란 특정 과제를 모델에 맡기고 결과가 얼마나 좋은지 일관된 기준으로 살피는 작업이다.

처음부터 대규모 벤치마크를 만들 필요는 없다. 프롬프트 다섯 개로 시작해 직접 답변을 비교할 수 있다. 모델 간 차이가 드러나는 과제 스무 개 정도만 모아도 유용한 신호를 얻을 수 있다고 했다. 특히 여러 단계를 거치거나 대화가 길게 이어지는 과제에서는 무엇을 좋은 결과로 볼지 정하는 일 자체가 어렵다. 작은 평가 묶음으로 시작하면 그 기준을 명확하게 만들 수 있다.

모델의 특성을 파악할 과제도 자신이 잘 알고 관심을 갖는 영역에서 고르는 편이 낫다. 누군가는 시각적 결과물을, 다른 사람은 글쓰기나 복잡한 재무 분석을 살핀다. 현재 모델이 어느 정도 가능성을 보이지만 자신이 생각하는 완벽한 수준에는 아직 이르지 못한 과제여야 한다. 그래야 모델마다 문제를 다르게 처리하는 모습과 개선 여부를 알아볼 여지가 생긴다.

도시는 매일 모델을 사용하고 스스로 판단할 사례를 갖고 있으며 데이터와 평가 작업에 직접 뛰어드는 제품 관리자를 찾는다고 말했다. 시장이 빠르게 바뀌는 만큼 두 달 전에 만든 계획도 다시 검토할 수 있어야 한다.

평가 기준이 놓친 사용자를 찾는다

평가를 잘하려면 답변 점수뿐 아니라 기준 자체가 적절한지도 살펴야 한다. 도시는 책임 있는 AI 업무를 맡았던 시절의 피부색 평가 사례를 들었다.

당시 사용하던 피츠패트릭 척도는 피부색을 여섯 단계로 나눴다. 도시는 이 척도가 의료 목적에 맞춰 만들어졌고 밝은 피부색에 치우쳐 있어 세계 사용자의 다양한 피부색을 표현하는 데 한계가 있었다고 설명했다. 팀은 하버드대의 몽크 교수가 인터뷰와 연구를 바탕으로 만든 열 단계 피부색 척도를 평가에 도입했다. 이후 픽셀 카메라와 이미지 생성 등에서 피부색 표현을 개선하는 데 활용했다.

모델을 채점하는 평가자의 품질도 중요하다. 평가자가 결과를 제대로 구분하지 못하면 모델의 성능을 정확히 알기 어렵다. 여기에 실제 서비스의 필터와 안전장치, 모델을 실행해 응답을 전달하는 방식도 결과에 영향을 준다.

음성 모델에서는 이 문제가 특히 두드러진다. 말의 내용뿐 아니라 목소리의 자연스러움, 어조, 억양까지 경험을 구성하며 같은 모델도 서비스 제공 방식에 따라 다르게 들릴 수 있다. 도시는 사용자가 실제로 접하는 전체 과정을 평가해야 한다고 설명했다.

60·20·20으로 현재와 미래를 함께 설계한다

도시가 소개한 60·20·20 원칙은 제품을 모델의 현재 능력에만 맞추지 않으려는 접근이다. 숫자는 조정할 수 있지만 세 종류의 기능을 함께 가져간다는 취지가 중요하다.

전체의 60%는 지금 작동하고 시제품을 실제로 쓸 수 있게 만드는 부분이다. 다음 20%는 완벽하지 않아도 어느 정도 작동하며 가까운 미래에 모델이 더 잘 처리할 가능성이 보이는 부분이다. 나머지 20%는 아직 희미한 가능성만 있지만 해결하면 뛰어난 제품 경험이 될 수 있는 부분이다.

미래의 성능 향상만 믿고 제품을 만드는 방식과는 다르다. 현재도 작동하는 제품을 확보하면서 모델이 발전할 때 함께 좋아질 여지를 남긴다. 도시 자신도 모델 개발에 참여하지만 석 달 뒤 성능을 정확히 예측하기는 어렵다고 했다. 특정 시점을 단정하기보다 자기 제품에서 실제로 어떤 가능성이 보이는지 살피는 편이 더 구체적인 판단 기준이다.

기존 구조를 다시 시험하는 일도 필요하다. 하네스는 모델을 둘러싼 시스템 지시, 도구, 작업 절차, 문맥과 데이터 등 모델이 일할 환경을 뜻한다. 과거 모델의 약점을 보완하려고 만든 구조가 새 모델의 능력을 오히려 제한할 수도 있다. 도시는 기존 틀에 새 모델을 억지로 맞추지 말고 계속 재평가해야 한다고 강조했다.

만들기 쉬워질수록 판단과 근거가 중요해진다

라치츠키는 누구나 쉽게 무언가를 만들게 되면서 무엇을 만들 가치가 있는지 가려내는 제품 관리자의 역할이 다시 주목받는다고 짚었다. 도시는 좋은 경험을 알아보는 안목과 잡음 속에서 중요한 신호를 찾는 능력이 더 중요해졌다고 답했다. 여러 사람을 같은 방향으로 모으고 혼란에 질서를 부여하지 못하면 빨라진 개발 속도가 오히려 혼란을 키울 수 있다고 봤다.

AI 덕분에 제품 관리자가 판단의 근거를 직접 만드는 범위도 넓어졌다. 시제품을 만들거나 데이터를 분석하는 일을 다른 직군에 맡기기 전에 스스로 더 깊이 들어갈 수 있다. 도시는 제품 관리자의 일이 요구사항을 적는 데서 끝나지 않게 됐다고 봤다. 시제품이든 평가 결과든 데이터든, 요구사항에 실질적인 근거를 더해야 한다.

문서 작성에도 같은 구분을 적용한다. 예를 들어 출시 두 주 뒤 사용 현황과 피드백을 모으는 작업은 AI가 잘할 수 있다. 여러 지표와 반응을 빠르게 수집하고 장단점을 정리하는 일이다. 반면 그 자료에서 무엇을 읽어내고 어떤 결정을 내릴지는 사람이 맡아야 한다. 도시는 모델은 데이터를 제공하고, 사람은 통찰을 제공하는 구분을 강조했다.

도구를 익힐 시간도 업무에 포함한다

도시의 팀은 유용한 AI 작업 절차를 공유하고 데이터와 긴 작업 기록을 잘 읽는 제품 관리자가 동료에게 방법을 가르치는 워크숍을 늘리고 있다. 도시는 팀이 충분한 학습 시간을 확보한 상태는 아니라고 인정했다. 계속 달리기만 하면 도구를 익히려고 잠시 멈출 여유를 만들기 어렵기 때문이다.

지속 가능한 업무 방식 역시 아직 풀고 있는 문제다. 도시는 팀원들이 많은 시간을 일하고 있다고 밝혔다. 개인적으로는 업무량뿐 아니라 혼란과 반복적인 방향 변경, 의미 없다고 느끼는 허드렛일이 소진을 만든다고 봤다. AI가 그런 마찰을 줄여 사고와 창의적인 작업에 더 많은 시간을 쓰게 해 줄 수 있다는 기대도 덧붙였다. 무엇에 보람을 느끼는지는 제품 관리자마다 다르므로 개인의 동기도 살펴야 한다.

대담에서는 모델을 많이 쓰는 것 자체보다 직접 써 보며 강점과 한계를 파악하고 좋은 결과의 기준을 세우며 현재의 제품과 다음 가능성을 함께 설계하는 일이 반복해서 언급됐다. 빨라진 제작 속도를 유용한 제품으로 연결하는 판단이 제품 관리자의 핵심 역할로 남는다.