# 데이터로 제품을 결정하기 어려운 이유 > 2024-05-28 · Andrew Chen · 큐레이션 김태우 > https://challengekim.com/insights/데이터로-제품을-결정하기-어려운-이유 > 원문: https://andrewchen.substack.com/p/why-its-so-hard-to-be-data-driven ## 핵심 요약 - 제품 데이터는 현재 고객의 행동을 보여주지만, 앞으로 확보하려는 고객이 원하는 것은 보여주지 못할 수 있다. - 분석과 A/B 테스트에는 시간과 비용이 들며, 측정하기 쉬운 단기 지표가 중요한 장기 효과를 가릴 수 있다. - 평균적인 사용자와 적극적으로 쓰는 사용자의 행동만 보면, 소수의 고가치 사용자나 행동의 실제 원인을 놓칠 수 있다. - 앤드루 첸은 특히 새 제품을 만드는 초기 단계에서 데이터와 함께 고객·시장에 대한 정성적 판단을 활용해야 한다고 주장한다. ## 현재 고객의 데이터가 미래 시장을 말해주지는 않는다 제품의 초기 사용자는 규모가 작지만 충성도가 높은 집단일 수 있다. 이들이 전문가용 기능이나 세밀한 설정을 원한다고 해서 더 넓은 시장도 같은 것을 원하는 것은 아니다. 더 많은 사용자는 쓰기 쉬운 제품을 원할 수 있다. 첸은 현재 사용자 데이터만 따라가면 기존 고객에게 맞춘 개선에 머물 위험이 있다고 본다. 사용자를 하나로 묶어 평균을 보는 방식에도 한계가 있다. 전체 사용량을 늘리는 결정이 소수의 고가치 사용자에게는 불리할 수 있다. 원문은 가치가 낮은 해외 사용자를 더 끌어들이는 대신 가치가 높은 미국 사용자를 잃을 가능성을 예로 든다. 어느 사용자 집단이 중요한지 가려내는 데도 시간이 필요하다. ## 분석과 실험에는 시간이 든다 모든 결정에 데이터를 요구하면 수집, 예외 확인, 사용자 집단별 분석과 회의가 이어진다. 첸은 큰 결정은 깊이 분석하되 작은 결정까지 같은 절차를 거치면 속도가 지나치게 느려질 수 있다고 말한다. 고객을 잘 아는 팀이라면 직관에 따라 여러 결정을 빠르게 내리는 편이 나을 때도 있으며, 시장이 빠르게 움직이는 스타트업에서는 특히 그렇다는 주장이다. A/B 테스트는 제품의 두 방식을 나눠 보여주고 결과를 비교하는 실험이다. 가입률이나 클릭률처럼 곧바로 나타나는 변화는 비교하기 쉽다. 반면 소수의 고가치 사용자가 90일 뒤에도 남는지는 빠른 실험 주기로 판단하기 어렵다. 쉽게 측정되는 수치에 집중하다 보면 이런 장기 효과를 놓칠 수 있다. ## 수치의 변화와 원인은 다르다 계절성, 대규모 광고 캠페인, 경쟁 제품 출시, 달력상 주말 수의 차이만으로도 지표는 흔들릴 수 있다. 따라서 수치가 올랐거나 내렸다는 사실만으로 특정 제품 변경의 효과를 단정하기 어렵다. 적극적으로 제품을 쓰는 사람들이 프로필 사진을 설정하거나 친구를 초대한 비율이 높다고 해도, 그 행동이 적극적인 사용을 만들어냈다는 뜻은 아니다. 첸은 모든 사용자에게 해당 단계를 거치게 하는 A/B 테스트를 했지만 효과가 나타나지 않는 사례를 든다. 원래 사용 의향이 높은 사람이 그 행동도 했을 수 있기 때문이다. 과거 데이터가 새로운 기술의 효과를 예측하지 못할 수도 있다. 첸은 기존 제품 아이디어에 AI를 더했을 때 전환율이나 사용자 유지율이 어떻게 바뀔지 미리 알기 어렵다고 설명한다. 투자에서도 성공 사례가 수많은 후보 중 극히 적어, 특정 제품 속성만으로 확신할 만한 예측 모델을 만들기 어렵다는 것이 그의 판단이다. ## 중요한 결정이 모두 그래프에 나타나지는 않는다 새 기능이 장기적인 브랜드 인식, 직원의 의욕, 투자자의 평가에 미치는 영향은 A/B 테스트로 드러내기 어렵다. 전략적으로 중요한 파트너 한 곳을 위한 기술도 전체 사용자 지표에서는 보이지 않을 수 있다. 측정하기 어렵다는 이유만으로 이런 요소를 결정에서 제외할 수는 없다는 것이 첸의 주장이다. 그는 대형 기술 기업과 경쟁하는 스타트업이 같은 속도와 방식으로 작은 지표 개선만 쌓아서는 이기기 어렵다고 본다. 가입 과정이나 주요 알림처럼 최적화할 가치가 있는 부분에는 데이터를 쓰되, 핵심 제품 전략에서는 더 빠르고 큰 결정을 내려야 할 수 있다는 것이다. ## 결론 첸은 과거에 데이터에 지나치게 의존해 기존 제품을 조금씩 개선하는 데 머물렀다고 돌아본다. 이후에는 데이터를 참고하면서 직관을 함께 쓰는 쪽으로 생각이 바뀌었다. 특히 처음부터 새 제품을 만드는 단계에서는 시장·고객·경쟁에 대한 정성적 판단으로 방향을 정하고, 데이터에 따른 최적화는 그다음에 할 수 있다고 본다. --- 원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://andrewchen.substack.com/p/why-its-so-hard-to-be-data-driven)