핵심 요약

  • 인터콤은 9개월 동안 연구개발 인력 1인당 병합된 PR(코드 변경 제안) 수를 두 배로 늘렸다고 밝혔다.
  • 이 성과의 바탕에는 이미 갖춰진 배포 체계, 폭넓은 테스트, 높은 신뢰를 바탕으로 한 조직 문화가 있었다.
  • 인터콤은 Claude Code 사용 기록과 자체 기능 호출을 측정하고, PR 작성 과정에 품질 기준을 넣었다.
  • 브라이언 스캔란은 AI 실험을 허용하고 문제가 생겼을 때 책임을 지는 리더십이 중요하다고 봤다.

무엇을 두 배로 측정했나

인터콤의 시니어 수석 엔지니어 브라이언 스캔란은 Claude Code를 적극 도입한 뒤 9개월 동안 연구개발 인력 1인당 병합된 PR 수가 두 배가 됐다고 설명했다. 이는 엔지니어링 작업의 산출을 보여주는 지표다. 인터콤은 도입 전부터 성숙한 지속적 통합·배포 체계와 폭넓은 테스트를 갖추고 있었다. 스캔란은 배포나 코드 검토 과정에 문제가 있다면 AI가 그 문제까지 확대할 수 있다고 지적했다.

사용 기록으로 개선 지점을 찾다

인터콤은 Claude Code의 자체 기능 호출을 Honeycomb에서 추적하고, 익명화한 작업 세션을 S3에 저장한다. 엔지니어가 동료와 자신의 사용 양상을 비교할 수 있는 대시보드도 만들었다. 스캔란은 이런 측정을 통해 어떤 활용 방식이 효과가 있고 어디에서 문제가 생기는지 파악하려 한다고 설명했다.

PR 작성 단계에 품질 기준을 넣다

인터콤의 자체 ‘Create PR’ 기능은 Claude Code가 GitHub 명령줄 도구로 PR을 직접 생성하는 경로를 막는다. 대신 코드 내용을 되풀이하는 데 그치지 않고 변경의 맥락을 담은 설명을 작성하도록 한다. 스캔란이 제시한 방식은 결과물을 나중에 고치는 것에만 기대지 않고, 만드는 과정에 기준을 적용하는 것이다.

스캔란은 스탠퍼드 연구진과의 협업에서 살펴본 코드 품질 지표도 개선되고 있다고 전했다. 그는 AI로 불안정한 테스트 수정, 개발 환경 개선, 기술 부채 처리에 드는 작업 부담이 줄면 이전에 미뤄 두었던 내부 과제에도 시간을 쓸 수 있다고 봤다.

실험을 허용하는 조직 문화

스캔란은 기술 리더가 엔지니어에게 새로운 시도를 허용하고, 문제가 생기면 책임을 맡겠다는 태도를 보여야 한다고 말했다. 그가 든 사례에는 Claude Code를 Snowflake에 연결하거나 이동 중 휴대전화로 코드를 배포하는 일이 포함된다. 그의 관점에서 실험을 시작하는 데 필요한 것은 사용법 안내만이 아니라 조직의 허용이다.

에이전트가 사용할 수 있는 제품

스캔란은 AI 에이전트가 인터콤의 Fin 가입부터 Gmail을 통한 이메일 확인, 설치까지 진행할 수 있는 명령줄 도구를 만들었다. 그는 제품이 이런 사용 방식을 지원하지 않으면 고객의 에이전트가 웹사이트를 직접 조작하거나 다른 방법을 찾으려 할 수 있다고 주장했다. 경보 대응, 계획 수립, 고객 질문에서도 에이전트가 기초 작업을 먼저 맡는 것이 그의 지향점이다. 이는 인터콤의 측정된 성과와는 구분되는 스캔란의 전망이다.

인터콤 사례에서 확인할 수 있는 성과는 특정 기간의 PR 병합 지표다. 스캔란은 이를 기존 개발 기반, 사용 양상의 측정, 작업 과정의 품질 기준, 실험을 허용하는 문화와 함께 설명했다.