핵심 요약

  • 블랙스미스는 코드 변경 뒤 테스트와 검사를 실행하는 CI 인프라를 만든다. 창업팀은 AI 시대 소프트웨어 개발의 병목이 코드 작성에서 검증으로 옮겨가고 있다고 봤다.
  • 게임용 CPU와 계산 장치 가까이에 둔 캐시를 활용해 CI 작업의 특성에 맞는 인프라를 구축했다.
  • 창업팀에 따르면 고객사 랭체인의 CI 실행 자원 확보 대기 시간은 기존 15~20분에서 10~15초로 줄었다.
  • 제품 범위를 좁게 유지하며 인프라를 확장했지만 수요 급증과 데이터센터 장애에 대응하는 일이 과제로 남았다.

코드를 빨리 써도 검증이 늦으면 출시할 수 없다

Y Combinator가 공개한 이번 영상에는 CI 인프라 기업 블랙스미스의 창업팀과 투자자, 팀원이 등장한다. 이들은 AI가 코드 생산량을 늘리는 상황에서 소프트웨어 검증 속도를 어떻게 높일지 다뤘다.

CI는 개발자가 코드를 변경할 때 문제가 생기지 않았는지 테스트와 검사를 실행하는 과정이다. 창업팀은 AI 코딩 도구로 코드를 100배 많이 작성하더라도 같은 속도로 출시할 수 없다면 효용이 제한된다고 봤다. 테스트 결과를 기다리고 변경 사항이 제대로 작동하는지 확인하는 시간이 병목이 된다고 설명했다.

블랙스미스는 이 대기 시간을 줄이는 인프라를 만든다. 영상에서 창업팀은 세쿼이아가 주도한 시리즈 C 투자에서 약 6,600만 달러를 유치했으며 기업가치는 10억 달러로 평가받았다고 밝혔다.

CI에 맞는 하드웨어를 다시 고르다

공동창업자 세 명은 대학 시절부터 친구였다. 데이터베이스와 검색 인프라를 다룬 엔지니어들이었지만 플랫폼 엔지니어나 개발·운영 인프라 담당자는 아니었다. 창업팀에 따르면 누구도 직접 CI 파이프라인을 운영해 본 적이 없었다.

대신 여러 직장에서 CI가 느리고 인프라 관리도 어렵다는 문제를 겪었다. 조사할수록 AWS·GCP·애저 같은 대형 클라우드가 잘 처리하는 작업과 CI 작업의 특성이 다르다고 판단했다. 해결책으로 CI 실행에 특화된 클라우드를 내놓았다.

창업팀은 CI 작업이 게임과 비슷하다고 봤다. 여러 실행 흐름을 동시에 처리하는 능력보다 하나의 실행 흐름을 빠르게 처리하는 성능에 민감하기 때문이다. 초기에는 마인크래프트와 콜 오브 듀티 서버 호스팅으로 알려진 독일 데이터센터 업체에서 서버를 빌렸다. 게임용 CPU를 모아 코드 컴파일에 썼다.

속도를 높이는 또 다른 수단은 캐시다. 캐시는 앞서 수행한 작업의 결과를 보관해 같은 일을 반복하지 않도록 한다. 블랙스미스는 이 결과물을 실제 계산이 이뤄지는 장치 가까이에 배치하는 데 공을 들였다.

초기 고객은 작은 기업, 설득의 근거는 성능

창업팀은 첫 200개 고객사를 확보하는 과정이 매우 어려웠다고 회고했다. 처음에는 다른 회사에 다니는 친구들에게 제품을 써 달라고 부탁했다. 고객사 로고를 웹사이트에 실어 신뢰를 쌓은 뒤 최고기술책임자와 엔지니어링 부문 책임자, 플랫폼 엔지니어에게 직접 연락했다.

초기 고객은 블랙스미스처럼 작은 기업들이었다. 빠른 개발 속도를 원했고 도입 절차도 상대적으로 간단했다. 영상에 등장한 투자자는 엔지니어들이 여러 도구를 시험하고 쉽게 옮겨갈 수 있는 만큼 이들을 설득하려면 스스로 구현하기 어려운 수준의 성능을 보여줘야 한다고 말했다. 별도 영업팀 없이도 큰 계약을 확보한 배경으로 성능과 간단한 전환 절차를 꼽았다.

최근 도입한 고객사 랭체인이 구체적인 사례였다. 창업팀에 따르면 랭체인 개발자들은 GCP에서 CI 작업을 실행할 컴퓨팅 자원을 확보하는 데 통상 15~20분을 기다렸다. 블랙스미스로 옮긴 뒤 이 대기는 10~15초로 줄었다. 이는 전체 테스트 시간이 아니라 작업을 시작할 자원을 확보하기까지의 대기 시간이다.

작은 팀으로 확장하려면 제품 범위를 제한해야 한다

블랙스미스는 규모가 커지면서 인프라를 직접 다루는 범위를 넓혔다. 개별 서버를 빌리다가 데이터센터 업체와 메가와트 단위 전력을 확보하는 규모의 계약을 맺게 됐다.

한 팀원은 자신이 합류했을 때 약 5명이 서버 수백 대로 이뤄진 작은 클러스터를 운영했지만 영상 시점에는 전체 30명 중 엔지니어 12명이 훨씬 큰 인프라를 담당한다고 말했다.

서버 증가를 관리하는 자체 소프트웨어와 각 계층의 상태를 관찰하는 도구를 운영 기반으로 삼았다. 개별 고객의 일회성 맞춤 요구를 모두 받아들이지 않고 팀 규모에 맞춰 제품 범위를 넓혔다. 작은 팀이 많은 장비와 고객을 감당하도록 제품의 복잡성을 통제하는 선택을 했다.

수요 급증과 장애, 다음 검증 과제

창업팀은 새로운 대형 언어 모델이 나올 때마다 사람들이 이를 시험하고 더 많은 코드를 출시하면서 CI 사용량이 크게 뛴다고 말했다. 장비 주문과 설치에는 시간이 걸린다. 그사이 작업 배치 알고리즘을 개선하고 서버에 작업을 더 효율적으로 배분하며 네트워크 구조를 다듬어 부하에 대응해야 한다.

물리적 인프라의 장애도 겪었다. 여름 초 시리즈 B 발표 직후, 피닉스의 주요 데이터센터 한 곳에서 전력 급증으로 주 냉각 장치와 예비 냉각 장치가 모두 멈췄다. 장애가 이어지는 동안 고객들의 작업 시작 시간이 길어졌다. 창업팀은 이 경험으로 여러 지역에 인프라를 분산하는 일의 중요성을 확인했다고 말했다.

다음으로 개발 중인 제품은 자율 품질검증, 즉 자율 QA다. 스크린샷과 짧은 영상 같은 자료를 모아 코드 변경이 제대로 작동하는지 판단할 근거를 제공하려 한다. 코드 생산량이 늘면 개발자가 모든 변경을 직접 살펴볼 시간이 부족해질 것이라고 봤기 때문이다.

블랙스미스는 코드 작성 이후의 기다림을 줄이려 한다. 현재는 CI 실행 속도와 자원 확보 시간을 개선하는 데 집중하고 앞으로는 변경 사항을 합쳐도 된다는 확신을 주는 검증 자료까지 제공하려 한다.