핵심 요약

  • AI 지출이 적자 스타트업 사이에서 순환한다는 우려와, 스타트업의 채택이 기술의 효용을 보여준다는 반론이 맞섰다. 지출 집중도를 나타내는 수치는 출연자의 추정으로 제시됐다.
  • 기업이 직접 수정할 수 있는 개방형 모델을 선호하더라도, 이를 세계 각지에서 안정적으로 실행할 연산 인프라를 확보하기는 어렵다는 지적이 나왔다.
  • AI가 취약점을 찾아내는 속도가 빨라지는 가운데, 오래된 소프트웨어와 제각각인 업데이트 주기가 기업의 대응을 늦추고 있다는 진단이다.
  • 에이전트가 금융 거래를 수행하다 손실을 냈을 때 사용자의 권한 부여, 서비스 약관, 제품의 실제 동작을 어떻게 구분할지는 출연자 사이에서도 의견이 갈렸다.

AI 지출의 집중은 거품의 신호인가

All-In Podcast는 켄 그리핀의 AI 거품 경고를 출발점으로 기업의 실제 도입 상황을 논의했다. 방송이 소개한 그리핀의 입장은 AI의 장기 잠재력에는 낙관적이지만, 기업들이 지출을 생산성으로 전환하는 데 어려움을 겪고 있다는 것이었다.

한 출연자는 자신이 관찰한 시장을 바탕으로 전체 기업의 약 1%가 AI 지출의 90%를 차지하며, 그 지출의 약 80%가 벤처캐피털 투자를 받은 적자 기업에서 나온다고 추정했다. 투자금이 스타트업에 들어가고, 스타트업이 다른 AI 기업의 서비스를 구매하며, 매출 증가가 다시 투자 유치와 기업가치 상승의 근거가 되는 순환 구조를 우려했다.

그는 자신의 연구팀이 Ramp 측과 논의한 결과도 이 추정을 뒷받침했다고 전했다. 다만 이는 방송에서 제시된 추정과 설명이며, 전체 AI 시장을 확정적으로 집계한 통계로 다뤄지지는 않았다. 다른 진행자는 Ramp가 주로 스타트업에 금융 서비스를 제공한다는 점도 짚었다.

반론도 나왔다. 스타트업은 비용이 낮고 빠르며 경쟁 우위를 주는 도구를 적극적으로 찾는 조직이라는 주장이다. 과거 클라우드와 저렴했던 Facebook 광고에 투자금이 몰렸듯, AI에 지출이 집중되는 현상도 효용의 신호일 수 있다는 해석이다. 스타트업의 빠른 채택이 기술의 가치를 보여주는지, 지속 가능한 수요의 편중을 드러내는지가 논쟁의 핵심이었다.

개방형 모델을 원해도 인프라는 따로 필요하다

Palo Alto Networks의 니케시는 기업이 모델의 가중치, 즉 학습된 내부 수치를 수정할 수 있는 개방형 모델을 선호하는 이유를 설명했다. 자사 요구에 맞춰 학습시키고, 모델의 추론 과정을 살펴볼 수 있다는 것이다. 그는 금융과 의료처럼 규제기관에 결과를 설명해야 하는 분야에서는 설명 가능성, 검증 가능성, 감사 가능성이 필요하다고 강조했다.

그러나 모델을 선택하는 문제와 이를 안정적으로 운영하는 문제는 달랐다. 니케시는 대형 클라우드 사업자 밖에서 세계 각지에 걸쳐 높은 가용성을 제공하는 추론 사업자를 찾기 어렵다고 말했다. 추론은 학습된 모델을 실행해 답을 얻는 과정이다. 한 지역의 데이터센터를 빌리는 스타트업과, 99.9%의 신뢰성을 요구하는 서비스를 제공하는 기업의 조건은 다르다는 설명이다.

자체 데이터센터 건설도 간단한 대안은 아니었다. 칩뿐 아니라 부지, 전력, 시설을 확보해야 하고, 여러 지역에서 서비스를 유지할 운영 능력도 필요하다. 니케시는 연산 자원이 부족한 상황에서 자신은 공급 조건을 정하기보다 받아들여야 하는 구매자라고 표현했다.

그가 예상한 해법은 중간 지점에 있었다. 대형 클라우드 사업자나 유사한 공급자로부터 전용 물리 서버를 확보하고, 그 위에 개방형 모델을 운영하는 방식이다. 이는 전망으로 제시됐으며, 이미 모든 기업이 선택할 수 있는 완성된 대안이라는 뜻은 아니었다.

AI가 드러낸 오래된 기술 부채

보안 논의는 방송이 소개한 PHP 취약점과 패치 배포 과정에서 시작됐다. 진행자는 AI를 활용한 연구자들이 심각한 취약점을 찾아냈고, 수정 사항 공개를 앞두고 관련 정보가 유출되면서 공격 시도와 예방적 서비스 중단이 이어졌다고 설명했다.

니케시는 이를 기술 부채가 드러난 사례로 봤다. 기술 부채는 미뤄둔 유지보수와 개선 작업이 이후 대응 부담으로 돌아오는 문제다. 그가 당일 통화한 고객의 경우 최신 소프트웨어를 쓰는 웹사이트에는 패치를 적용할 수 있었지만, 오래된 버전의 사이트는 서비스를 내리고 업그레이드한 뒤 복구해야 했다.

대응에는 취약한 코드 자체를 수정하는 방법과, 방화벽 같은 외곽 방어 장비에서 해당 공격을 차단하는 가상 패치가 있다고 설명했다. 다만 패치가 공개되면 공격자도 수정 내용을 역으로 분석해 아직 업데이트하지 않은 시스템을 노릴 수 있다.

유지보수가 밀리는 이유도 논의됐다. 개발팀은 새 기능에 관심을 두기 쉽고, 고객별로 설치된 소프트웨어는 서로 다른 업데이트 주기를 갖는다. 기존 시스템을 교체하는 데는 비용이 들며, 업그레이드 자체가 장애를 일으킬 위험도 있다. 니케시는 비용 절감과 서비스 가용성을 요구받는 최고정보책임자에게 잦은 변경을 피할 유인이 있다고 지적했다.

연산 능력만으로 방어가 완성되지는 않는다

진행자는 방어 측이 공격자보다 많은 연산 자원을 투입하면 우위를 점할 수 있는지 물었다. 니케시는 현재의 시스템이 그런 방식으로 조직돼 있지 않다는 조건을 달았다. 방어용 에이전트를 대규모로 가동하려 해도, 먼저 회사가 보유한 웹사이트와 시스템을 파악하고 관리할 수 있어야 한다는 것이다.

AI로 자사 시스템을 지속적으로 공격해 보고 허점을 고치는 접근에는 동의했다. 그러나 다음 모델은 더 강력해져 새로운 침투 경로를 찾을 수 있으므로, 패치 작업만으로 경쟁이 끝나지는 않는다고 봤다.

그는 침해 가능성을 전제로 탐지와 대응 속도에도 초점을 맞췄다. 각 시스템의 신호와 데이터를 모아 비정상적인 행동을 찾을 수 있도록 인프라를 구성해야 한다는 설명이다. 모델의 능력을 실제 방어로 연결하려면 자산 파악과 데이터 통합이 필요하다는 주장이다.

니케시는 최첨단 모델의 접근 제한을 둘러싼 비판에도 다른 해석을 내놨다. 연구소들이 강력한 기술을 어떻게 공개하고 상품화할지 고민하는 동시에 연산 자원 부족에 대응하고 있으며, 자신 역시 이용량 제한을 받는다고 말했다. 접근 제한만으로 보안 문제의 원인을 설명하기 어렵다는 입장이었다.

은행 계좌를 맡긴 에이전트의 책임

대화는 사용자의 로그인 정보로 은행 웹사이트에 접속하는 개인 에이전트로 이어졌다. 니케시는 은행이 같은 자격증명을 사용하는 사람과 에이전트를 구분하기 어렵다고 설명했다. 은행의 우려에는 무단 거래의 책임뿐 아니라, 거래 경위를 설명하고 분쟁을 처리하는 고객지원 비용도 포함된다는 분석이다.

출연자들은 에이전트에 계좌 접근을 맡긴 뒤 5만 달러가 사라지는 가상의 상황을 놓고 의견을 나눴다. 한 출연자는 은행 약관이 에이전트 접속을 금지한다는 전제에서, 에이전트 제공자가 이를 인식하고 차단하거나 사용자에게 경고해야 한다고 주장했다. 경고를 받은 사용자가 차단을 해제했다면 책임이 사용자에게 옮겨갈 수 있다는 견해였다.

니케시는 기본적으로 에이전트에 권한과 로그인 정보를 준 사용자가 책임져야 한다고 봤다. 동시에 제품이 광고되거나 의도된 방식과 다르게 동작하는 경우에는 제공자의 제품 책임 문제가 생길 수 있다고 구분했다.

이는 확정된 법적 결론이 아니라 출연자들의 견해였다. 사용자가 허용한 행동과 제품이 통제를 벗어나 수행한 행동을 어떻게 가를지가 남은 쟁점이었다.

안전장치를 제거한 모델을 둘러싼 이견

마지막 보안 쟁점은 사용 제약과 안전장치를 제거한 모델이었다. 이를 제공하는 회사를 육성했다는 진행자는 기업과 보안 전문가가 방어 체계를 시험하기 위해 이런 모델을 필요로 한다고 설명했다. 실제 공격을 모사해 취약점을 찾는 레드팀 업무에 활용하며, 모델 운영의 책임은 고객이 진다는 논리였다.

다른 출연자들은 강력한 모델이 통제 없이 제공될 위험과 제품 책임을 우려했다. 니케시는 전체 안전 체계가 가장 약한 연결고리에 좌우될 수 있다며, AI 개발의 책임을 논의하면서 동시에 안전장치를 제거한 모델을 공급하는 데 긴장이 있다고 지적했다.

그는 기업 내부의 AI 보안 체계 자체도 아직 충분히 갖춰지지 않았다고 봤다. 어떤 에이전트가 실행 중인지 찾아내고, 동작을 검증하며, 정보를 보호하는 장치를 만드는 일이 남아 있다는 것이다.

이 대담에서 AI의 기업 확산은 지출 규모만으로 설명되지 않았다. 개방형 모델을 운영할 인프라, 미뤄둔 시스템 유지보수, 침해를 탐지할 데이터, 에이전트의 권한과 책임이 함께 논의됐다. AI 도입 의지가 있어도 이를 안정적으로 운영할 조건을 갖추는 데는 별도의 작업이 필요하다는 것이 논의를 관통한 쟁점이었다.