# 기업 AI는 최고 성능보다 비용과 통합으로 경쟁한다

> 2026-10-21 · All-In Podcast · 큐레이션 김태우
> https://challengekim.com/insights/기업-ai는-최고-성능보다-비용과-통합으로-경쟁한다
> 원문: https://www.youtube.com/watch?v=yzk44lz-RGI

## 핵심 요약

- 두 사람은 실험 단계에서는 좋은 모델을 쉽게 쓰게 하되, 운영 단계에서는 작업의 가치와 비용에 맞춰 모델을 선택해야 한다고 봤다.
- 크리슈나는 비용과 지식재산 통제 등을 이유로 전체 토큰 사용량의 75\~90%가 오픈 웨이트 모델로 향할 수 있다고 전망했다. 이는 그의 추정이다.
- AI가 취약점을 찾아도 검증과 패치는 별개다. 공격자는 취약점 하나만 찾아도 되지만, 방어자는 모든 취약점을 찾아 막아야 한다는 비대칭이 남는다.
- 아로라는 모델·기억·맥락을 묶은 수직 통합이 고객의 전환 비용을 높일 것으로 봤다. 두 사람은 소프트웨어 통합을 예상하면서도 높은 신뢰성이 필요한 시스템의 교체는 쉽지 않다고 구분했다.

## 실험에서는 성능, 운영에서는 작업별 경제성

All-In Podcast에 출연한 니케시 아로라는 AI 도입 초기부터 비용을 줄이거나 자체 시스템을 조립하는 데 집중하면 조직의 학습이 늦어진다고 말했다. 먼저 가장 좋은 모델을 가장 쉽게 사용하면서 효율, 매출, 제품 개발 측면의 가능성을 확인해야 한다는 설명이다.

그러나 실험에서 성과를 확인한 뒤에는 기준이 달라진다. 아로라가 제시한 기준은 **해당 작업에 필요한 지능과 그 지능의 비용**이다.

그는 자사의 단말 보안 제품을 예로 들었다. 단말당 연간 약 20\~25달러에 트래픽을 검사하는 구조에서, 모든 직원의 트래픽을 토큰 단위로 과금되는 대형 모델에 보내는 방식은 실용적이지 않다는 것이다. 이런 작업에는 작게 압축하고 특정 업무에 맞춰 학습한 언어 모델을 단말에서 실행하는 방식이 적합하다고 봤다.

반면 실제 침해 사고가 진행 중이라면 계산이 달라진다. 사업 피해가 수십억 달러에 이를 수 있는 상황에서는 여러 AI 에이전트를 동원하거나 최첨단 대형 언어 모델로 추론하는 비용을 정당화할 수 있다는 설명이다. 일상적인 감시와 긴급 대응에 같은 모델을 쓸 이유가 없다는 주장이다.

## 오픈 웨이트 모델을 선택하게 만드는 비용과 통제권

아르빈드 크리슈나는 같은 결론을 경제성에서 설명했다. 그는 대담 당시 일부 모델의 비용을 100만 토큰당 20달러, 최고 수준에서는 50달러로 제시했다. 반면 오픈 웨이트 모델을 자체 GPU에서 실행하고 약 일주일간 최적화하면 100만 토큰당 1\~2달러 수준으로 낮출 수 있다고 주장했다. 오픈 웨이트는 모델의 학습된 가중치가 공개돼 직접 실행할 수 있는 방식을 뜻한다.

그의 논리는 업무의 95%를 처리할 수 있다면 기업이 훨씬 저렴한 대안을 받아들일 것이라는 데 있다. 다만 이 수치는 대담에서 제시한 비교이며 모든 모델과 작업에 적용되는 보장된 절감률은 아니다.

비용 외에는 지식재산 통제도 이유로 들었다. 모델의 추론 과정이 외부에 기록되고 감사될 수 있다면 기업의 지식재산이 노출될 수 있다는 우려다. 크리슈나는 자체 실행이 어려운 최첨단 비공개 모델과 달리 오픈 웨이트 모델은 기업이 직접 운영할 수 있다고 설명했다.

아로라도 평상시 방어용 모델에는 오픈 웨이트를 가져와 자체 데이터로 학습하고 가중치를 관리하는 방식을 택할 가능성이 높다고 말했다. 감사와 설명이 가능한 시스템을 운영하려는 목적이다.

크리슈나는 이런 요인들이 전체 토큰 사용량의 75\~90%를 오픈 웨이트 모델로 이끌 수 있다고 예상했다. 실험 중에는 비싼 모델로 가능성을 빠르게 확인할 수 있지만, 운영 단계에서 그 비용을 계속 지불할 가치는 제한적인 용도에 집중될 것이라는 전망이다.

## 취약점 발견과 안전한 코드 배포는 다른 문제다

아로라는 코딩 능력이 좋아진 모델이 잘못된 코드를 식별하는 데도 유용해졌다고 설명했다. 그러나 모델이 제시한 취약점이 모두 실제 문제인 것은 아니며, 발견 이후에도 검증과 이해, 수정이 필요하다고 강조했다.

여기에는 **공격과 방어의 비대칭**이 있다. 공격자는 실제 취약점 하나만 확보해도 되지만, 방어자는 모든 취약점을 찾아 패치해야 한다. 모델의 답변에 오류가 섞여 있어도 공격자에게는 여전히 유용할 수 있다는 뜻이다. 아로라는 AI 코딩 도구로 수정했더라도 다시 테스트해야 한다고 봤다.

대응 방식으로는 신뢰할 수 있는 주체들이 취약점 정보를 모으고, 패치를 만들어 함께 배포하는 협업을 제시했다. 각 기업이 같은 오픈소스 취약점을 개별적으로 분석하고 수정하는 중복을 줄이자는 구상이다.

크리슈나는 자신의 조직에서 작성하는 코드의 약 절반에 에이전트와 코딩 에이전트를 사용한다고 말했다. 그는 이전보다 코드가 좋아졌다고 평가하면서, 에이전트가 평가와 수정까지 수행한다는 점을 이유로 들었다.

그러면서도 찾아낼 줄 아는 결함만 고칠 수 있다는 한계를 인정했다. 코드의 정확성을 완전히 검증하는 일은 현재 계산상 매우 어렵고, 입력이 무엇이든 될 수 있는 시스템에서는 특히 까다롭다는 설명이다. 두 사람은 에이전트가 작성한 코드도 오류가 없지는 않다고 답했다. 소프트웨어를 만들어 제공한 기업의 책임 역시 에이전트에게 넘길 수 없다는 입장이다.

## AI 접근성을 가르는 것은 가격만이 아니다

아로라는 기술을 충분히 저렴하게 만들면 경제활동을 하는 기업이 자신을 보호할 수 있는 방법을 찾을 수 있다고 봤다. 그가 더 크게 우려한 것은 대규모 AI 실행에 필요한 연산 자원의 공급 부족이다.

그는 미국과 중국에서는 컴퓨팅 역량이 빠르게 발전할 수 있지만, 다른 지역에 같은 속도로 공급되지는 않을 수 있다고 말했다. 유럽 기업이 혁신 의지와 비용을 감당할 능력을 갖추더라도 연산 자원을 충분히 확보하지 못할 수 있다는 사례를 들었다.

이 관점에서 AI의 접근성은 모델 이용료만으로 결정되지 않는다. 아로라가 지적한 제약은 돈을 낼 의사와 별개로, 필요한 규모의 연산 자원을 실제로 구할 수 있느냐는 문제다.

## 수직 통합의 경쟁력은 모델에서 기억과 맥락으로 확장된다

크리슈나는 IBM 메인프레임의 수직 통합을 설명하며, 과거에는 웨이퍼와 반도체부터 기계를 둘러싼 금속까지 자체적으로 만들었다고 말했다. 이는 지식재산 유출을 막고 전체 기술 계층에서 발생하는 이익을 회사 안에 남기는 방식이었다.

다만 모든 것을 내부에서 만들어야 한다는 주장은 아니었다. 그는 현재는 실제 반도체 제조를 직접 하지 않는다며, 중요한 경쟁우위가 생기는 영역과 범용화된 영역을 구분해야 한다고 설명했다.

아로라는 엔비디아를 현대적인 수직 통합의 사례로 들었다. 여러 계층을 통제하면 어느 부분을 범용화할지 결정하고, 한 계층의 이익이 줄어들 때 다른 계층으로 이익을 이동시킬 수 있다는 분석이다.

AI 애플리케이션에서도 그는 비슷한 통합을 예상했다. 추론만 떼어 다른 모델로 보내는 구조보다, 소프트웨어 실행과 기억, 맥락을 함께 제공하는 구조가 중요해질 것이라는 전망이다. 개인 에이전트에 사용자의 맥락과 API, 연결 정보를 쌓을수록 다른 시스템으로 옮기는 마찰도 커진다고 봤다.

그는 결과적으로 경쟁이 공개 모델과 비공개 모델의 비교를 넘어, 개방형 기술 스택과 폐쇄형 기술 스택의 경쟁으로 확장될 수 있다고 설명했다.

## SaaS 통합 전망에도 교체가 어려운 영역은 남는다

아로라는 보안 고객이 40개나 되는 솔루션을 구매해 직접 연결해야 하는 구조를 비효율적이라고 봤다. 각 분야의 좋은 제품을 통합하고 데이터가 함께 작동하게 만드는 일을 공급자가 맡아야 한다는 주장이다.

그는 과거 첫 직장에서 오늘날 고객관계관리 시스템에 해당하는 기능을 23개 시스템으로 처리했다고 회고했다. 이후 이런 기능이 하나의 플랫폼으로 통합됐듯 보안 시장도 비슷한 길을 갈 것이라고 예상했다.

보안 밖에서는 소프트웨어의 장기 가치 자체를 판단하기 어려워졌다고 말했다. AI를 제대로 적용했을 때 기존 패키지 소프트웨어가 어떻게 작동해야 하는지는 상상할 수 있지만, 현재 업체가 향후 5\~8년을 살아남을지는 불확실하다는 것이다. 이는 SaaS, 즉 서비스형 소프트웨어가 큰 변화를 겪을 것이라는 그의 전망으로 이어졌다.

크리슈나 역시 기업이 사용하는 수많은 소프트웨어 가운데 일부 기능을 AI로 대체하고, 소수의 주요 플랫폼으로 통합할 가능성을 제시했다. 개별 소프트웨어의 가치가 낮아지면 각각 별도의 유통 비용을 감당하기도 어려워진다는 설명이다. 다만 변화의 시점은 6개월에서 6년 사이로 넓게 열어뒀다.

그는 교체 난도도 구분했다. 사용자와의 상호작용에서 가치가 많이 생기는 소프트웨어는 AI가 대체하기 쉽지만, 소매 금융의 데이터베이스 조회나 결산처럼 극도로 높은 신뢰성이 필요한 기능은 AI가 생성한 소프트웨어로 쉽게 교체하기 어렵다고 봤다.

두 사람의 논의는 기업 AI를 하나의 최고 성능 모델로 설명하지 않았다. 작업별 비용과 위험, 시스템 통제권, 통합의 이점이 서로 다른 선택을 만든다는 관점이다. 소프트웨어 통합을 예상하면서도, 높은 신뢰성을 입증해야 하는 시스템에는 별도의 교체 조건이 남는다고 봤다.

---

원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://www.youtube.com/watch?v=yzk44lz-RGI)