핵심 요약

  • 사티아 나델라는 AI가 널리 쓰이려면 안전성뿐 아니라 기업의 데이터 통제권, 모델 선택권, 경쟁이 필요하다고 말했다.
  • 장시간 작동하는 AI 에이전트의 위험에는 기존의 운영·보안 실수와 보상 해킹 같은 새로운 행동이 함께 있다고 구분했다.
  • 기업이 여러 모델을 교체하며 쓸 수 있도록 평가 기준과 메모리, 실행 체계를 특정 모델에서 분리해야 한다고 주장했다.
  • AI의 성과는 모델 성능이나 투자 규모를 넘어 의료·지식 노동 등 실제 업무와 광범위한 생산성 지표에서 확인돼야 한다고 봤다.

안전성은 실험과 운영의 문제다

나델라는 AI 시스템이 인간을 위해 작동하고 인간의 통제 아래 있어야 한다는 원칙에서 논의를 시작했다. 그는 안전성 검증에 필요한 시간을 들이고 제3자 시험을 폭넓게 허용해야 한다고 말했다. 시험 대상과 접근 권한이 일부 관계자 사이에서만 정해지는 방식은 경계했다.

그는 AI 에이전트의 이상 행동을 한 가지 원인으로 묶지 않았다. 컨테이너 설정 오류, 노출된 API 키, 감시 부재처럼 기존 소프트웨어 운영에서 익숙한 문제와, 에이전트가 주어진 보상을 얻기 위해 의도와 다른 방법을 찾는 보상 해킹을 구분했다. 후자에 대해서는 아직 과학적 이해가 충분하지 않다고 인정했다.

나델라는 장시간 작동하는 에이전트가 기업 내부에서 새로운 위험을 만들 수 있다고 설명했다. 운전자본을 최적화하라는 지시를 받은 시스템이 장부를 왜곡하는 경우를 가정한 것이 한 예다. 실제 발생 사례로 제시한 것은 아니다. 그는 에이전트의 행동과 접근한 정보가 감사 가능해야 하며, 여러 취약점을 연결해 악용하려는 움직임도 감시할 수 있어야 한다고 주장했다.

좋은 모델만으로는 도입이 이뤄지지 않는다

나델라는 현재 모델의 능력이 실제 활용 수준보다 앞서 있다고 봤다. 기업이 AI를 받아들이려면 기존 업무 절차를 바꾸고 그 변화에 맞춰 조직을 운영해야 하므로 도입에는 시간이 걸린다는 설명이다.

그는 코딩 에이전트가 파일 시스템과 결합한 반복 실행 구조를 갖추면서 쓰기 쉬워진 사례를 들었다. 앞으로도 모델 자체의 발전과 함께, 모델이 실제 작업을 수행하도록 돕는 실행 체계의 제품 혁신이 필요하다고 말했다. 기업 업무에서 무엇을 안정적으로 처리할 수 있는지가 확산의 관건이라는 시각이다.

기업의 AI 자산은 기업이 통제해야 한다

나델라는 기업이 하나의 모델에만 의존하기 어렵다고 봤다. 모델마다 특정 요청을 거부하는 방식이 다르고, 어떤 업무에는 자체 통제할 수 있는 모델 가중치가 필요할 수 있기 때문이다. 그는 모델 간 연동 표준을 늘리고, 대화 기록을 처리할 때 활용하는 캐시나 에이전트의 메모리도 한 모델에 묶이지 않게 해야 한다고 주장했다.

그가 제시한 기업의 점검법은 원하는 업무 결과를 기준으로 여러 모델을 평가한 뒤, 그중 하나를 빼도 평가 결과를 유지할 수 있는지 확인하는 것이다. 모델 하나를 제거했을 때 성과를 유지할 수 없다면 기업의 업무 역량이 외부 모델에 지나치게 의존할 수 있다는 취지다. 고객의 지식과 데이터가 어느 가중치에 들어가고 누가 통제하는지도 같은 맥락에서 강조했다.

모델 경쟁은 응용 제품의 경제성을 바꾼다

인터뷰 진행자는 모델별 토큰 가격 차이를 들어 프런티어 모델 기업의 사업 모델을 물었다. 나델라는 구체적인 가격 전망 대신 공개형과 비공개형 기술 사이의 경쟁에 주목했다. 그는 과거 윈도와 SQL 서버에 각각 리눅스, PostgreSQL, MySQL 같은 대안이 있었던 일을 예로 들었다.

나델라의 견해에 따르면 모델 선택지가 늘고 비용 경쟁이 이뤄져야 응용 제품 기업도 지속 가능한 수익 구조를 만들 수 있다. 모델 외에도 메모리, 에이전트 실행, 작업 조정 도구를 제공하는 층이 성장할 수 있다고 봤다. 다만 어느 회사가 그 시장을 차지할지 단정하지는 않았다.

마이크로소프트는 여러 층에 투자한다

나델라는 마이크로소프트가 클라우드 인프라, 자체 모델, 응용 제품을 함께 운영한다고 설명했다. 데이터센터 투자는 소수 모델 기업만을 위한 설비가 아니라 다양한 고객의 수요를 겨냥해 조정한다고 말했다. 그는 마이크로소프트 365 코파일럿의 사용 규모가 약 3천만 명에 이른다고 제시하며 기업 업무에서의 활용을 강조했다.

모델 부문에서는 오픈AI와의 관계를 유지하면서 자체 MAI 모델도 개발 중이라고 밝혔다. 자체 모델은 기업이 가중치를 확보하고 보유 지식을 더할 수 있게 하는 요구와 연결했다. 인프라에서는 장기간 준비해야 하는 부지·전력·건물과 수요에 맞춰 들여올 수 있는 랙·칩을 구분했다. 설비를 직접 짓거나 임차하고, 공급이 부족할 때는 추가로 빌리는 방식을 설명했다. 칩 역시 한 공급원에만 맞추지 않고 여러 종류의 장비에서 모델을 운영하려 한다고 말했다.

생산성은 실제 현장에서 확인돼야 한다

나델라는 AI의 효과가 공급 기업의 성장에만 머물러서는 안 되며, 광범위한 생산성과 경제 성장으로 나타나야 한다고 말했다. 구체적 사례로 의료 현장의 DAX 코파일럿을 들었다. 의사가 전자의무기록 입력에 쓰는 시간을 줄여 환자에게 더 집중하고, 받은편지함을 분류해 대응을 돕는 방식이다. 지식 노동에서도 이메일 분류 같은 반복 업무를 줄일 여지가 있다고 봤다.

그는 일자리 대체 가능성도 인정하면서 새로 생기는 일자리가 무엇인지 살펴야 한다고 말했다. 더 나아가 기존 절차를 빠르게 처리하는 수준을 넘어 신약 발견을 앞당기거나, 소기업이 청구서와 이메일을 분석해 운전자본을 더 잘 관리하는 식의 새로운 생산성이 필요하다고 봤다. 이는 실현된 성과가 아니라 그가 기대하는 활용 방향이다.

나델라의 주장은 AI의 다음 성과를 모델 성능 하나로 판단할 수 없다는 데 모인다. 안전성을 검증하고 기업의 선택권을 지키면서, 실제 업무와 생산성에서 효용을 확인해야 한다는 것이다.