핵심 요약

  • 사티아 나델라는 모델의 규모와 성능을 키우면 인간의 의도에 맞게 행동하는 정렬 문제도 해결될 것이라는 생각을 바꿨다. 모델 자체의 안전성과 별개로 에이전트의 행동을 통제할 보안 체계가 필요하다고 봤다.
  • 기업이 지켜야 할 자산에는 원본 데이터뿐 아니라 AI 사용 기록과 피드백도 포함된다. 나델라는 기업 고유의 업무 지식을 자체 평가 기준으로 축적하는 데 주목했다.
  • 업무가 달라지지 않고 실행 기록으로 학습할 수 있다면 항상 최신 모델을 쓸 필요는 없다. 공개 가중치 모델과 저렴한 비공개 모델이 함께 경쟁할 것으로 전망했다.
  • 기업의 AI 도입에는 업무 설계와 기술 구현을 결합하는 역량이 필요하다. 대규모 인프라 투자가 이어지려면 AI가 실제 경제 성장과 매출로 연결돼야 한다고 봤다.

성능이 좋아져도 신뢰는 별도로 설계해야 한다

마이크로소프트 최고경영자 사티아 나델라는 해리 스테빙스가 진행하는 벤처투자 팟캐스트 20VC에서 AI 모델의 신뢰성과 기업의 활용 전략을 논의했다. 대화의 중심에는 기업이 외부의 강력한 AI를 쓰면서도 통제권과 고유한 지식을 어떻게 지킬 수 있느냐는 문제가 있었다.

나델라는 2018~2019년부터 모델의 규모를 키우면 성능이 향상된다는 스케일링 법칙을 믿었다. 당시에는 AI가 인간의 의도와 가치에 맞게 행동하도록 만드는 정렬도 그 과정에서 자연스럽게 이뤄질 것으로 생각했다. 지금은 성능 향상과 정렬을 서로 다른 문제로 본다. 모델 내부의 작동 원리를 이해하는 일도 여전히 어렵다고 했다.

그는 모델을 기본적으로 신뢰하지 않는 제로 트러스트 보안 체계를 제안했다. 모델이 잘못 행동할 수 있다는 전제에서 출발해 에이전트가 피해를 일으키기 전에 활동을 제한하는 환경을 만들자는 것이다.

나델라는 정렬을 모델 훈련, 어쩌면 사전학습 단계부터 다뤄야 한다고 봤다. 보상을 주며 행동을 학습시키는 강화학습만으로 정렬을 해결할 수 있다고 생각하지도 않았다. 그렇다고 모델 자체의 안전성이 해결될 때까지 외부 보안 장치를 미뤄야 한다고 보지는 않았다. 두 과제는 각각 진행할 수 있다고 말했다.

에이전트의 신원과 기록을 확보한다

나델라가 설명한 보안 체계는 에이전트마다 식별 가능한 신원을 부여하는 데서 시작한다. 도구 사용과 모델 호출 등 활동을 기록하고 에이전트가 자기 기록을 수정하지 못하도록 보호한다. 기업은 그 위에 정책을 설정하고 실제 행동이 정책에서 벗어나는지 감시한다.

여기에는 모델이 답을 내는 중간 추론 기록인 ‘사고 과정’도 포함된다. 다만 나델라는 이 기록이 모델의 실제 판단을 충실하게 드러낸다고 믿지는 않았다. 사고 과정 자체가 부정확할 수 있다는 점을 인정하면서도 이를 이유로 공급자가 기록을 감추면 검사가 더 어려워진다고 지적했다.

그는 신뢰 관계에 있는 파트너가 기록을 그대로 살펴보고 감사할 수 있어야 하며 여러 모델로 교차 점검할 수 있어야 한다고 봤다. 이를 위한 표준화도 필요하다고 했다.

이런 투명성 요구는 모델 선택에도 영향을 줄 수 있다. 나델라는 현재 비공개 모델의 성능이 더 강력하다고 보면서도 공급자가 파트너의 검증 요구를 충족하지 못하면 모델 가중치를 공개하는 쪽으로 수요가 움직일 수 있다고 전망했다. 성능뿐 아니라 검사하고 통제할 수 있는지가 채택 기준이 된다고 본 것이다.

기업의 지식은 데이터보다 넓다

나델라가 기업의 지능 소유를 강조한 이유는 AI를 사용하는 과정에서도 가치가 생기기 때문이다. 기업이 모델 공급자에게 보내는 것은 문서나 데이터만이 아니다. 결과에 대한 긍정·부정 피드백과 사용 흔적도 모델을 개선하는 자원이 될 수 있다.

그는 이를 ‘역정보 역설’이라고 불렀다. 경제학자 케네스 애로가 설명한 정보의 역설에서는 판매자가 비밀을 공개하는 순간 그 정보의 가치를 잃을 수 있어 보호가 필요하다. 나델라는 AI를 쓰는 환경에서는 구매자인 기업도 보호가 필요하다고 봤다. 기업의 사용 경험이 공급자의 자산으로만 쌓이면 자신이 만든 가치를 충분히 확보하지 못할 수 있다.

그렇다고 모든 기업이 자체 모델을 훈련해야 한다고 주장하지는 않았다. 지식은 모델 가중치에 넣을 수도 있지만 모델에 제공하는 업무 맥락이나 평가 기준에 담을 수도 있다.

나델라는 특히 기업별 비공개 평가 기준에 주목했다. AI가 일을 잘했는지 판단하는 자체 평가 벤치마크가 기업의 핵심 지식재산이 될 수 있다고 봤다. 여러 모델이 들어와 그 기준에서 더 나은 성과를 내도록 경쟁한다면 기업은 특정 모델에만 지식을 묶어 두지 않고도 고유한 판단 기준을 유지할 수 있다.

그는 이런 방식이 일부 AI 선도 기업에만 머물지는 않을 것으로 봤다. 과거 PC와 스프레드시트, 이메일, 클라우드가 먼저 도입한 기업에서 점차 확산됐듯 지금 특별해 보이는 AI 활용 방식도 몇 년 뒤에는 흔해질 수 있다고 전망했다.

최신 모델을 계속 쓸 필요는 없다

모델 시장에서 공개형과 비공개형 중 어느 쪽이 더 많은 사용량을 차지할지 묻자 나델라는 비율을 제시하지 않았다. 대신 최첨단 모델이 어떤 새로운 문제를 풀 수 있느냐에 달렸다고 답했다.

특정 업무의 성능이 충분한 수준에 도달하면 공개 가중치 모델이나 더 저렴한 비공개 모델로도 일을 처리할 수 있다. 특히 기업이 자기 업무의 실행 기록으로 모델을 학습시킬 수 있고 해결할 문제가 바뀌지 않았다면 같은 일을 하려고 최신 모델을 계속 고집할 이유가 줄어든다.

반대로 평가 목표가 계속 높아지거나 새로운 문제를 풀어야 한다면 최첨단 모델에 비용을 지불할 수 있다. 나델라는 과학이 그런 새로운 영역이 될 가능성을 언급했다. 최첨단 모델 시장은 남겠지만 전체 토큰 사용량의 상당 부분은 가격 경쟁이 치열한 범용 수요가 될 것으로 봤다. 이것이 곧 공개 모델만의 승리를 뜻하지는 않는다. 저렴한 비공개 모델도 경쟁하기 때문이다.

그는 실제 코파일럿에서도 저렴한 비공개 모델과 공개 가중치 모델을 함께 쓴다고 말했다. 마이크로소프트의 MAI 모델은 가중치를 공개하기보다 라이선스로 제공하는 사업 방식을 언급했다. 고객이 모델을 사용하고 통제할 수 있는 여러 형태의 소프트웨어 사업이 가능하다고 봤다.

AI 도입은 업무 설계와 기술 구현을 함께 바꾼다

기업이 이런 구조를 도입하려면 모델을 연결하는 것 이상의 작업이 필요하다. 무엇을 자동화할지, 성공을 어떻게 평가할지, 에이전트를 어떤 구조로 배치할지를 함께 정해야 한다.

나델라는 주문부터 대금 회수까지의 업무와 거래 관련 클레임을 에이전트로 처리하는 고객 사례를 들었다. 이 고객은 처음에는 최첨단 모델로 시작했고 이후 거래 관련 클레임 업무에는 더 저렴한 MAI 모델을 쓰고 있다고 설명했다. 자체 실행 기록으로 학습할 수 있다는 점이 모델을 바꾸고 통제하는 데 중요했다. 초기에는 외부 지원 인력이 투입됐지만 이후에는 고객의 IT팀이 시스템을 관리하게 됐다고 했다.

그가 예상한 새로운 도입 역량은 전통적인 경영 컨설팅, 시스템 통합, 기술 지원 중 하나에만 속하지 않는다. 업무 목표와 평가 기준을 정의하는 일에 기술 설계를 결합하는 형태다. 기존 시스템 통합 생태계도 이런 역할을 맡게 될 것으로 봤다.

산업 전체가 칩부터 모델, 애플리케이션까지 한 기업에 수직 통합될 것으로 단정하지도 않았다. 나델라는 각 계층에서 경쟁이 늘고 있다고 평가했다. 업무마다 적합한 모델을 골라 연결하는 구조도 가능하며 여러 계층에서 복수의 기업이 경쟁하고 조합될 수 있기를 기대했다. 다만 최종 산업 구조는 어떤 설계가 주류로 자리 잡느냐에 달렸다고 덧붙였다.

인프라 투자도 실제 경제 성과로 돌아와야 한다

나델라는 세계 경제의 성장을 기준으로 대규모 모델 훈련과 인프라 투자의 지속 가능성을 판단했다. 기업이 충분한 매출을 올리고 그중 일부를 연구개발에 지출하려면 AI가 경제 전체의 성장에 기여해야 한다고 봤다.

전력과 반도체 공급에는 제약도 있다. 발전 설비나 반도체 공장은 즉시 늘릴 수 없다. 수요에 맞춰 투자가 진행되고 있지만 새 공급이 가동될 때 수요와 어떤 균형을 이룰지는 알 수 없다고 했다.

그는 의료와 소프트웨어 개발을 유망한 활용 영역으로 꼽았다. 영국 국민보건서비스에서 코파일럿이 환자 치료 결과를 개선하고 비용을 낮출 수 있다면 경제적 기여가 된다고 봤다. 소프트웨어 개발에서는 생산 능력이 늘자 수요도 커지는 모습을 보며 그동안 처리하지 못한 개발 과제가 많았음을 확인했다고 했다.

다른 지식 업무로 같은 변화가 확산되기까지는 난점이 남아 있다. 코딩에서는 결과를 검증하고 보상을 주기 비교적 쉽지만 일반 지식 업무에서는 그 기준을 만들기가 더 어렵다. 나델라는 고객센터와 공급망 등에서도 가능성을 보고 있다고 하면서도 수요가 소프트웨어 개발만큼 늘어날지는 구분해 말했다.

나델라의 구상에서 기업의 AI 역량은 강력한 모델에 접근하는 데서 끝나지 않는다. 모델 밖에서 행동을 통제하고 사용하면서 생긴 지식과 평가 기준을 기업 안에 축적하며 업무에 맞춰 모델을 바꿀 수 있어야 한다. 그가 기업별 비공개 벤치마크를 강조한 이유도 여기에 있다.