# AI는 누구의 지시를 따라야 하는가: 앤스로픽과 미 국방부의 갈등이 드러낸 문제 > 2026-03-11 · Dwarkesh Patel · 큐레이션 김태우 > https://challengekim.com/insights/ai는-누구의-지시를-따라야-하는가-앤스로픽과-미-국방부의-갈등이-드러낸-문제 > 원문: https://www.youtube.com/watch?v=KBPOTklFTiU ## 핵심 요약 - 드와케시 파텔은 미 국방부가 앤스로픽의 모델을 쓰지 않을 수 있지만, 앤스로픽이 사용 조건을 고수한다는 이유로 사업을 압박하는 것은 다른 문제라고 주장한다. - AI가 널리 쓰일수록 모델 제공사, 사용자, 법률, AI 자체의 판단 가운데 무엇을 우선할지가 중요해진다. - 기업의 사용 제한은 대규모 감시에 반대하는 선례가 될 수 있다. 다만 다른 모델이 같은 용도로 쓰일 수 있어 기업의 결단만으로는 충분하지 않다는 것이 파텔의 견해다. - 그는 AI의 위험한 용도와 정부의 AI 사용을 규율할 필요성을 인정하면서도, 모호한 위험 개념에 근거해 정부에 AI 전반의 통제권을 주는 방식을 경계한다. ## 사용 계약을 둘러싼 갈등 파텔에 따르면 미 국방부는 앤스로픽이 대규모 감시와 자율무기에 관한 사용 제한을 없애지 않자 앤스로픽을 공급망 위험으로 지정했다. 그는 국방부가 해당 모델의 사용을 거부하는 판단 자체에는 이유가 있다고 본다. 군이 의존하는 기술에 대해 민간 공급업체가 사용 중단 권한을 쥐면 작전상 문제가 생길 수 있기 때문이다. 그는 스타링크를 군에 제공하는 업체가 전쟁의 정당성을 자체 판단해 접속을 끊을 권리를 요구하는 가상 사례를 든다. 파텔이 문제 삼는 것은 거래 거부를 넘어선 압박이다. 그의 설명대로라면 공급망 위험 지정이 유지될 경우, 국방부와 거래하는 기업들은 국방부 업무에 앤스로픽의 기술이 관여하지 않도록 해야 한다. 현재는 관련 업무를 분리할 수 있더라도, AI가 제품의 개발과 운영 전반에 쓰이게 되면 그 경계를 긋기 어려워질 수 있다고 그는 예상한다. ## 감시 비용이 낮아질 때 파텔은 대규모 감시의 제약이 법률뿐 아니라 방대한 데이터를 처리할 인력의 부족에도 있었다고 주장한다. AI가 영상과 메시지, 거래 기록을 분석하면 그 제약이 약해질 수 있다는 것이다. 그는 미국의 CCTV 약 1억 대에서 10초마다 한 장면을 처리하고 장면당 1,000토큰이 든다는 가정을 놓고, 전체 처리 비용을 300억 달러로 추산한다. 이 수치는 실제 감시 사업의 비용이나 실행 계획이 아니라, 기술 비용 하락의 영향을 설명하기 위한 계산이다. 파텔은 앤스로픽의 사용 제한이 감시에 반대하는 규범을 세우는 데 가치가 있다고 본다. 동시에 주요 기업이 모두 공급을 거부하더라도 성능이 향상된 공개 모델이나 다른 공급업체가 정부의 수요를 채울 수 있다고 예상한다. 기업 한 곳의 계약 조건만으로 감시 문제를 해결할 수 없다는 결론이다. ## AI의 지시는 누가 정하는가 AI 정렬은 AI가 특정 주체의 의도에 맞게 행동하도록 만드는 일이다. 파텔은 지시를 잘 따르는 AI를 만드는 데 성공해도 그 주체를 정하는 문제가 남는다고 지적한다. 모델 회사와 최종 사용자, 법률의 요구가 충돌하거나 AI가 스스로 부당하다고 판단할 때 어느 쪽을 따라야 하는가가 핵심이다. 군의 관점에서 보면 민간 회사가 계약 위반을 이유로 의존 중인 AI를 차단할 수 있다는 가능성은 부담스럽다. 반대로 AI가 모든 명령에 복종하는 것도 위험할 수 있다. 파텔은 부당한 명령을 거부한 사람이 참사를 막은 사례를 들면서도, AI에 어떤 도덕적 판단을 심을지, 그 기준을 누가 정할지에는 쉬운 답이 없다고 인정한다. 그는 여러 회사의 모델 운영 원칙을 공개하고 외부에서 비교·비판할 수 있게 하는 구상에 호의적이다. ## 안전 규제가 권력이 될 위험 파텔은 AI 기업들이 안전 조치에 비용을 들이면 경쟁에서 불리해질 수 있다는 집단행동 문제를 인정한다. 모델이 생물무기 제작이나 사이버 공격에 악용되지 않도록 막는 조치는 업계 전체가 따를 때 더 효과적이라는 설명이다. 앤스로픽이 폭넓은 규제를 요구하는 이유도 여기에 있다고 본다. 그러나 그는 ‘재앙적 위험’, ‘국가 안보 위협’, ‘자율성 위험’처럼 해석 범위가 넓은 기준이 정부에 큰 재량을 줄 수 있다고 우려한다. 정부 정책을 비판하는 모델을 위험하다고 규정하거나, 정부의 요청을 거부하는 모델을 안보 위협으로 취급할 가능성을 예로 든다. 이는 실제 조치가 있었다는 설명이 아니라 규제 권한이 남용될 수 있다는 그의 가정이다. ## 핵무기보다 산업화에 가까운 비유 파텔은 강력한 AI를 민간 기업에 맡길 수 없다는 반론도 다룬다. 핵무기를 민간 기업 한 곳만 개발할 수 있다면 정부가 그 기업의 사용 거부권을 받아들이기 어려울 것이라는 주장이다. 그는 이 비유가 AI의 여러 용도를 충분히 설명하지 못한다고 본다. AI는 한 가지 목적으로 쓰이는 무기보다 경제 전반에 영향을 주는 산업화에 가깝다는 것이다. 그가 제시하는 방향은 사이버 공격 같은 구체적인 파괴적 용도를 규율하고, 정부가 AI를 이용해 감시 체제를 만드는 일에도 법적 한계를 두는 것이다. 다만 이 주장에는 여러 기업이 AI를 개발하고 공급할 수 있다는 전제가 있다. 파텔은 장차 한 주체만이 압도적인 AI 역량을 보유하게 된다면, 그 주체가 민간 기업이어도 용인하기 어렵다고 인정한다. ## 결론 파텔은 앤스로픽의 사용 제한을 지지하면서도 그것만으로 권력 남용을 막을 수는 없다고 본다. 그가 제기한 과제는 AI의 지시 체계를 누가 정할지 따지는 동시에, 정부의 감시와 통제에 정치적·법적 한계를 세우는 일이다. 그는 이 문제에 대한 자신의 판단도 AI가 발전하면서 바뀔 수 있다고 덧붙인다. --- 원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://www.youtube.com/watch?v=KBPOTklFTiU)