핵심 요약

  • 시그널 대표 메러디스 휘터커는 여러 앱의 데이터에 접근하고 사용자를 대신해 행동하는 AI 에이전트가 기존 보안 장벽을 허물 수 있다고 경고했다.
  • 어번던스 인스티튜트의 AI 정책 책임자 닐 칠슨은 에이전트를 완벽한 시스템보다 이미 개인정보가 광범위하게 수집되는 현재 인터넷과 비교해야 한다고 봤다.
  • 두 사람은 더 안전한 시스템이 필요하다는 데 동의했지만 사용하면서 개선할 수 있는 위험인지, 먼저 설계를 바꿔야 하는 문제인지를 놓고 갈렸다.
  • 사용자가 부여한 접근 권한에는 연락처와 대화 상대의 정보도 포함된다. 따라서 에이전트 사용을 개인의 선택만으로 설명하기 어렵다는 쟁점이 남았다.

편리한 비서에게 어디까지 맡길 것인가

매체 마스터스 오브 스케일이 마련한 이번 토론에는 메신저 시그널의 대표 메러디스 휘터커와 어번던스 인스티튜트의 AI 정책 책임자 닐 칠슨이 참여했다. 두 사람은 AI 에이전트, 즉 사용자의 목표에 따라 여러 작업을 수행하는 소프트웨어에 개인정보를 계속 맡겨도 되는지를 논의했다.

토론의 쟁점은 에이전트가 유용한지보다 그 유용성을 얻기 위해 어느 범위의 데이터와 행동 권한을 내줘야 하는가였다. 휘터커는 생일 파티 예약을 예로 들었다. 에이전트가 친구들과 일정을 조율하고 식당을 예약하려면 연락처, 달력, 결제 정보, 단체 대화에 접근해야 한다. 브라우저를 조작하며 사용자 대신 예약을 진행할 권한도 필요하다.

각 단계는 편리하지만 이를 한 에이전트에 모으면 여러 앱에 나뉘어 있던 정보와 권한이 한곳으로 집중된다. 휘터커는 바로 이 구조를 문제 삼았다. 칠슨은 일정 관리나 가격 비교처럼 과거에는 경제적 여유가 있는 사람만 다른 이에게 맡길 수 있었던 일을 더 많은 사람이 위임할 수 있다는 점에 무게를 뒀다.

외부 문장을 명령으로 받아들이는 위험

휘터커가 지목한 핵심 위험은 프롬프트 인젝션이다. 에이전트가 읽는 외부 자료에 지시문을 끼워 넣어 사용자가 맡긴 목적과 다른 행동을 하도록 유도하는 공격을 뜻한다. 에이전트가 자연어로 된 자료를 읽는 동시에 자연어 명령을 따라 움직이기 때문에 생기는 문제다.

그는 온라인 댓글로 에이전트 브라우저를 공격한 사례와 구글 캘린더를 이용한 공격으로 스마트홈 보일러를 켜도록 유도한 연구 사례를 들었다. 외부 정보를 읽는 기능과 실제 행동을 수행하는 권한이 연결되면 잘못된 지시를 받아들여 정보가 유출되거나 기기가 조작될 수 있다고 우려했다.

칠슨은 신뢰 여부를 일괄적으로 결정할 수 없다고 반박했다. 어떤 에이전트인지, 어떤 용도로 쓰는지, 무슨 권한을 요구하는지에 따라 판단이 달라진다고 봤다. 자신도 대부분의 경우 에이전트가 온라인 정보를 읽도록 허용하지만 글을 쓰게 하지는 않는다고 밝혔다.

두 사람 모두 위험의 존재는 인정했다. 휘터커는 지금의 설계가 만드는 위험을 먼저 따져야 한다고 봤고 칠슨은 제한된 권한과 용도로 사용하며 검증하는 접근이 가능하다고 봤다.

개인정보 보호의 수고도 대신할 수 있다는 반론

칠슨은 지난 인터넷의 거래 구조를 기업이 이용자 데이터를 수집하고 광고 수익으로 서비스를 제공하는 방식으로 설명했다. 에이전트는 같은 데이터를 사용자의 목적에 맞게 활용할 수 있으므로 그 관계를 바꿀 여지가 있다고 주장했다.

그가 특히 강조한 것은 개인정보 보호에 드는 수고였다. 사람은 긴 개인정보 처리방침을 읽거나 복잡한 보호 도구를 사용하는 일을 번거롭게 느낀다. 반면 에이전트는 반복 작업에 지치지 않으므로 약관을 비교하고 개인정보 보호 절차를 대신 수행할 수 있다고 봤다.

칠슨은 토론 당일 호텔에서 짧은 지시만으로 미국의 주요 데이터 중개업체 다섯 곳을 대상으로 자신의 정보 수집·이용을 거부하는 절차를 에이전트에 맡겼다고 밝혔다. 그는 이런 작업을 쉽게 만드는 것만으로도 일반 이용자에게 실질적인 도움이 될 수 있다고 봤다.

칠슨이 비교 대상으로 삼은 것은 개인정보가 완벽하게 보호되는 가상의 인터넷이 아니다. 그는 사람들이 이미 편의를 얻는 대가로 정보를 내주는 현재 상황보다 에이전트가 나은 선택을 제공할 수 있는지 따져야 한다고 말했다.

내 선택에 다른 사람의 정보도 포함된다

휘터커는 사용자가 에이전트에 동의했다고 해서 그 데이터에 등장하는 다른 사람까지 동의한 것은 아니라고 지적했다. 연락처에 접근하면 주소록 속 사람들의 정보가 포함되고 메시지를 읽으면 대화 상대가 보낸 내용까지 처리하게 된다.

그는 편의를 위한 선택이 인권 활동가처럼 통신의 비밀이 중요한 사람에게는 심각한 위험을 만들 수 있다고 경고했다. 위험이 비교적 낮은 환경에서 내린 판단을 모든 사용자에게 적용할 수 없다고 봤다.

진행자가 인간 비서와 디지털 비서의 차이를 묻자 휘터커는 책임 관계를 들었다. 인간 비서는 계약으로 관계를 맺고 정보의 민감성을 이해하며 잘못을 저지르면 책임을 물을 수 있다고 설명했다. 그는 이런 관계를 광범위한 기기 접근 권한을 가진 소프트웨어와 같게 볼 수 없다고 말했다.

칠슨도 정보를 공유할 때 다른 사람의 정보까지 공유될 수 있다는 점은 인정했다. 다만 에이전트만의 문제는 아니며 에이전트가 이용자의 판단을 돕는 도구를 제공할 수도 있다고 봤다. 복잡한 약관에서 중요한 문제를 찾아 알리는 기능이 그 예다.

권한을 줄여도 약속한 편의를 제공할 수 있나

휘터커는 에이전트가 화면을 캡처하고 글자를 인식해 저장하며 외부 서버에서 처리하는 경우를 설명했다. 이런 방식으로 메시지 내용에 접근하면 앱 내부의 보안만으로는 개인정보를 보호하기 어려워진다고 봤다.

그가 시그널의 관점에서 우려한 것도 이 지점이다. 메시징 앱의 암호화가 견고하더라도 운영체제 수준의 접근 권한을 가진 에이전트가 메시지를 읽을 수 있다면 보호 범위가 달라진다. 앱의 보안에 더해 에이전트가 그 정보를 어떻게 처리하는지까지 신뢰해야 한다.

접근 범위를 나누고 특정 데이터에 접근하거나 행동하기 전에 사용자 승인을 받도록 설계할 수는 있다. 휘터커는 이런 장치를 인정하면서도 제품이 내세우는 약속과 충돌한다고 봤다. 매 단계 확인을 요구하면 자율성이 줄고 데이터와 앱 접근을 제한하면 무엇이든 대신해 주겠다는 약속을 지키기 어려워진다.

칠슨은 모든 에이전트에 기기 전체 접근 권한이 필요한 것은 아니라고 맞섰다. 권한을 단계별로 부여하고 좁은 작업부터 시험할 수 있다고 봤다. 진행자는 뉴스레터만 받는 별도 이메일 계정을 읽게 하고 요약을 맡기는 방식을 예로 들었다.

신뢰의 근거를 어디에 둘 것인가

칠슨은 개인정보를 중시하는 사람들이 에이전트 개발과 사용에 참여해야 더 나은 제품을 만들 수 있다고 주장했다. 메시징 서비스도 위험 때문에 포기한 것이 아니라 더 나은 플랫폼을 만들며 발전했다고 설명했다. 그는 에이전트 기업에도 고객에게 유용하고 안전한 제품을 제공할 사업적 유인이 있다고 봤다.

휘터커는 제품의 약속보다 확인 가능한 기술 구조가 먼저라고 강조했다. 시그널 역시 자신이나 회사를 믿으라고 요구하기보다 공개된 코드를 검증할 수 있도록 한다고 설명했다. 그는 에이전트가 사용자에게 권한을 돌려준다는 설명에도 이견을 보였다. 여러 서비스의 데이터를 모으는 과정에서 오히려 AI 기업과 운영체제 사업자에게 데이터와 통제력이 집중될 수 있다고 우려했다.

두 사람은 에이전트의 유용성과 보안 개선의 필요성에는 뜻을 같이했다. 끝내 갈린 것은 신뢰를 쌓는 순서였다. 칠슨은 권한을 제한해 사용하고 검증하며 개선하자는 입장이었고 휘터커는 그 과정에서 누구의 정보와 어떤 보안 장벽이 위험에 놓이는지부터 따져야 한다고 봤다.