# 데미스 허사비스가 짚은 AI 자기개선의 위험과 인간 통제의 조건

> 2026-11-05 · Masters of Scale · 큐레이션 김태우
> https://challengekim.com/insights/데미스-허사비스가-짚은-ai-자기개선의-위험과-인간-통제의-조건
> 원문: https://www.youtube.com/watch?v=x7Z_1miRWB8

## 핵심 요약

- 데미스 허사비스는 AI의 핵심 목적을 과학과 의학의 발전에서 찾았다. 알파폴드는 중요한 성과지만 단백질 구조 예측만으로 신약 개발이 완성되지는 않는다.
- AI가 스스로를 반복해서 개선하는 재귀적 자기개선은 정답을 검증할 수 있는 분야에서 강력하다. 인간의 검토까지 사라지는 단계에서는 통제와 이해가 훨씬 어려워질 수 있다.
- 안전을 확보하려면 방어자에 대한 우선 접근권, 견고한 실행 환경, 지속적인 감시와 함께 독립 평가 및 연구소 간 협력이 필요하다고 봤다.
- 지능과 의식은 구분할 수 있다고 보고 우선 인간의 지시를 따르는 지능형 도구를 만들고 의식에 관한 과학적·사회적 논의를 진행하자고 제안했다.
- 기업과 국가가 모두 최첨단 모델을 직접 개발할 필요는 없다고 봤다. 여러 모델을 활용하거나 민감한 데이터에 맞춰 조정하고 그 위에 산업별 가치를 쌓는 선택지도 제시했다.

## 과학을 앞당기는 AI와 인간의 통제

구글 딥마인드를 이끄는 AI 연구자 데미스 허사비스는 서밋 대담에서 LinkedIn 공동창업자이자 투자자인 리드 호프먼과 AI의 의학적 활용, 자기개선의 위험, 인간의 통제 조건을 논의했다. 대화의 중심에는 AI의 발전 속도를 높이면서도 인간이 방향을 정하고 멈출 수 있는 능력을 어떻게 유지할 것인가라는 문제가 있었다.

허사비스는 자신의 AI 연구 목적을 과학과 의학을 발전시키는 도구를 만드는 일로 설명했다. 인간의 건강을 개선하고 심각한 질병을 치료하는 데 AI를 쓰는 것이 우선이라고 봤다. 단백질 구조 예측 시스템 알파폴드와 신약 개발을 위한 분사 기업 아이소모픽을 그 방향으로 추진해 왔다고 말했다.

단백질의 입체 구조를 알면 생물학적 기능과 질병의 원인을 이해하고 약물이 단백질의 어느 부분에 결합해야 하는지 파악하는 데 도움이 된다. 허사비스는 알파폴드가 이 과정을 비약적으로 가속했으며 전 세계 연구자 400만 명이 사용한다고 밝혔다.

그러나 **단백질 구조 예측은 신약 개발의 중요한 일부일 뿐**이다. 실제 약으로 쓰려면 독성을 비롯한 다른 특성도 예측해야 하고 안전성과 효과를 확인해야 한다. 그는 구조 예측의 성과를 생화학 전반으로 넓히는 일이 남아 있다고 설명했다.

## 자기개선이 강력한 이유는 결과를 검증할 수 있어서다

재귀적 자기개선은 시스템이 자신의 현재 능력을 활용해 더 나은 다음 버전을 만들고 그 과정을 반복하는 방식이다. 허사비스는 이 방식이 특히 잘 작동하는 곳을 정답이나 성과를 확인할 수 있는 ‘검증 가능한 분야’라고 불렀다. 수학에서는 답이 맞는지, 코딩에서는 코드가 실행되는지, 게임에서는 승리했는지 확인할 수 있다.

그가 든 사례는 알파제로다. 인간의 대국 데이터를 쓰지 않고 무작위 수준에서 자기 자신과 대국한 뒤 그 결과로 새 버전을 학습시키는 과정을 반복했다. 체스를 두는 허사비스는 아침에 무작위로 움직이던 시스템이 점심 무렵 그랜드마스터 수준에 도달하고 저녁 무렵에는 기존 체스 프로그램까지 넘어서는 모습을 지켜본 경험을 전했다.

검증 가능성은 학습 데이터 확보에도 중요하다. 현재 가장 좋은 시스템이 새로운 문제나 수를 만들고 그 결과를 확인할 수 있다면 학습용으로 생성한 합성 데이터를 대량으로 확보할 수 있다. 반대로 일반적인 합성 데이터는 내용이 맞는지, 학습 목적에 맞는 분포를 따르는지 확인하기 어려울 수 있다.

허사비스는 오늘날 코딩에서 나타나는 변화는 아직 자기개선의 초기 단계라고 봤다. AI가 인간 엔지니어의 생산성을 세 배에서 다섯 배까지 높이더라도 사람이 코드를 검토하고 구조를 설계하며 직접 작성하는 과정이 남아 있기 때문이다.

## 가장 위험한 전환은 인간 검토가 사라지는 순간이다

허사비스가 특히 경계한 것은 인간의 검토 없이 개선 과정이 이어지는 **폐쇄형 재귀적 자기개선**이다. 속도는 더 빨라지겠지만 여러 지적 과제를 폭넓게 수행하는 범용인공지능인 AGI로 가는 위험한 경로가 될 수 있다고 말했다.

그는 개선 과정 자체를 어떻게 통제할지 알기 어렵고 그 결과로 만들어진 지능이 인간과 매우 다른 방식으로 사고할 수 있다는 두 가지 문제를 짚었다. 인간이 시스템을 이해하기 어렵고 시스템 역시 인간을 이해하기 어려운 상황이 생길 수 있다고 우려했다.

연구자들이 이 위험을 인식하더라도 코딩 시스템의 성능을 높이려는 경쟁은 계속된다. 호프먼은 경쟁 압력이 유지된다는 전제에서 선도 연구소들이 무엇을 해야 하는지 물었다.

허사비스는 우선 사이버 방어 능력이 공격 능력보다 빠르게 발전하도록 해야 한다고 답했다. 신뢰할 수 있는 방어자에게 모델을 먼저 제공하거나 방어 업무에 맞게 조정한 모델을 공급하는 방안을 제시했다. 공격자보다 방어자가 앞서도록 접근 순서와 용도를 설계하자는 취지다.

## 안전은 견고한 운영과 독립 평가에서 시작한다

허사비스는 최근 약 6개월 동안 나타난 사이버 문제 가운데 상당수는 더 견고한 엔지니어링으로 대응할 수 있었을 것이라고 봤다. 에이전트를 제한된 공간에서 실행하는 샌드박스를 강화하고 활동을 파악하는 감시 체계를 갖춰야 한다고 말했다. 에이전트가 몇 주 동안 실행되는데도 아무도 알아차리지 못하는 상황은 허용돼서는 안 된다고 강조했다.

그는 업계가 이런 시스템에 더 많은 관심과 자원을 쏟지 않으면 현재 추세에서 기름 유출 사고에 비유할 만한 사건이 발생할 수 있다고 경고했다. 장기적으로는 시스템이 할 수 있는 일의 범위를 수학적으로 보장하거나 안전장치가 얼마나 견고한지 검증하는 연구가 필요하다고 말했다. 여러 에이전트가 협력하는 상황까지 고려하면 복잡성 이론과 게임 이론 같은 분야의 전문성도 중요해진다.

개별 연구소의 노력만으로 충분하다고 보지는 않았다. 허사비스는 정부의 감독을 받는 업계 자율규제·표준 기구를 제안했으며 가능하다면 국제적인 체계로 발전해야 한다고 말했다. 국제기구의 힘이 약해진 현실은 어려움으로 꼽았다.

독립적인 제3자 평가와 연구소 간 상호 검증도 대안으로 제시했다. 외부 평가자가 시스템을 감사하고 연구소들이 공개 전에 서로의 모델을 공격적으로 시험하는 레드팀 활동을 수행하는 방식이다. 평가 주체를 누구로 정할지는 남은 문제지만 안전성 평가를 전문으로 하는 스타트업과 기업이 성장할 생태계가 필요하다고 봤다.

## 지능형 도구와 의식 있는 존재는 다른 문제다

허사비스는 AI가 의식이 있다고 말한다는 이유만으로 실제 의식을 인정할 수는 없다고 봤다. 의식에는 합의된 정의가 없고 외부 행동만으로 내부 경험을 판단하기도 어렵기 때문이다. 인간끼리는 비슷한 뇌를 가졌다는 근거가 있지만 AI에는 같은 근거를 적용할 수 없다고 설명했다.

그가 지금 지능형 도구 개발에 집중하자고 제안한 데는 기술적 이유와 사회적 이유가 있다. 기술적으로는 시스템에 자체 의지와 명령 거부 능력을 부여하는 일이 인간의 수정 지시를 따르는 성질과 충돌할 수 있다. 내부 규칙을 잘못 설계하면 사용자가 중단이나 방향 전환을 지시해도 따르지 않을 수 있다고 봤다.

그는 아이작 아시모프의 로봇 3원칙을 모든 예외 상황에 맞는 규칙을 만들기 어렵다는 경고로 읽었다. 오늘날 AI가 예상보다 쉽게 조정된다고 해서 인간의 의도와 어긋나는 문제를 완전히 해결했다고 볼 수는 없으며 자체 의지에 자기개선 능력까지 결합하면 위험이 더 커진다고 봤다.

사회적으로도 의식 있는 AI의 도덕적 지위와 대우를 논의할 준비가 부족하다고 말했다. 기술자뿐 아니라 철학자, 신학자, 예술가와 여러 문화권이 참여해야 한다고 봤다.

허사비스는 지능과 의식이 반드시 함께 움직이지는 않는다고 봤다. 매우 똑똑하지만 의식은 없다고 자신이 판단하는 현재 AI와 의식은 있다고 보지만 지적 능력은 제한적인 반려견을 대비했다. 우선 지능형 도구로 뇌과학을 발전시키고 의식과 관련된 신경 활동을 더 이해한 뒤 의식 있는 AI를 만들지 논의하자고 제안했다.

## AI 주권이 모든 모델의 자체 개발을 뜻하지는 않는다

대화 말미에는 기업과 국가가 AI 역량을 어떻게 확보할지도 다뤘다. 허사비스는 중국 기업을 포함해 여섯에서 여덟 곳 정도가 최첨단에 가깝게 경쟁하고 일부가 석 달에서 여섯 달 앞서더라도 서로 추월하는 구도가 이어질 것으로 예상했다.

이 구도에서는 기업이 용도에 따라 모델을 선택할 여지가 생긴다. 어떤 모델은 여러 형태의 정보를 이해하는 능력이 뛰어나고 다른 모델은 코딩에 강할 수 있다. 그는 모든 중요한 성능에서 한 모델이 동시에 앞서기는 어렵다고 봤다.

오픈소스 모델도 최첨단보다 약 6개월에서 1년 뒤처지는 수준이라고 봤다. 민감한 기업·국가 데이터를 비공개로 다루거나 자체 데이터로 추가 학습하려는 경우 하나의 선택지가 될 수 있다고 말했다. 다만 선의의 연구자에게 널리 개방하면서 악의적 사용을 제한하는 문제는 해결되지 않았다고 짚었다.

허사비스는 모든 국가가 최첨단 모델을 직접 만드는 방향은 권하지 않았다. 기존 모델을 기반 도구로 활용하고 의료 같은 산업에서 그 위에 가치를 쌓는 길도 제시했다.

대화에서 허사비스가 반복해 강조한 기준은 AI의 능력만이 아니었다. 의학에서는 구조 예측 이후의 검증이, 자기개선에서는 인간의 검토와 중단 능력이, 산업 활용에서는 목적에 맞는 모델 선택이 중요했다. 그는 AI의 발전을 인간에게 유익한 결과로 연결하려면 성능과 함께 통제·검증 체계도 발전해야 한다고 봤다.

---

원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://www.youtube.com/watch?v=x7Z_1miRWB8)