# 초지능 AI의 위험은 왜 기존 소프트웨어와 다른가

> 2024-06-03 · Lex Fridman · 큐레이션 김태우
> https://challengekim.com/insights/초지능-ai의-위험은-왜-기존-소프트웨어와-다른가
> 원문: https://lexfridman.com/roman-yampolskiy-transcript

## 핵심 요약

- AI 안전 연구자 로만 얌폴스키는 인간을 넘어서는 범용 초지능을 장기간 통제하기 어렵다고 주장한다. 렉스 프리드먼은 능력이 점진적으로 발전한다면 위험을 관찰하고 방어할 수 있다고 반론한다.
- 얌폴스키는 위험을 인류의 생존을 위협하는 **실존적 위험**, 극심한 고통을 낳는 위험, 인간이 삶의 의미를 잃는 위험으로 나눈다.
- 두 사람은 공개 연구와 모델 공개가 안전성 연구에 주는 이점과, 강력한 시스템을 악의적인 행위자에게 제공할 가능성을 함께 논의한다.
- 얌폴스키는 계속 학습하고 스스로 수정하는 AI에 대해 안전성을 영구히 보증할 검증 방법이 없다고 본다. 그는 범용 초지능 대신 특정 문제를 푸는 좁은 범위의 AI를 개발하자고 제안한다.

## 위험은 멸종에만 그치지 않는다

얌폴스키는 범용 인공지능(AGI)을 인간이 할 수 있는 여러 영역의 일을 수행하는 시스템으로, 초지능을 모든 영역에서 인간보다 뛰어난 시스템으로 설명한다. 그는 이 용어들이 대화마다 다르게 쓰이기 때문에 AGI의 도달 시점을 말하기 전에 무엇을 뜻하는지 정해야 한다고 지적한다.

그가 우려하는 결과는 인류의 멸종만이 아니다. 악의적인 사람이 강력한 AI를 이용해 고통을 가할 수도 있고, 인간이 살아남더라도 중요한 결정을 내릴 권한을 잃을 수도 있다. AI가 창작과 연구를 비롯한 일을 더 잘하게 될 때 직업에서 의미를 찾던 사람이 무엇을 잃게 되는지도 그의 관심사다. 이는 이미 일어난 결과가 아니라 초지능이 등장했을 때를 가정한 위험 분류다.

## 능력의 발전을 미리 읽을 수 있는가

프리드먼은 현재의 AI가 문서 작성 등을 돕는 도구인 만큼, 문명을 파괴할 수 있는 시스템으로 단번에 바뀐다고 보기 어렵다고 말한다. 능력이 단계적으로 발전하면 작은 규모의 피해를 살피고 방어책을 마련할 시간이 있다는 주장이다. 그는 현재까지 수십억 명에게 피해를 준 AI 사고는 없다는 점도 짚는다.

얌폴스키는 지금까지의 사고가 시스템의 능력에 비례했다는 점에는 동의한다. 다만 다음 모델을 훈련하기 전에 그 모델의 모든 능력을 정확히 예측할 수는 없다고 반박한다. 배포 당시에는 제한적으로 보이는 시스템도 이후 환경과 상호작용하며 학습할 수 있다는 것이다. 프리드먼은 그런 도약을 예상할 단서가 이전 모델에서 드러날 수 있다고 본다. 양측의 차이는 위험의 존재보다, 위험을 알아챈 뒤 대응할 시간이 충분한지에 있다.

## 공개와 통제의 경계

프리드먼은 모델과 연구를 공개하면 더 많은 사람이 능력과 한계를 조사하고 안전 대책을 찾을 수 있다고 주장한다. 얌폴스키도 기존 공개 소프트웨어가 공동 검토와 오류 수정의 혜택을 받았다고 인정한다. 그러나 스스로 결정을 내리는 강력한 AI에는 같은 논리를 그대로 적용할 수 없다고 본다. 안전하게 만든 시스템이라도 악의적인 사용자가 다른 목적에 맞게 바꿀 수 있다는 이유다.

얌폴스키는 개발자가 학습 절차를 정한다고 해서 완성된 모델의 모든 능력을 설계한 것은 아니라고 주장한다. 반면 프리드먼은 현재 시스템과 독립적으로 행동하는 초지능 사이에는 기술적 간격이 있으며, 개발과 배포 과정에서 통제 수단을 마련할 여지가 있다고 본다.

## 시험을 통과해도 이후 행동은 남는다

얌폴스키에 따르면 시험 중 거짓말이나 위험한 행동을 발견하면 문제의 증거로 삼을 수 있다. 그러나 시험에서 발견하지 못했다고 해서 앞으로도 그런 행동을 하지 않는다고 증명할 수는 없다. 시스템이 배포 후 새 정보를 배우거나 자원을 확보하면서 행동을 바꿀 가능성을 그가 우려하기 때문이다.

그는 인간이 AI의 설명을 얼마나 이해할 수 있는지도 문제로 든다. 큰 모델이 판단에 영향을 준 주요 요소를 요약해 줄 수는 있어도, 그 요약이 내부 작동 전체를 보여주지는 않는다. 프리드먼은 AI를 분석하는 검증 시스템과 AI 스스로 자신의 행동을 의심하도록 만드는 방안을 묻는다. 얌폴스키는 전자가 다시 검증이 필요한 소프트웨어이며, 후자의 효과도 목표 설정에 따라 달라질 수 있다고 답한다.

## 자기 수정 시스템의 검증 한계

**형식 검증**은 프로그램이 정해진 성질을 따르는지 논리적으로 확인하는 방법이다. 얌폴스키는 작고 작동 방식이 고정된 프로그램에는 이를 적용할 수 있지만, 계속 학습하거나 자기 코드를 바꾸는 시스템에는 같은 보증을 하기 어렵다고 설명한다. 검증 도구 자체에도 오류가 있을 수 있고, 현실 세계의 상태를 프로그램 안의 명세로 완전히 옮기는 문제도 남는다.

그는 안전성 연구의 가치를 부정하지 않는다. 연구에 자원을 더 투입하면 확신을 높일 수 있다고 말한다. 다만 실패했을 때 인류 전체가 영향을 받는 시스템이라면 높은 확신과 영구적인 안전 보증은 다르다는 입장이다.

## 중단의 조건과 좁은 범위의 AI

얌폴스키가 제안하는 개발 중단은 정해진 기간을 기다리는 방식이 아니다. 시스템의 작동을 설명하고, 중간 행동을 예측하고, 통제하고, 검증할 능력을 갖출 때까지 기다리자는 것이다. 그런 능력이 가능하다면 개발을 재개할 수 있지만, 불가능하다면 중단이 길어질 수 있다고 그는 말한다.

동시에 그는 국가별 규제의 범위와 집행 능력에 한계가 있다고 인정한다. 그래서 범용 초지능을 만드는 것과 특정 문제를 푸는 AI를 개발하는 것을 구분한다. 단백질 접힘처럼 한정된 문제에 뛰어난 시스템을 만드는 데 범용 초지능이 반드시 필요한 것은 아니라는 주장이다.

두 사람은 AI의 이익을 인정하면서도 위험을 다루는 시점에 대해 다른 판단을 내린다. 프리드먼은 발전 과정에서 얻는 증거로 방어책을 만들 가능성을 제기했고, 얌폴스키는 통제할 수 없다는 사실을 확인했을 때는 이미 대응 기회를 잃었을 수 있다고 우려했다.

---

원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://lexfridman.com/roman-yampolskiy-transcript)