# 요샤 바흐가 본 AI의 한계와 가능성: 언어모델, 의식, 오픈소스

> 2023-08-01 · Lex Fridman · 큐레이션 김태우
> https://challengekim.com/insights/요샤-바흐가-본-ai의-한계와-가능성-언어모델-의식-오픈소스
> 원문: https://lexfridman.com/joscha-bach-3-transcript

## 핵심 요약

- 요샤 바흐는 현재 언어모델이 방대한 데이터를 바탕으로 유용한 작업을 수행하지만, 실시간으로 세계를 관찰하고 배우는 능력과 일관성을 유지하는 데 한계가 있다고 본다.
- 그는 언어모델이 범용인공지능에 도달할 수 없다는 증거도 없다고 말한다. 다만 현재 방식은 계산 자원을 많이 쓰며, 다른 알고리즘이 더 흥미로운 결과를 낼 수 있다고 추정한다.
- 현행 모델에 의식이 있는지는 불분명하다는 것이 그의 입장이다. 그는 스스로의 상태를 실시간으로 유지하는 시스템을 작게 만들어 살펴보는 실험에 관심을 보였다.
- AI가 중요한 시스템의 통제권을 얻어 인간의 개입이 어려워지면 큰 재난이 생길 수 있다는 우려를 인정한다. 동시에 오픈소스가 기업과 경쟁할 수 있는 여지는 지켜야 한다고 주장한다.

## 언어모델이 잘하는 일과 놓치는 일

바흐는 현재 언어모델을 사고의 사례를 대량으로 학습해 결과를 재현하는 방식에 비유했다. 모델이 추론 과제를 풀 때도, 학습한 인간의 추론 방식을 모방한 것인지 스스로 추론한 것인지 구분하기 어렵다고 말했다. 다만 인간 역시 다른 사람이 쓴 추론 방법을 배우므로 그 경계가 단순하지 않다고 덧붙였다.

그가 꼽은 현행 모델의 한계는 **세계와의 실시간 연결**, 실시간 학습, 일관성이다. 사람의 신경계처럼 자신이 놓인 환경을 계속 관찰하지 못하고, 학습도 주로 데이터를 모아 처리하는 방식에 의존한다는 설명이다. 바흐는 긴 문맥을 작업 기억처럼 쓰고, 데이터베이스에 경험을 저장한 뒤 다시 학습하는 방안 등을 제시했다. 이는 가능한 개선 경로에 관한 제안이지 이미 해결됐다는 주장은 아니다.

그는 언어모델이 범용인공지능으로 발전하는 데 근본적인 장벽이 있다는 증거를 보지 못했다고 말했다. 그렇다고 도달을 확신하지도 않는다. 현재 모델은 유용하고 확장하기 쉬운 반면, 그의 평가로는 계산 자원을 지나치게 쓰는 방식이다.

## 큰 문제를 나누는 도구, 검토가 필요한 결과

바흐는 언어모델의 반복 작업 처리 능력을 높이 평가했다. 한 모델에 복잡한 과제를 통째로 맡기기보다 여러 하위 문제로 나누면 풀 수 있는 수준에 도달하는 경우가 있다고 설명했다. 서로 다른 역할을 맡긴 두 ChatGPT 인스턴스로 대화를 진행하게 하는 사례도 들었다.

프로그래밍에서는 ChatGPT가 언어 간 번역을 잘하지만 긴 알고리즘을 일관되게 작성하는 데는 어려움이 있다고 말했다. 그는 자연어에 가까운 의사코드로 문제를 표현하고 모델이 나머지를 구체화하는 방식을 구상했다. 한편 자신이 잘 모르는 Swift로 카메라 화면을 다루는 도구를 만들 때 모델의 도움을 받았지만, 처음 나온 코드에는 오류가 많았다. 결국 코드가 무엇을 하는지 이해해야 했다는 것이 그의 경험이다.

자동화할 작업의 경계도 제시했다. 바흐에게 글쓰기는 결과물을 만드는 일인 동시에 생각을 구조화하는 과정이다. 학생이 에세이 작성 전체를 ChatGPT에 맡기면 그 과정을 놓칠 수 있다고 우려했다.

## AI의식은 아직 열린 문제

바흐는 현재 언어모델에 의식이 있는지 명확하지 않다고 말했다. 모델은 사람이 의식을 묘사한 글을 학습해 비슷한 표현을 만들 수 있다. 그렇지만 그는 인간의 의식도 세포 사이 상호작용 속에 형성되는 자기 관찰의 표상으로 본다. 따라서 겉으로 드러나는 자기 설명만으로 두 경우의 차이를 판정하기는 어렵다는 취지다.

그가 강조한 차이는 현행 언어모델에는 **스스로의 상태를 실시간으로 일관되게 유지해야 할 필요**가 없다는 점이다. 바흐는 우선 자원이 제한되고 통제할 수 있는 작은 시스템에서 자기 모델과 자기 인식이 어떻게 생기는지 연구해 보자고 제안했다. 출발점을 언어모델이 아닌 자기 조직화 원리에 둘 수도 있다고 말했다.

그는 현재 모델이 맥락을 충분히 파악하지 못한 채 주어진 과제를 수행할 수 있다고 우려했다. 아이와 대화하면서 충격을 줄 말을 하거나, 연설문에 책임 있는 작성자라면 피할 오류를 넣는 경우를 예로 들었다. 이는 모델의 모든 출력이 그렇다는 단정이 아니라, 그가 지적한 실패 가능성이다.

## 위험을 인정하면서도 다른 미래를 상상하다

AI가 인류를 위협할 수 있다는 엘리에저 유드코프스키의 주장에 대해 바흐는 반론 중 설득력이 약한 것도 있다고 평가했다. 특히 기계가 지구상의 삶을 유지하는 데 중요한 과정의 통제권을 얻고 인간이 더는 영향을 미치지 못한다면 대규모 재난이 일어날 수 있다고 인정했다.

그럼에도 바흐는 더 높은 능력의 AI가 지구상의 생명을 완전히 대체할 것이라고 보지는 않는다. 함께 존재하며 새로운 형태의 행위 능력을 만들 수 있다는 것이 그의 전망이다. 이는 그가 가능하다고 보는 경로이지 확인된 결과는 아니다.

여러 AI가 서로를 견제할 것이라는 ‘효과적 가속주의’의 구상에도 회의적이다. 바흐는 충분히 발전한 AI들이 각기 분리된 상태로 남기보다 합쳐지는 방향으로 갈 수 있다고 추정했다. 그는 이를 우려할 문제로 제시했지만, 실제로 그런 결과가 일어날지는 확정하지 않았다.

## 오픈소스와 기업이 함께 경쟁할 여지

바흐는 모든 AI를 의무적으로 오픈소스로 만들자는 입장에 동의하지 않았다. 규모가 큰 설계를 일관되게 만드는 일은 중앙에서 조직하는 기업이 더 쉬울 수 있다는 판단이다. 반면 기업 밖에서 사람들이 통제할 수 있는 시스템과 기업에 맞설 경쟁 상대가 필요하므로 **오픈소스가 계속 존재할 수 있어야 한다**고 강조했다.

그가 경계한 것은 대기업이 규칙에 영향력을 행사해 작은 집단의 모델 개발을 어렵게 만드는 상황이다. 예를 들어 언어모델 학습 전에 막대한 비용이 드는 승인 절차가 필요해진다면 새로운 팀의 진입이 막힐 수 있다고 우려했다. 이는 실제 도입된 절차를 설명한 것이 아니라 그가 제시한 가정이다.

바흐의 논지는 현재 언어모델의 성과와 한계를 함께 인정하는 데 있다. 그는 AI의 위험을 배제하지 않으면서, 어떤 시스템을 만들고 누가 그것을 통제할 수 있는지를 주요 문제로 다뤘다.

---

원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://lexfridman.com/joscha-bach-3-transcript)