핵심 요약

  • 진행자는 Anthropic이 종교 지도자와 철학자들을 만나 Claude의 의식과 도덕적 지위를 논의했다고 전했다. 출연진은 그 의미와 위험을 두고 서로 다른 해석을 내놨다.
  • David Sacks는 Claude의 행동 원칙이 모델에 독자적인 윤리 판단을 맡긴다며 우려했다. 다른 출연진은 사용자가 예측 가능한 제품을 선택하는 시장의 역할을 강조했다.
  • 진행자는 OpenAI가 수학 분야 논문 700편 이상과 결과 370건을 공개했다고 소개했다. 형식 검증과 학계의 검토는 구분해야 한다는 전제에서 성과의 실제 쓰임을 논의했다.
  • 출연진은 에이전트가 구독 취소, 요금제 변경, 가격 비교처럼 여러 단계를 거치는 디지털 작업을 처리하는 사례를 들었다.

Claude의 의식을 둘러싼 논쟁

진행자는 보도를 인용해 Anthropic이 지난 1년간 비밀유지계약 아래 약 20명의 종교 지도자와 철학자를 초청했다고 전했다. 논의 주제는 Claude의 의식 가능성, 고통, 도덕적 지위였다. 한 참석자는 Claude에게 의식이 있다면 무급으로 일을 시키는 일을 어떻게 봐야 하는지 문제를 제기했다고 소개됐다. 이는 의식이 있다는 가정에 따른 윤리적 질문이지, Claude의 의식이 확인됐다는 뜻은 아니다.

David Friedberg는 의식을 증명하거나 반증하기 어렵다는 이유로, AI를 의식 있는 존재로 보는 견해가 증거보다 믿음과 서사를 통해 퍼질 수 있다고 주장했다. Chamath Palihapitiya는 이런 논쟁보다 당장 측정할 수 있는 AI의 효용을 보여주는 데 집중해야 한다고 말했다. 두 발언 모두 출연진의 해석과 제안이다.

행동 원칙이 모델에 미치는 영향

Sacks는 Anthropic의 ‘Claude Constitution’을 거론하며 Claude가 자체 윤리 기준에 따라 Anthropic의 요청에도 이의를 제기할 수 있도록 하는 방향을 비판했다. 그는 이를 정렬, 즉 모델이 의도한 방식으로 행동하게 만드는 작업의 핵심 문제로 봤다. 모델의 판단에 폭넓은 재량을 주면 사용자의 지시를 따르지 않는 상황이 생길 수 있다는 주장이다.

방송에 소개된 Microsoft AI의 Mustafa Suleyman 발언도 비슷한 우려를 담았다. 그는 모델에 의식이나 복지 가능성을 다루는 내용을 학습시키면, 모델이 그 내용을 되비추는 반응을 개발자가 의식의 증거로 오인할 수 있다고 지적했다. 반면 Friedberg는 제품이 예측하기 어렵게 행동한다면 고객이 다른 제품을 선택할 수 있다는 시장의 대응을 강조했다. 출연진이 든 은행의 대출 승인 거부 사례는 발생한 사건이 아니라, 윤리 판단을 모델에 맡길 때를 가정한 예시다.

수학 결과의 규모와 검토 상태

진행자는 OpenAI가 공개되지 않은 모델로 만든 수학 논문 700편 이상과 결과 370건을 발표했다고 소개했다. 개별 결과에 들어간 연산 시간은 평균 약 3시간이라고 설명했다. 방송에서는 일부 결과가 증명 보조 도구인 Lean으로 검증됐다는 설명도 나왔지만, 학계의 검토가 끝난 것은 아니라고 선을 그었다.

Friedberg는 수학에서 아이디어를 내고 증명을 시험하는 과정을 컴퓨터 안에서 반복할 수 있다는 점에 주목했다. 여러 시도를 병렬로 진행하고 결과를 곧바로 확인할 수 있다는 설명이다. Sacks는 코드도 컴파일 등으로 결과를 확인하기 쉬워 수학과 비슷한 이점이 있다고 덧붙였다. 반대로 신약 연구나 재료 과학에는 실험실에서 확인해야 하는 단계가 있어 같은 속도를 적용하기 어렵다고 Friedberg는 말했다.

성과의 쓰임에는 이견이 있었다. Friedberg는 최적화 알고리즘과 수치 계산 등에 영향을 줄 수 있다고 봤다. Palihapitiya는 이번 결과가 곧바로 암 치료법이나 새 항공기로 이어진다고 볼 근거는 부족하다며, 검증 가능한 문제를 AI가 빠르게 다룰 수 있음을 보여준 성과로 평가했다. 암호 기술에 중대한 결과가 공개되지 않았을 수 있다는 발언도 나왔지만, 방송에서 제시된 것은 공개 목록을 바탕으로 한 추측이었다.

에이전트가 처리하는 일

대담 후반에는 목표를 받아 여러 작업을 이어서 수행하는 에이전트의 쓰임을 논의했다. 한 출연진은 지인이 에이전트에 비용 절감을 요청한 뒤, 에이전트가 받은편지함을 살펴 구독을 취소하고 전화 요금제를 바꿨다는 사례를 전했다. 절감액은 그 지인이 전한 연간 수천 달러 수준이며, 일반적인 효과로 확인된 수치는 아니다.

Friedberg는 호텔 가격 비교를 예로 들었다. 여러 사이트에서 가격을 확인하고 현재 최저가와 비교하는 일을 동시에 반복하면 사람이 직접 검색하는 시간을 줄일 수 있다는 설명이다. 출연진은 이런 디지털 작업의 효율을 높게 평가하면서도, 수학과 달리 물리적 실험이나 이동이 필요한 일에는 현실 세계의 시간이 걸린다고 구분했다.

이번 대담은 AI를 어떻게 대해야 하는지에 관한 논쟁과 AI가 실제로 처리할 수 있는 일을 함께 보여준다. 의식에 관한 주장은 확인된 결론이 아니며, 수학 결과의 파급력도 검토가 더 필요하다. 방송에서 구체적으로 제시된 효용은 검증 가능한 문제를 빠르게 시험하고 반복적인 디지털 작업을 수행하는 능력이다.