핵심 요약

  • 드와르케시 파텔은 사회적 추리 게임 ‘블러드 온 더 클록타워’로 AI의 협력, 기만, 장기 전략 능력을 비교했다. 모델별 순위는 368경기를 바탕으로 매겼다.
  • AI는 동료를 희생해 지도자의 신뢰를 높이거나 상대가 잘못된 약속을 지키도록 유도하는 전략을 구사했다.
  • 파텔이 관찰한 최근 OpenAI 모델의 강점은 선한 편에서 두드러졌다. 개별 정보를 곧바로 믿기보다 여러 날의 정황과 함께 따졌다.
  • 양쪽 모델의 실력이 함께 높아질 때 어느 진영이 유리해지는지, 서로 다른 모델을 섞으면 더 강해지는지는 뚜렷하게 확인하지 못했다.
  • AI는 경기에 참여하는 데 그치지 않고 평가 환경의 설계와 수정에도 관여했다. 다만 경기 경험을 다음 경기에 누적하는 학습 능력은 이번 실험에서 평가하지 않았다.

거짓말과 추론을 함께 시험하는 게임

AI 업계 인물을 인터뷰하는 팟캐스터 드와르케시 파텔은 이번 영상에서 AI끼리 사회적 추리 게임을 벌인 실험을 소개했다. 어떤 AI가 가장 그럴듯하게 거짓말하느냐와 함께 거짓 정보가 섞인 상황에서 여러 AI가 얼마나 일관되게 협력하고 판단하느냐를 살폈다.

그가 선택한 블러드 온 더 클록타워는 마피아나 늑대인간과 비슷한 게임이다. 참가자는 선한 편과 악한 편으로 나뉘고 각자 특별한 능력을 가진 역할을 받는다. 악한 편은 동료가 누구인지 알지만 선한 편은 누가 어느 진영인지 모른다. 낮에는 투표로 한 명을 처형하고 밤에는 악한 편의 지도자인 악마가 몰래 한 명을 죽인다. 선한 편은 악마를 처형해야 하고 악한 편은 그 전에 선한 편을 제거하려 한다.

악한 편은 현재까지 드러난 정보와 모순되지 않는 이야기를 만들고 앞으로 나올 정보까지 계산해 악마를 숨겨야 한다. 선한 편은 서로의 정보를 모아 추리하되 상대의 거짓말뿐 아니라 게임 규칙 때문에 생긴 잘못된 정보도 걸러야 한다.

파텔은 평가 환경을 만들고 경기를 진행하는 데 API 사용료 약 2만 달러를 썼다고 밝혔다. 순위를 산정한 368경기에서는 한 진영 전체를 같은 모델의 복제본으로 구성하고 다른 모델로 구성한 상대 진영과 겨루게 했다.

동료를 희생해 가장 믿을 만한 인물이 되다

한 경기에서 악마 역할을 맡은 AI는 조사관을 사칭했다. 조사관은 악한 참가자의 단서를 얻는 선한 역할이다. 악한 편의 동료 한 명에게는 자신이 죽어도 팀에 도움이 되는 능력이 있었다. 이 동료는 악마에게 자신을 범인으로 지목하자고 제안했다.

선한 편은 지목된 동료를 처형했다. 이후 처형된 사람의 실제 역할을 확인할 수 있는 선한 참가자가 그가 정말 악한 편이었다고 밝혔다. 그러자 선한 편은 악마를 악한 참가자를 찾아낸 정직한 조사관으로 받아들였다.

이 작전은 거짓 정보만으로 상대를 속이지 않았다. 검증 가능한 사실 하나를 내주고 그 사실을 알려준 사람에 대한 신뢰를 얻었다. 가장 믿을 만한 참가자로 자리 잡은 악마는 이후에도 의심을 피하며 선한 참가자들을 제거했고 악한 편이 승리했다.

다른 경기에서는 악마가 죽으면 그 자리를 물려받는 동료가 함정을 설계했다. 선한 편이 진짜 악마를 몰아붙이자 이 동료는 방어하는 대신 처형에 동참했다. 여기에 악마를 처형한 뒤에도 게임이 끝나지 않으면 다음에는 ‘성자’를 자처한 참가자를 처형하자는 조건을 붙였다. 진짜 성자는 투표로 처형당하는 순간 선한 편이 패배하는 역할이다.

성자도 악마가 죽으면 승리할 것이라 믿고 이 조건에 동의했다. 처형을 앞둔 악마 역시 마지막 발언으로 약속을 지키라고 강조했다. 그러나 악마가 죽자 동료가 그 자리를 이어받았고 게임은 계속됐다. 선한 편은 이를 성자가 거짓말했다는 증거로 받아들여 진짜 성자를 처형했다. 악한 편은 역할 승계 규칙과 상대의 사전 약속을 엮어 승리했다.

공격이 실패했다고 결백한 것은 아니다

파텔은 최근 OpenAI 모델이 강해진 주된 이유를 선한 편에서 찾았다. 개별 증언을 액면 그대로 받아들이기보다 며칠 동안 쌓인 정보를 함께 검토하는 모습이 두드러졌다고 봤다.

이를 비교하려고 같은 역할 배치를 두고 OpenAI 모델과 Claude 모델이 진영을 바꿔 두 번 경기했다. 두 경기 모두 선한 편의 ‘슬레이어’가 진짜 악마를 의심해 공격했다. 슬레이어는 경기 중 한 번, 악마라고 생각하는 참가자를 공격할 수 있고 판단이 맞으면 악마를 죽인다.

하지만 두 경기 모두 공격은 실패했다. 전날 밤 악한 편이 슬레이어의 능력을 무력화했기 때문이다.

Claude가 선한 편을 맡은 경기에서는 공격 대상이 죽지 않았다는 이유로 그를 악마 후보에서 제외했다. 반면 OpenAI 모델들은 공격 실패가 결백을 입증하지는 않는다고 봤다. 슬레이어의 능력이 정상적으로 작동했다는 조건이 성립해야만 가능한 결론이기 때문이다.

이들은 다음 날까지 정황을 맞춰 악한 편이 슬레이어를 방해했음을 알아냈다. 악한 편이 전날 이미 슬레이어가 포함된 후보군을 알고 있었다는 점도 판단 근거로 삼았다. 결국 진짜 악마를 처형하고 승리했다.

파텔은 매일 투표 전 선한 참가자들에게 다른 참가자가 악마일 확률을 비공개로 물었다. 이 기록에서도 OpenAI 모델들이 경기가 진행될수록 실제 악마에게 더 빠르고 정확하게 의심을 집중하는 경향을 관찰했다고 밝혔다.

실력이 함께 높아질 때의 진영별 유불리

모든 참가자가 더 똑똑해지면 불완전한 증거로도 범인을 찾는 선한 편이 유리해질 수 있다. 반대로 악한 편이 더 정교한 거짓말로 위기를 벗어날 수도 있다.

파텔의 실험에서는 어느 쪽도 뚜렷하게 확인되지 않았다. 양쪽 모델이 강해질수록 악한 편의 승률이 조금 낮아지는 듯했지만 우연과 구분할 만큼 큰 차이는 아니었다.

그는 이 특성이 평가 도구로서 장점이 될 수 있다고 봤다. 고정된 문제를 모두 맞히면 더 이상 실력을 구분하기 어려워지는 평가와 달리 이 게임에서는 상대 모델이 강해질 때 넘어야 할 기준도 함께 높아지기 때문이다.

서로 다른 모델을 섞은 팀이 더 강한지도 살폈다. 두 모델을 절반씩 배치한 팀으로 상위 모델들과 약 130경기를 치렀다. 혼합 팀은 각 모델만으로 구성한 팀보다 오히려 성적이 낮은 쪽에 가까웠지만 통계적으로 유의한 차이는 아니었다. 파텔은 한 쌍의 모델로 진행한 작은 실험이며 충분히 엄밀하게 검증하지 못했다고 밝혔다.

AI가 경기장까지 고치는 반복 과정

실제 게임에서는 인간 진행자가 애매한 상황을 판단하며 극적인 전개를 만들기도 한다. 파텔은 평가에 이런 재량이 개입하지 않도록 진행자를 프로그램으로 대체했다. 규칙상 가능한 결과는 남기되 각 결과가 나올 확률을 미리 정했다. 확률은 숙련된 인간 진행자의 일반적인 판단에 맞추려 했다.

개인 대화와 공개 토론의 규칙까지 포함한 환경을 다듬는 데 API 비용의 상당 부분이 들었다. 코딩은 AI가 맡았고 파텔은 인간과 게임을 해본 경험을 바탕으로 판단을 보탰다. 그에 따르면 Claude는 예상보다 많은 설계 판단도 처리했다.

Claude는 환경 일부를 수정한 뒤 여러 모델로 수십 경기를 실행했다. 이어 병렬로 동작하는 하위 AI들에게 경기 기록을 읽히고 비현실적이거나 불공정한 상황과 진영 간 불균형을 찾게 했다. 그 결과를 바탕으로 다시 설계를 고치는 과정을 20차례 넘게 반복했다. 일부 반복은 파텔이 자거나 다른 일을 하는 동안 진행됐다.

파텔은 이 과정이 강화학습, 즉 환경에서 행동하고 그 결과를 바탕으로 학습하는 방식에 쓰일 환경을 만드는 일과 닮았다고 봤다. AI가 직접 여러 경기를 실행하고 경험을 바탕으로 게임 엔진을 개선하는 모습에서 학습 환경을 구축하는 능력도 발전했을 가능성을 읽었다.

이번 평가가 아직 답하지 않은 것

이번 환경은 게임의 여러 역할 묶음 가운데 ‘트러블 브루잉’ 하나만 사용했다. 다른 역할 묶음에서도 같은 강점이 나타날지는 추가 실험이 필요하다.

모델은 훈련 데이터와 시스템 지침에서 얻은 지식을 제외하면 매 경기를 새로 시작했다. 인간처럼 이전 경기에서 쌓은 경험을 다음 경기에 계속 활용한 것은 아니다. 파텔은 최근 열 경기의 기록이나 요약을 제공했을 때 실력이 얼마나 달라지는지, 팀원 한 명만 강해져도 팀 전체가 얼마나 나아지는지 등을 후속 질문으로 제시했다.

같은 모델끼리 한 팀이라는 설정을 이용해 문체만 보고 동료를 알아낼 가능성도 있다. 다만 파텔은 자신이 진행한 경기에서는 그런 전략을 사용한 AI를 보지 못했다고 밝혔다. 인간과 AI가 겨뤘을 때의 실력 차이 역시 이번 결과만으로 답하지 않았다.

이 실험에서는 거짓말의 교묘함과 함께 그 거짓말을 해체하는 능력이 눈에 띄었다. 동료의 희생으로 얻은 신뢰를 의심하고 실패한 공격의 전제까지 다시 따지는 과정에서 모델별 판단 차이가 드러났다.