핵심 요약

  • 에드워드 깁슨은 대규모 언어 모델(LLM)이 인간 언어의 형식을 매우 잘 다룬다고 평가한다. 다만 이것이 의미를 이해한다는 증거인지는 별개라고 본다.
  • 그는 LLM을 언어 이론으로 볼 수 있다고 말한다. 영어에서 어떤 표현이 자연스러운지 예측하는 능력은 뛰어나지만, 모델이 너무 크고 내부 작동을 설명하기 어렵다는 한계도 인정한다.
  • 깁슨은 몬티 홀 문제를 조금 바꾼 사례를 들어, 익숙한 문제의 표현에 이끌리면 이미 주어진 결정적 조건을 놓칠 수 있다고 주장한다.
  • 렉스 프리드먼은 이런 실패 사례만으로 모델의 의미 이해 능력 전체를 판단하기는 어렵다고 지적한다. 깁슨도 LLM이 많은 참인 문장을 만들어낸다는 점에는 동의한다.

문장의 형식과 생각의 내용

깁슨은 언어를 생각을 전달하는 체계로, 생각과 언어를 구분한다. 그가 보기에 LLM이 특히 뛰어난 부분은 단어와 문장을 결합하는 형식이다. 의미를 다루는 일은 여전히 어렵고, 문장을 자연스럽게 만든다는 사실만으로 그 내용까지 이해한다고 볼 수는 없다는 것이 그의 견해다.

그는 인간을 대상으로 한 연구도 이 구분의 근거로 제시한다. 깁슨의 설명에 따르면, 에벨리나 페도렌코의 연구에서는 문장을 듣거나 읽을 때 활성화되는 언어 관련 뇌 영역이 공간 기억, 음악 지각, 프로그래밍 같은 과제를 수행할 때는 같은 방식으로 활성화되지 않았다. 언어 능력을 크게 잃은 실어증 환자가 수학이나 체스 같은 과제를 수행할 수 있다는 사례도 언급한다. 깁슨은 이를 언어가 사고에 반드시 필요한 것은 아니라는 근거로 해석한다. 동시에 사람이 언어를 이용해 생각할 수 없다는 뜻은 아니라고 선을 긋는다.

뛰어난 예측, 설명하기 어려운 내부 구조

깁슨은 LLM을 현재의 언어 이론 가운데 유력한 모델로 볼 수 있다고 말한다. 영어 표현의 자연스러움을 예측하는 능력에서 다른 이론보다 앞선다는 이유다. 그러나 좋은 설명 이론으로 평가하기에는 크기가 지나치게 크고 내부에서 무슨 일이 일어나는지 불투명하다고도 인정한다.

모델 내부가 단순히 문장의 겉모습만 담고 있는 것도 아니다. 깁슨은 크리스 매닝과 동료들의 연구를 언급하며, BERT를 포함한 일부 모델의 내부 표현이 단어 사이의 의존 관계를 나타내는 구조와 닮아 보인다고 설명한다. 다만 모델이 그 구조를 의미를 처리하는 데 쓰는지는 알 수 없다고 말한다.

익숙한 문제에서 조건을 놓치는 사례

깁슨은 LLM의 한계를 설명하면서 몬티 홀 문제의 변형을 든다. 통상적인 문제에서는 진행자가 빈 문 하나를 연 뒤 다른 문으로 선택을 바꾸는 편이 유리하다. 하지만 그가 제시한 변형에서는 자동차가 1번 문 뒤에 있다는 사실을 이미 알고 1번을 골랐다. 진행자가 빈 3번 문을 열어도 2번으로 바꿀 이유가 없다.

깁슨에 따르면, 이 변형을 제시받은 언어 모델은 익숙한 몬티 홀 문제의 답을 따라 선택을 바꾸라고 했다. 그는 이를 모델이 반복해서 접한 표현에 끌려, 자동차의 위치를 이미 안다는 조건을 놓친 사례로 본다. 반면 프리드먼은 일부 실패 사례와 인상적인 성공 사례를 함께 놓고 평가해야 한다고 지적한다. 깁슨은 자신의 요지가 모든 상황에서 모델이 의미를 다루지 못한다는 판정이 아니라, 이런 사례에서 인간과 다른 방식으로 오류를 낸다는 데 있다고 설명한다.

인간과 닮은 어려움도 있다

깁슨은 문장 가운데 다른 절이 여러 겹 끼어드는 중첩 구조를 사람과 LLM 모두 완성하기 어려워한다고 말한다. 그는 이 유사성이 흥미롭지만, 의미 이해보다 언어 형식을 처리하는 방식에 관한 단서라고 본다. 서로 연결되는 단어가 멀어질수록 문장을 만들고 이해하는 데 부담이 커진다는 설명도 덧붙인다.

깁슨은 LLM이 자연스러운 문장을 만드는 능력을 높이 평가한다. 대담에서 남긴 핵심 구분은 그 능력이 의미 이해를 어디까지 보여주는지, 그리고 인간의 사고와 얼마나 닮았는지는 별도로 살펴야 한다는 것이다.