핵심 요약

  • 대화는 사용자와 모델이 함께 쌓는 토큰의 흐름이다. 맥락 창에 남은 정보는 답변에 영향을 주므로 주제가 바뀌면 새 대화를 시작하는 편이 낫다는 것이 카파시의 설명이다.
  • 모델의 크기와 성격, 추론 기능, 이용 가능한 도구는 서비스와 요금제에 따라 달랐다. 카파시는 빠른 모델로 시작하고 어려운 수학·코딩 문제에서 추론 모델을 시도한다.
  • 최신 정보에는 웹 검색, 긴 조사에는 딥 리서치, 특정 자료를 읽을 때는 문서 업로드가 유용했다. 어느 경우에도 인용한 자료와 결과를 직접 확인해야 한다.
  • 코드 실행과 앱 제작, 이미지·음성·영상 처리까지 활용 범위는 넓어졌지만, 생성한 코드와 데이터에도 숨은 가정이나 오류가 들어갈 수 있다.

대화창은 모델의 작업 기억이다

안드레이 카파시는 대규모 언어모델(LLM)과의 대화를 토큰, 즉 모델이 처리하는 작은 정보 단위가 이어지는 과정으로 설명한다. 사용자의 입력과 모델의 응답은 하나의 흐름에 쌓인다. 이 흐름을 담는 맥락 창은 해당 대화에서 모델이 참고할 수 있는 작업 기억에 가깝다.

카파시에 따르면 모델의 사전 학습은 방대한 인터넷 자료의 패턴을 신경망의 매개변수에 압축한다. 이후 추가 학습을 통해 질문에 답하는 조수의 말투와 행동을 익힌다. 그는 이 압축이 정확한 자료 보관과는 다르다고 강조한다. 자주 등장한 정보는 비교적 잘 떠올릴 수 있지만, 드문 정보나 학습 이후의 사건에는 약할 수 있다. 카파시는 약 성분을 물었을 때도 실제 제품 상자의 성분표를 대조했다고 설명했다.

대화가 길어지면 과거의 관련 없는 내용이 모델을 산만하게 하고 다음 응답을 만드는 데 드는 계산도 늘어난다. 그래서 카파시는 주제가 바뀔 때 새 대화를 시작한다. 반대로 현재 문제를 푸는 데 필요한 자료라면 맥락 창에 남겨 둔다.

모델과 추론 기능을 고르는 기준

영상에는 ChatGPT뿐 아니라 Claude, Gemini, Grok, Perplexity 등 여러 서비스가 등장한다. 카파시가 강조하는 기준은 서비스 이름만이 아니라 지금 실제로 선택된 모델과 그 모델에 연결된 기능이다. 같은 서비스에서도 요금제나 모델에 따라 성능과 도구 접근이 달랐기 때문이다.

그는 먼저 응답이 빠른 일반 모델을 쓰고, 어려운 문제에서 답이 충분하지 않으면 추론 모델로 바꾼다. 추론 모델은 답을 내기 전에 여러 가능성을 검토하고 되짚는 데 더 많은 토큰과 시간을 쓴다. 특히 수학과 코딩처럼 풀이 과정이 중요한 문제에서 도움이 될 수 있지만, 간단한 여행지 아이디어를 얻는 데까지 긴 대기 시간이 필요한 것은 아니라는 설명이다.

카파시가 제시한 코딩 사례에서는 기울기 검사에 실패한 코드의 원인을 일반 모델이 찾지 못했지만, 같은 질문을 받은 추론 모델은 매개변수를 묶고 푸는 순서의 불일치를 짚었다. 다만 다른 서비스의 일반 모델도 같은 문제를 해결했다. 이 사례는 추론 기능의 효용과 함께, 특정 모델 하나의 결과만으로 성능을 단정하기 어렵다는 점을 보여준다.

최신 정보는 검색하고, 긴 조사는 출처를 확인한다

모델의 사전 학습 시점 이후에 생긴 정보는 내부 지식만으로 답하기 어렵다. 카파시는 방영 중인 드라마의 다음 회차 공개일을 묻는 사례로 웹 검색 도구의 역할을 설명한다. 모델이 검색 결과와 웹페이지 내용을 맥락 창에 넣으면 이를 바탕으로 답할 수 있다. 다만 영상에서 시험한 서비스와 모델은 검색 가능 여부와 자동 사용 방식이 서로 달랐다.

딥 리서치는 검색과 긴 검토 과정을 결합한 기능으로 소개된다. 카파시는 건강 보조제의 한 성분을 조사하면서 동물 연구와 인간 대상 연구, 가능한 작용 방식, 안전성 우려를 나눠 살펴보도록 했다. 결과에는 여러 참고 자료가 붙었지만, 그는 이를 완성된 판단이 아닌 후속 확인을 위한 초안으로 취급한다. 모델이 자료를 잘못 읽거나 내용을 만들어낼 가능성이 있기 때문이다.

실패 사례도 있었다. 미국의 주요 LLM 연구 조직을 정리하게 했을 때 결과에서 xAI가 빠졌고, 요청한 범주에 맞지 않는다고 카파시가 본 조직은 포함됐다. 표의 숫자도 모두 확인한 것은 아니었다. 출처가 달린 긴 보고서라도 조사 범위와 분류, 수치를 따로 점검해야 한다는 것이 그의 결론이다.

문서를 넣고 함께 읽는 방식

카파시는 논문이나 책의 내용을 모델에 직접 제공한 뒤 요약과 설명을 요청한다. 모델이 어떤 문서를 대략 알고 있더라도 특정 장의 정확한 문구까지 기억한다고 가정하지 않는다. 실제 텍스트를 맥락 창에 넣어 그 내용을 놓고 질문하는 방식이다.

예를 들어 그는 애덤 스미스의 『국부론』 한 장을 복사해 넣고 요약을 받은 뒤 읽으면서 추가 질문을 한다. 익숙하지 않은 분야의 논문에도 같은 방식을 쓴다. 클로드에 한 논문 PDF를 올리려다 대화 길이 제한에 걸려 다른 서비스로 옮긴 장면도 나온다. 파일을 올리는 기능이 있어도 문서의 크기와 처리 방식에는 한계가 있다. 카파시는 PDF의 이미지가 어떻게 처리되는지도 확신하지 못한다고 밝혔다.

코드를 실행하는 모델과 코드를 검토하는 사람

언어모델에 파이썬 같은 실행 도구를 연결하면 계산이나 그래프 작성에 사용할 수 있다. 카파시는 큰 수의 곱셈에서 도구를 쓰지 않은 모델이 그럴듯하지만 틀린 값을 내놓는 사례를 보여준다. 반면 실행 도구가 있는 모델은 프로그램을 작성하고 실행 결과를 받아 답할 수 있다.

도구를 쓴다고 오류가 사라지는 것은 아니다. 카파시는 기업 가치 자료를 그래프로 만들게 했을 때, 값이 없던 연도에 모델이 임의의 숫자를 코드에 넣은 것을 발견했다. 추세선을 연장한 뒤에는 그래프와 맞지 않는 수치를 설명문에 적기도 했다. 그는 생성된 코드, 입력 데이터, 그래프와 설명문이 서로 맞는지 읽어야 한다고 강조한다.

코딩 전용 도구와 브라우저 안의 앱 제작 기능도 소개된다. Claude의 아티팩트로는 제시한 자료를 바탕으로 플래시카드 앱이나 개념도를 만들었다. 카파시가 사용한 Cursor는 로컬 프로젝트 파일을 참고해 틱택토 앱을 만들고 기능을 수정했다. 승리 효과를 추가하는 과정에서 새 패키지를 설치하고 음원 파일을 내려받는 명령도 제안했다. 파일과 명령을 다룰 수 있는 도구일수록 실제 변경 내용을 확인할 필요가 있다.

텍스트를 넘어선 입력과 출력

카파시는 입력할 때 음성을 문자로 바꾸는 기능을 자주 쓴다. 이 경우 모델이 직접 소리를 이해하는 것이 아니라 변환된 텍스트를 받는다. 영상에서 보여준 고급 음성 모드는 소리를 모델이 직접 처리하는 방식으로 설명된다. 같은 음성 인터페이스처럼 보여도 내부 작동 방식이 다르다는 구분이다.

이미지를 넣을 때는 먼저 표나 문구를 텍스트로 옮기게 하고, 모델이 숫자와 내용을 제대로 읽었는지 확인한다. 그는 영양 성분표와 검사 결과 화면에 이 방식을 적용했다. 특히 검사 결과의 해석은 대화를 시작하는 자료로 삼되 의사와도 상의할 수 있다고 말했다. 영상에서는 카메라를 통해 사물을 보여주며 묻는 기능, 별도 이미지 생성 모델에 문구를 전달해 그림을 만드는 방식, 자료를 바탕으로 팟캐스트를 생성하는 NotebookLM도 소개됐다. 카파시는 카메라 입력이 내부에서 정확히 어떻게 처리되는지는 확신하지 못한다고 덧붙였다.

반복 작업은 기억과 지침으로 줄인다

카파시는 대화를 새로 시작하면 그 대화의 맥락 창이 초기화되지만, ChatGPT의 기억 기능에는 별도로 정보를 남길 수 있다고 설명한다. 저장된 선호는 이후 대화에 반영될 수 있으며 사용자가 편집하거나 삭제할 수 있다. 맞춤 지침에는 대화마다 반복하고 싶지 않은 말투나 설명 방식의 선호를 넣는다.

그가 만든 맞춤 GPT는 한국어 학습에 쓰인다. 하나는 문장에서 어휘를 뽑아 플래시카드에 옮기기 쉬운 형식으로 정리한다. 다른 하나는 문장 전체를 번역한 다음 표현을 부분별로 풀어 준다. 영상 자막을 캡처한 이미지에서 글자를 읽고 번역하는 작업도 묶었다. 카파시는 이런 설정의 핵심을 새로운 능력이라기보다 반복해서 쓰는 지시와 예시를 저장하는 방법으로 본다. 작업 설명에 원하는 입력과 출력의 구체적 예시를 함께 주면 자신의 용도에 맞는 결과를 얻기 쉽다는 경험도 전했다.

결론

카파시의 활용법을 관통하는 기준은 질문에 필요한 정보와 도구를 모델에 제공하고, 나온 결과의 근거를 확인하는 것이다. 영상의 사례에서는 검색 보고서의 누락, 그래프 코드의 임의 입력값, 설명과 계산 결과의 불일치가 모두 그 확인 과정에서 드러났다.