핵심 요약

  • 엔그램 공동창업자들은 AI의 활용을 가로막는 문제가 지능 자체보다 새롭고 계속 변하는 업무 맥락을 이해하는 능력에 있다고 본다.
  • 이들은 팀의 문서와 에이전트와의 상호작용을 학습해, 시간이 갈수록 해당 팀의 업무를 더 잘 이해하는 모델을 만들고자 한다.
  • 문서 검색과 긴 프롬프트도 계속 필요하다. 무엇을 모델 내부에 학습시키고 무엇을 외부에 둘지는 아직 풀리지 않은 문제다.
  • 반복적인 검색을 줄이는 비용상의 이점뿐 아니라, 검색어를 떠올리기 어려운 연관 관계까지 파악하게 하는 것이 목표다.

검색한 정보를 읽는 것과 익히는 것

현재 AI 제품은 필요한 문서를 검색해 프롬프트에 넣거나, 대화 내용을 정리해 다시 모델에 전달하는 방식으로 업무 맥락을 다룬다. 엔그램 공동창업자들은 이런 도구의 가치를 인정하면서도, 모델이 매번 자료를 읽는 것만으로는 팀이 일하는 방식을 충분히 익히기 어렵다고 본다. 직원이 여러 해 일하며 조직의 우선순위와 업무 절차를 파악하듯, 모델도 일부 맥락을 내부에 학습해야 한다는 주장이다.

그들이 말하는 지속 학습은 새 문서나 상호작용에서 얻은 정보를 이후 작업에 반영해 모델의 성능을 높이는 것이다. 작업 중 한 판단과 실수를 학습에 다시 반영할 수 있다면, 다음에는 같은 일을 더 잘 처리할 수 있다는 구상이다. 다만 대담에서 이는 완성된 능력이 아니라 해결하려는 연구 과제로 제시됐다.

팀별 모델은 어떻게 학습하나

엔그램은 노션, 마이크로소프트, 하비와 협력하며, 사람들이 오랫동안 작업해 온 공간의 문서와 에이전트 대화, 피드백을 다루고 있다고 설명했다. 목표는 이런 자료를 바탕으로 팀별 모델을 학습시키는 것이다. 예로는 조직의 여러 계획을 이해하거나 채용 절차, 회사 고유의 도구와 일하는 방식을 익히는 일이 제시됐다.

기술적으로는 기존 모델의 일부를 추가 학습하는 어댑터 미세조정을 비롯한 여러 방법을 검토한다. 원시 문서나 사용자 상호작용을 어떤 학습 신호로 바꿀지도 핵심 과제다. 모델 가중치에 접근해야 하므로 공개 가중치 모델에 적용하기가 가장 쉽고, 비공개 가중치 모델은 해당 기업과 협력해야 한다고 설명했다.

처음에는 개인보다 팀에 초점을 맞춘다. 공동창업자들의 설명에 따르면 팀은 여러 해에 걸친 업무 맥락을 더 체계적으로 축적하는 편이기 때문이다. 개인의 컴퓨터나 휴대전화에도 적용할 가능성을 언급했지만, 현재의 출발점은 팀이 함께 쌓은 정보다.

왜 모든 것을 문서에서 찾지 않나

팀 구성원들이 같은 문서를 반복해서 검색하고 읽게 하면 에이전트 운영 비용이 커진다. 공동창업자 중 한 명은 조직의 사람, 우선순위, 업무 방식처럼 한 문서에서 찾기 어려운 내용을 모델이 학습하면, 일부 사례에서 추론에 쓰는 토큰을 최대 100배 줄일 수 있다고 주장했다. 이는 대담에서 제시한 가능성과 사례 설명이지, 모든 작업에서 검증된 절감률은 아니다.

비용만의 문제도 아니다. 검색 증강 생성(RAG)은 질문과 관련된 자료를 찾아 모델에 제공하는 방식이다. 그러나 무엇을 찾아야 하는지부터 모르면 적절한 검색을 시작하기 어렵다. 이들은 모델이 팀의 일을 추상적으로 이해하면, 사용자가 명시적으로 찾지 않은 관련 업무나 담당자까지 떠올릴 수 있다고 본다. 캐싱이 반복해서 읽는 비용을 일부 줄일 수 있다는 점도 인정했지만, 지식을 연결하는 능력까지 해결하지는 못한다는 견해다.

무엇을 기억할지는 아직 미해결

공동창업자들은 모든 사실을 모델에 저장하자고 주장하지 않는다. 오래전 묵었던 호텔 방 번호처럼 외부에 기록해 두는 편이 나은 정보가 있는 반면, 자주 쓰는 지식은 바로 떠올릴 수 있어야 더 복잡한 판단에 활용할 수 있다고 설명했다. 어떤 정보가 어느 쪽에 속하는지는 아직 답이 없다고 밝혔다.

모델에 새 정보를 학습시키는 방식에는 다른 어려움도 있다. 사실은 변하며, 중요하지 않은 정보까지 모델에 넣을 수 없다. 이들은 무엇을 남길지 판단하면서도 가능한 한 적은 규칙에 의존하려 한다. 또 기존에 검토한 일부 긴 문맥 처리 구조에서는 메모리 사용량을 줄이는 대신 정확도가 떨어지는 절충을 관찰했다고 말했다.

공통 모델과 개인화 모델의 역할

공동창업자들은 범용 모델의 발전과 별개로, 개인과 조직마다 필요한 지식이 다르다고 본다. 회사의 비공개 정보는 공통 학습 데이터에 들어가기 어렵고, 같은 업무라도 조직마다 원하는 수행 방식이 다를 수 있다. 결과가 좋은지 판정하기 어려운 작업도 있어, 정답과 평가 기준이 분명한 작업처럼 학습시키기 어렵다는 설명이다.

이를 위해서는 다수의 작은 모델을 학습시키는 기반과 제품에서 받은 피드백을 연구·학습 과정에 연결하는 구조가 필요하다고 봤다. 개인의 기억을 여러 제품 사이에서 어떻게 다룰지도 정해지지 않았다. 공동창업자 중 한 명은 개인 생활과 업무의 기억을 분리하고 사용자가 이를 통제할 필요가 있다고 말했다.

결론

엔그램이 제시한 방향은 검색을 없애는 것이 아니라, 팀에 중요한 맥락을 모델이 익히도록 해 검색과 함께 쓰는 것이다. 어떤 정보를 학습시키고 어떤 정보는 외부에 남길지, 학습한 모델이 시간이 지나며 실제로 더 나아지는지를 입증하는 일이 남아 있다.