# 에이전트형 AI 3개월 운영으로 배운 4가지 교훈 > 2026-08-30 · Tom Tunguz · 큐레이션 김태우 > https://challengekim.com/insights/ai-agent-operations-4-lessons-learned-3-months-ko > 원문: https://tomtunguz.com/r2-six-months-of-change/ ## 핵심 요약 - **받은편지함이 작업 목록보다 효율적**: 스레드 기반 관리로 처리 중인 작업과 완료된 작업을 한눈에 파악 - **로컬-클라우드 라우팅 필수**: 비용(로컬 4\~6분)과 신뢰성(클라우드 39초)의 균형 유지 - **자가 치유는 이중검증 필요**: 오류 노출이 증가하지만, 자동 복구와 배포 전 검증으로 근본 해결 - **인간 감독의 역할 여전**: 주요 의사결정, 인증 실패, 메모리 제한 등은 여전히 인간이 담당 ## 받은편지함 기반 작업 관리의 우월성 기존 Asana 작업 대기열에서 Gmail 기반 받은편지함으로 전환했습니다. 에이전트가 처리 중인 작업은 '처리 중' 라벨로 분류되고, 완료되거나 인터벤션이 필요하면 받은편지함으로 돌아옵니다. 이 방식의 장점은 **"당신을 기다리는" 화면** 이 되어 우선순위 관리가 명확해진다는 점입니다. 이전에는 24개의 오류 스레드가 시스템에서 조용히 방치되었으나, 이제는 한 줄의 오류 이유와 함께 즉시 표면화됩니다. ## 로컬·클라우드 라우팅 아키텍처의 필수성 단일 모델이 라우터 역할을 하며, 빠른 로컬 작업자, 로컬 추론기, 클라우드 대체 계층으로 구성됩니다. 성능 특성은 다음과 같습니다: - **로컬**: 작업당 4\~6분 소요, 낮은 비용 - **클라우드**: 약 39초 소요, 높은 신뢰성 라우터의 핵심 역할은 각 작업의 특성을 파악하고, 로컬 실패를 은폐하는 대신 **클라우드로 넘어가는 실제 이유를 기록** 하는 것입니다. ## 자가 치유: 오류 노출과 자동 복구 초기 6주간 오류율은 0%였으나, 이후 15%, 34%로 상승했습니다. 이는 시스템 악화가 아닌 **오류 은폐 중단** 으로 인한 투명성 증대입니다. **개선 전:** - 21개 스레드가 오류 상태로 갇혀 있었고, 가장 오래된 것은 18일 방치 - 112건의 복구가 수동 SQL로 처리됨 **개선 후:** - 실패가 즉시 드러나고, 지터 백오프로 4회 자동 재시도 - 데드 레터 처리로 완전히 격리 - 오류 상태 스레드 없음 추가로, 시스템이 잘못된 배포를 **자동으로 되돌리기** 도 합니다. 지금까지 65건의 자동 롤백이 발생했으며, 이 중 42건은 단위 테스트 실패 때문이었습니다. 7월 말부터는 배포 **전에** 손상된 코드를 탐지하므로, 손상된 메인 코드가 배포되지 않습니다. 다만 여전히 인간이 처리해야 하는 케이스가 있습니다: 인증 토큰 갱신, 메모리 제한, 모델의 허위 완료(서술만 하고 실행하지 않음). ## 자율화 속 인간 감독의 불가피성 작업이 단순 프롬프트에서 **압축된 노드 그래프** 로 진화했습니다. 모델은 JSON 의도, 액션, 도메인, 신뢰도 점수를 생성하고, 결정론적 코드가 쓰기 작업을 실행한 뒤, 독립 노드가 재검증합니다. 이렇게 **생성자와 검증자를 분리** 함으로써 "노허들 오펜스(자동화된 플레이 진행)"가 가능합니다. 그러나 여전히 쿼터백(인간)이 필수입니다: - 어떤 작업을 클라우드로 라우팅할지 판단 - 어떤 실패에 인간이 개입할지 결정 - 배포 롤백 여부 지시 현재 이 쿼터백 역할은 여전히 운영자 한 명이 담당하고 있으며, 이는 전체 팀이 하던 감독 역할을 한 사람이 집약한 형태입니다. ## 결론 에이전트형 AI를 성공적으로 운영하려면 기술적 자동화만큼이나 **인간 중심의 감독 체계** 가 중요합니다. 받은편지함 기반 관리, 지능형 라우팅, 투명한 오류 처리, 그리고 명확한 의사결정 권한이 결합될 때 비로소 AI 에이전트가 신뢰할 수 있는 도구가 됩니다. --- 원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://tomtunguz.com/r2-six-months-of-change/)