# AI 에이전트 하네스 완벽 가이드: 자체 개선부터 로컬 개인 AI까지

> 2026-09-07 · Y Combinator · 큐레이션 김태우
> https://challengekim.com/insights/ai-agent-harness-complete-guide-self-improving-local-personal-ai-ko
> 원문: https://www.youtube.com/watch?v=n9xKblqyQ28

## 핵심 요약

- **자체 개선 하네스의 성능**: 정적 하네스에서 자체 개선 하네스로 진화하며 18% 성능 향상 달성
- **로컬 개인 AI의 등장**: 클라우드 의존도를 줄이고 온디바이스 AI로 약 800배 낮은 운영 비용 달성 가능
- **기업용 에이전트 시스템**: YC의 QM 시스템은 Slack, 웹 UI를 통해 이메일 분류, 문서 편집, 데이터 추출 등 다양한 업무 자동화 제공
- **핵심 혁신**: 에이전트에게 REPL 접근, 프로그래밍 방식 상호작용, 메모리 관리, 도구 호출 등의 표현력 기능 제공이 성능 차이 결정

## 정적 하네스에서 자체 개선 하네스로의 진화

AI 에이전트를 구축하는 방식이 근본적으로 변화하고 있습니다. 초기의 정적 하네스(static harness) 시대는 시스템 프롬프트와 도구가 고정되어 있었지만, 최근 6개월간의 발전은 모두 **자체 개선 하네스**(self-improving harness)에 집중되어 있습니다.

이 진화는 구체적인 성과로 나타났습니다. Claude Opus가 ARC-AGI 벤치마크에서 홀드아웃 데이터로 30%를 달성했을 때, 단순한 하네스(wrapper와 scaffolding)만으로도 **95%에 도달** 할 수 있었습니다. 이는 하네스가 단순한 프롬프트 엔지니어링을 넘어 실질적인 연구 가치를 제공한다는 증거입니다.

자체 개선 하네스의 작동 원리는 다음과 같습니다. 에이전트가 작업을 수행할 때마다 그 궤적(trajectory)을 기록하고, 이 정보를 활용하여 시스템 프롬프트, 기술(skills), 메모리, 하위 에이전트 구성을 동적으로 업데이트합니다. 이는 마치 **에이전트 기반 운영 체제** 처럼 작동하는 것으로, 시간이 지남에 따라 점점 더 효율적으로 진화합니다.

## 로컬 개인 AI: 클라우드 의존도에서 벗어나다

오늘날 대부분의 개인 AI 시스템은 **클라우드 LLM에 종속** 되어 있습니다. 이는 높은 비용, 개인정보 침해 우려, 많은 에너지 소비를 초래합니다. OpenJarvis는 이 문제를 직접 해결하려는 시도입니다.

현재의 로컬 LLM(Qwen 3.8 27B 등)은 과거 최첨단 모델(Claude 4.6 Opus, 2025년 8월 기준)과 **거의 동일한 성능** 을 보입니다. Apple의 새로운 Mac Mini 출시 등으로 개인용 가속기가 빠르게 발전하면서, 온디바이스 AI 환경은 빠르게 개선되고 있습니다.

OpenJarvis의 설계 원칙은 **다섯 가지 핵심 요소** 로 단순화됩니다:

1. **지능(Intelligence)**: Qwen, GPT-OSS, Gemma 등 다양한 LLM 지원
2. **추론 엔진(Engine)**: Ollama, LlamaCPP, vLLM 등의 선택 가능
3. **에이전트 로직**: 도구와 메모리 관리
4. **도구(Tools)**: MCP 프로토콜 기반의 표준화된 도구 세트
5. **학습 시스템**: DSPy, 프롬프트 최적화, SFT, LoRA 등

흥미로운 발견은 **클라우드 LLM으로 로컬 스택을 최적화하는 방식** 입니다. Claude나 ChatGPT가 OpenJarvis 구성 전체를 진단하고 개선 사항을 제안하면, 로컬 LLM의 추론 배포 시 반복 비용을 발생시키지 않으면서도 훨씬 더 효과적인 결과를 얻을 수 있습니다. 이를 통해 **약 800배 낮은 운영 비용** 과 상당한 지연 시간 단축을 달성했습니다.

## 업무용 에이전트: YC의 QM 시스템

YC는 자사 직원을 위해 **QM**(Qualified Manager)이라는 오픈소스 에이전트 하네스를 개발했습니다. 이는 Slack과 웹 UI를 통해 접근 가능하며, 모든 직원이 개인화된 샌드박스에서 작업합니다.

QM의 활용 사례는 다양합니다:

- 이메일 분류 및 자동화
- 법률 및 재무 워크플로우
- 문서 편집
- 내부 데이터베이스에서 데이터 추출
- 라이브 내부 웹 앱 실행
- 이벤트 계획 지원

QM 개발의 진화 과정은 흥미롭습니다. 2025년 1월의 기본 "일반 에이전트"부터 시작하여, 6월에 Claude Code와 Codex 통합, 2026년 1월의 OpenClaw 도입, 4월의 대규모 Hermes 에이전트 플릿 운영까지 진화했습니다.

## 에이전트 표현력: 성능을 좌우하는 핵심 요소

흥미롭게도, **에이전트에게 제공하는 기능의 표현력** 이 성능을 크게 좌우합니다. Prime Agent의 사례에서 보듯이, 모델이 다음을 직접 제어할 수 있을 때 성능이 급격히 향상됩니다:

- **REPL 접근**: Python 코드를 직접 실행하여 수많은 토큰 절약
- **프로그래밍 방식 상호작용**: 정보를 텍스트로 주고받지 않고 프로그램으로 조작
- **하위 에이전트 생성**: 복잡한 작업을 병렬로 처리
- **메모리 관리**: 장기 상태 유지 및 업데이트
- **다양한 피드백 메커니즘**: 자체 반성 및 개선

이러한 기능 중 하나라도 제거하면 에이전트가 **처리할 수 없는 기능이 실제로 줄어듭니다**. 따라서 좋은 하네스를 구축하는 아이디어는 "상상할 수 있는 가장 표현력이 풍부한 것"이어야 합니다.

## 장기 작업에서의 성능: 테스트 시간 컴퓨팅

에이전트의 진정한 가치는 **단기 작업** 이 아닌 **수일에서 수주에 걸친 장기 작업** 에서 드러납니다. Prime Agent가 7일간 Factorio를 플레이하면서 633개의 하위 에이전트를 생성하고 2,300만 개의 출력 토큰을 사용한 사례가 이를 보여줍니다.

자동 연구 실험에서 관찰된 흥미로운 행동은 모델들이 **"루프 외부 실험"을 수행** 한다는 점입니다. 즉, CPU에서 저비용 보조 실험을 먼저 수행하고 매개변수를 분석한 후, 고비용의 H200 GPU 실험만 선택적으로 실행합니다. 이는 에이전트가 **비용 효율성을 자동으로 최적화** 한다는 의미입니다.

## 조직 내 에이전트의 과제와 해결책

QM의 실제 운영에서 나타난 중요한 문제점들이 있습니다:

**1. 에이전트의 포기 경향성**: 에이전트가 도구와 환경이 풍부해도 쉽게 포기하는 경향이 있습니다. 이를 해결하기 위해 "그라인드 도구"를 사용하거나 작업에 예산(시간 또는 토큰)을 설정하는 방식이 효과적이었습니다.

**2. 사회적 맥락 이해 부족**: 인간은 정보 공유의 적절성을 직관적으로 판단하지만, 에이전트는 이를 명시적으로 학습해야 합니다. 따라서 **세분화된 권한 시스템** 이 필수적입니다. YC는 오래 구축된 강력한 권한 체계가 있어 이 문제를 해결했지만, 많은 조직에는 이것이 부족합니다.

## 결론

AI 에이전트 하네스는 단순한 프롬프트 엔지니어링을 넘어 **운영 체제 수준** 의 복잡성으로 진화하고 있습니다. 자체 개선 능력, 로컬 실행 가능성, 표현력 있는 도구 세트가 결합될 때, 에이전트는 진정한 가치를 발휘합니다. 향후 개인 AI와 기업용 에이전트는 더욱 정교해질 것이며, 가장 큰 도전은 기술이 아닌 **조직 구조와 권한 관리** 가 될 것으로 예상됩니다.

---

원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://www.youtube.com/watch?v=n9xKblqyQ28)