하네스가 무엇인가
모델을 감싸고 있는 실행 구조 전체다. 프롬프트를 어떻게 구성하는지, 도구를 어떻게 연결하는지, 행동을 어떻게 검증하는지, 오류가 나면 어떻게 복구하는지.
Codex, Claude Code, 안티그래비티 같은 도구에서 우리가 실제로 쓰는 것은 모델이 아니라 이 하네스다. 그리고 8월 논문들의 반복된 결론은 이것이다.
같은 모델을 다른 하네스에 넣으면 결과가 크게 달라진다.
모델 말고 하네스를 고친다
Harness-R1 (8월 3일)이 방향을 잡았다. 실패 기록을 이용해 모델이 아니라 하네스를 자동 수정한다. WebShop, ALFWorld, DBBench에서 Qwen3.5-9B의 평균 성공률을 44.3% → 53.6%로 높였다.
DocsChisel (8월 10일)은 더 재미있는 각도다. 에이전트가 도구를 못 쓸 때 도구 설명서를 고친다. 실패 기록을 분석해 각 도구 설명에서 필요한 정보를 추가·삭제·수정한다. 원래 설명서 대비 성공률이 상대적으로 95.89% 개선됐다고 보고한다.
에이전트 성능 문제를 항상 LLM 능력 부족으로 볼 필요가 없다는 강한 증거다.
하네스가 스스로 학습한다
AutoDesign: Meta-Harness Optimization (8월 13일)은 하네스를 고정하지 않고, 메타 하네스가 실행 결과를 보며 하네스를 반복 개선하게 만들었다. 논문→학술 포스터 제작을 과제로 삼아 7개 조합에서 평균 54.99 → 67.39로 올렸다.
AutoSaddler (8월 24일)는 이걸 더 실용적으로 만든다. 매 실행마다 임시로 반성하는 게 아니라 실패를 영구적인 하네스 개선으로 축적한다. 실패 원인 진단 → 하네스 코드 패치 → 검증으로 선별. GAIA2, SWE-Bench Pro, Terminal-Bench 2.0에서 각각 +9.0, +9.6, +10.0%p.
- 기존: 실패 → 이번 실행만 수정
- 제안: 실패 → 시스템 코드 수정 → 다음 모든 실행이 개선
개선 비용을 낮춘다
하네스가 스스로 진화하려면 후보를 수백·수천 번 평가해야 한다. 그 비용이 실제 병목이다.
Task-CoEvolve (8월 20일)는 후보 하네스들이 서로 다른 결과를 내는 문제만 골라 평가한다. 모두 맞히거나 모두 틀리는 문제는 가치가 낮다. Terminal-Bench 2.1 등에서 거의 같은 최종 성능을 얻으면서 평가 횟수를 80% 줄였다.
실제 배포 하네스 안에서 훈련시킨다
같은 시기에 두 곳에서 같은 문제를 다뤘다.
ClawGym II: Exploring Black-Box RL on Agent Harness (8월 17일)는 Claude Code나 OpenClaw 같은 복잡한 하네스를 뜯어고치지 않고 블랙박스 그대로 RL에 넣는다. 모델 호출을 프록시에서 가로채 실행 기록을 복원한다. Qwen3-30A3B에서 OpenClaw +9.98%p, Claude Code +14.81%p.
Agent Lightning v1.0 (8월 18일, Microsoft)은 임의의 하네스를 그대로 RL에 연결하는 프레임워크다. 약 3,500줄 구현으로 에이전트가 실제 쓰는 도구·컨텍스트·제어 흐름을 유지한 채 학습한다. 6K 예제와 비교적 적은 계산으로 Qwen3.5-9B의 SWE-bench Verified를 41.8% → 56.4%로 높였다.
연구 대상이 LLM 자체에서 "LLM + 실제 실행 시스템" 전체로 옮겨갔다는 뜻이다.
장기 실행을 위한 하네스
OneDayAgent (8월 4일)는 목표 이탈, 상태 손실, 컨텍스트 초과를 따로 처리하지 않고 하나의 장기 실행 하네스에서 함께 관리한다. 104개 장기 작업에서 종합 0.821을 기록했고, 서로 다른 5개 백엔드 모델에 같은 구조를 적용했다. (저자들도 진행 중인 연구라고 표시했다.)
Prime Agent: A Self-Improving RLM Harness (8월 24일)는 지속되는 IPython 세션, 연속 메모리, 스킬·프롬프트·서브에이전트 저장, 재귀적 서브에이전트, 에이전트 간 통신을 하나의 오픈소스 하네스로 묶었다. 실행·복구·검증·자원 회계는 하네스가, 전략은 모델이 담당한다. ARC-AGI-3 RHAE Best@1을 30% → 95.5%로 높였다고 보고한다.
컨텍스트 한계를 단순히 늘려서 풀지 않고 외부 계산·기억·하위 에이전트로 우회한다는 점이 핵심이다.
Apodex 1.1 (8월 24일)도 같은 방향에서, "정답을 한 번 내는 능력"이 아니라 시간이 걸리는 실제 업무를 계속 진전시키는 능력을 명시적 목표로 삼았다.
환경도 같이 진화한다
EnvHarness: Awakening Static Worlds for Agent Learning (8월 20일)
기존 벤치마크 환경은 고정되어 있어서 에이전트가 어디에 약한지와 무관하게 같은 문제를 계속 준다. EnvHarness는 환경을 뜯어고치지 않고 플러그인을 씌워 현재 에이전트의 약점에 맞춰 환경을 변형한다. 4개 분야 5개 벤치마크에서 미공개 성능을 최대 9.0점 높이면서 실행 단계는 9.8% 줄였다.
지금까지는 에이전트가 환경에 적응했다면, 여기서는 환경도 에이전트에 맞춰 진화한다.
그래서 무엇을 다르게 할 것인가
1. 도구를 비교할 때 모델 이름만 보지 않는다
"GPT가 몇 점"이 아니라 "이 도구 + 이 모델 + 이 설정"이 단위다. 같은 모델을 쓰는 두 도구가 전혀 다르게 동작하는 게 정상이다.
2. 실패를 그때그때 수습하지 말고 절차에 반영한다
같은 실패가 세 번 나면 프롬프트를 즉흥으로 고칠 게 아니라 절차 문서나 설정을 고친다. 논문들이 자동화하고 있는 게 정확히 이 습관이다.
3. 도구 설명이 부실하면 그것부터 고친다
내부 시스템이나 사내 도구를 에이전트에 연결할 때, 모델을 바꾸기 전에 그 도구의 설명·인자·예시부터 손보는 게 대개 더 효과가 크다.