이 글은 누구에게 필요한가
에이전트를 직접 훈련시킬 일은 대부분의 업무에서 없다. 그래도 이 흐름을 아는 게 도움이 되는 이유는 하나다.
여기서 나오는 결론이 "왜 어떤 에이전트는 긴 작업에서 갑자기 이상해지는가"를 설명하기 때문이다.
핵심 문제 — 보상을 어디에 줄 것인가
20단계짜리 작업이 성공했다고 하자. 20단계 전부가 잘한 행동이었을까? 아니다. 그중 몇 개는 불필요했고, 몇 개는 오히려 방해했을 것이다.
그런데 기존 학습법은 최종 결과 하나만 보고 전 과정에 똑같이 보상한다. 그래서 낭비하는 행동과 도움이 되는 행동을 구분하지 못한다. 이것을 credit assignment 문제라고 부른다.
뒤에서부터 되짚는다
RTPO: Reverse-Turn Policy Optimization (8월 19일)은 학습 불안정의 원인을 컨텍스트 불일치, 약한 턴 단위 credit assignment, 정책 이탈 셋으로 분석하고, 실행 기록을 뒤에서부터 보며 각 턴을 이후 결과와 연결한다. 기존 실행 단위 방식보다 21.50%, 턴 단위 방식보다 10.76% 향상.
Teach the Magnitude, Not the Direction (CrEST) (8월 13일)도 같은 문제를 다룬다. 턴 단위로 검증 가능한 보상을 나누고, 그 안에서는 자기 교사가 토큰 수준 업데이트의 크기만 조절한다. 긴 실행일수록 차이가 커졌다.
ABSeeker (8월 5일)는 검색 에이전트에 적용한다. 최종 정답에서 거꾸로 필요한 단서를 추적한 뒤, 각 검색 단계가 그 단서 확보에 얼마나 기여했는지 평가한다. 실패한 검색 과정 안에서도 유용했던 행동에는 보상을 주고, 중복 행동은 억제한다. Qwen3.5-4B 기반으로 BrowseComp 37.3%, 컨텍스트 관리까지 적용하면 55.3%.
보상이 너무 드물 때
Agent-G2: Gaussian Guidance for Agentic Reinforcement Learning (8월 24일)
긴 실행에서는 보상이 너무 희박해 학습이 어렵다. 기존에는 전문가 실행 기록의 앞부분을 일정 길이 보여주는 방식을 썼는데, 이 논문은 얼마만큼 보여줄지를 작업마다 동적으로 정한다. 추가 탐색 실행 없이 기존 기록만으로 분포를 추정해, 비용은 1/3 이하로 줄이면서 최대 7.4점 향상.
RL을 아예 안 쓰는 길
Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Requirements (8월 18일)
credit assignment가 어렵다면 개별 행동에 보상을 주지 않으면 된다. 진화 전략(ES)은 전체 실행 결과로 모델 파라미터를 통째로 업데이트한다. 역전파가 없어 추론 수준의 GPU 메모리로 전체 파라미터 튜닝이 가능하다고 주장한다. WebArena-Lite에서 Qwen-3.5-27B를 학습해 6.69% 향상.
장기 에이전트 학습의 두 골칫거리인 GPU 비용 + credit assignment를 동시에 우회한다.
환경을 실제로 안 돌리고 배운다
EnvACE (8월 6일)는 학습할 때마다 실제 도구나 외부 환경을 실행하지 않고,
모델 자신이 "이 도구를 쓰면 환경이 어떻게 반응할까"를 내부 시뮬레이션하며 배우는
world rehearsal 방식을 제안했다.
에이전트 학습에서 가장 비싼 부분 중 하나가 환경 실행이다. 이 방향이 확장되면 행동하기 전에 머릿속에서 결과를 예행연습하는 구조가 가능해진다.
실제 배포 하네스 안에서 학습시킨다
이 흐름은 하네스 쪽과 만난다.
- ClawGym II (8월 17일) — Claude Code, OpenClaw를 블랙박스 그대로 RL에 넣는다
- Agent Lightning v1.0 (8월 18일, Microsoft) — 임의의 하네스를 유지한 채 학습. SWE-bench Verified 41.8% → 56.4%
연구 대상이 모델 → 에이전트 → 실제 배포할 하네스 안의 에이전트로 이동했다.
현장 적응
CoAdapt-GUI (8월 12일)는 모바일 GUI 에이전트가 학습 때 본 적 없는 앱을 만났을 때, 그 앱의 시연 없이 자기 실행 결과와 보상만으로 현장 적응한다. AndroidWorld-Generalization 37.5% → 45.0%, AndroidWorld Plus 38.6% → 52.9%.
컴퓨터 사용 에이전트가 제품이 되려면 세상 모든 앱을 미리 학습할 수는 없다.
Clearing the Fog (8월 14일)는 더 근본적인 능력을 다룬다. 현재 에이전트는 필요한 정보가 눈앞에 없으면 적극적으로 찾아보기보다 있는 정보로 결정하려 한다. 이 논문은 미래 판단에 도움이 될 정보를 먼저 얻는 탐색을 별도 능력으로 정의하고, 필요한 탐색과 쓸데없는 배회를 구분해 보상한다.
학습 데이터 쪽
OctoLong (8월 5일)은 긴 컨텍스트 학습 데이터를 다르게 만든다. 긴 책이나 코드 파일을 이어 붙이는 대신, AST 파서·언어 서버·패키지 관리자를 이용해 여러 저장소 사이의 실제 코드 의존 관계를 재귀적으로 추적했다. 기존 장문 학습 자료의 12%만 교체해도 장거리 검색, 장기 상태 추적, 저장소 수준 코드 이해와 후속 에이전트 작업 성능이 크게 향상됐다.
긴 컨텍스트 창을 주는 것과 장기 작업을 잘하는 것은 다르다는 뜻이다.
그래서 무엇을 다르게 할 것인가
1. 긴 작업을 한 번에 시키지 않는다
학습 쪽에서 어려운 문제는 사용 쪽에서도 어렵다. 20단계를 한 번에 시키면 어디서 틀렸는지 사람도 모른다. 확인 지점을 나눠 둔다.
2. "성공했다"를 근거로 그 방식을 굳히지 않는다
성공한 실행 안에도 낭비와 잘못된 행동이 섞여 있다. 잘 됐던 프롬프트를 표준으로 만들기 전에 실제로 무엇이 기여했는지 한 번 본다.
3. 컨텍스트 창 크기를 도구 선택 기준으로 삼지 않는다
길게 넣을 수 있다는 것과 그 안의 내용을 잘 쓴다는 것은 별개다.