무엇이 바뀌었나
이전까지 에이전트 연구는 대체로 실수를 줄이는 쪽이었다. 8월 논문들은 전제를 바꾼다.
실수는 발생한다. 그러니 되돌릴 수 있게 만들자.
데이터베이스와 운영체제가 오래전에 정리한 개념들이 그대로 넘어오고 있다. 체크포인트, 롤백, 트랜잭션, 스테이징 환경에서의 사전 검증.
되감기 — 억지로 복구하지 않는다
AgentRewind: Recoverable Execution for Long-Horizon LLM Agents (8월 14일)
장기 작업 도중 실수하면 보통 에이전트는 이후 행동으로 억지로 수습하려 한다. 잘못 만든 파일을 지우려다 다른 걸 지우는 식이다.
이 논문은 에이전트의 컨텍스트와 실제 환경 상태를 함께 체크포인트로 저장하고,
과거 시점으로 되감는다. 장기 엔지니어링 벤치마크 MettleBench도 함께 공개했다.
ScienceFlow (8월 14일)도 같은 방향이다.
긴 연구를 하나의 끝없는 실행으로 두지 않고, 저장·분기·복원 가능한 구간으로 나눈다.
ESTRA가 지금 방향을 계속할지 과거 상태로 돌아갈지 결정하며, 남은 예산도 고려한다.
MLE-bench에서 24시간 제한으로 Any-Medal 70.22%를 보고했다.
트랜잭션 — 개념을 일반화한다
Agentic Transaction: Towards ACID-Compliant Agent Systems (8월 14일)
데이터베이스의 ACID를 에이전트로 가져왔다. 여러 도구 호출과 파일·상태 변경을
하나의 트랜잭션으로 보고, 실패하면 재시도·롤백한다. 기존 에이전트 대비 10.6% 향상을 보고했다.
되감기가 "이번엔 되돌리자"라면, 이쪽은 모든 실행을 애초에 commit / validate / rollback 가능한 단위로 관리하자는 시스템 원칙이다.
이탈 감지 — 오류 메시지 없이 틀리는 경우
장기 실행의 진짜 위험은 명백한 오류가 아니다. 일은 계속 잘하고 있는 것처럼 보이는데 조금씩 다른 일을 하기 시작하는 것이다.
Graph-Based RL for Structured Drift Diagnosis and Recovery (8월 14일)는 큰 주 에이전트를 다시 학습시키는 대신, 작은 모델 하나를 옆에 둔다. 이탈 판별 → 어디서 발생했는지 → 위험도 → 복구 결정을 각각 담당하게 RL로 학습했다.
Don't Solve, Just Compare: Tiny Advisors for Runtime Intervention (8월 21일)은 여기서 한 걸음 더 나간다. 작은 모델에게 문제를 풀게 하지 않는다. 현재 행동과 대안 중 어느 쪽이 나은지 비교만 시킨다. 3개 액터 × 3개 환경, 9개 설정 전부에서 성능이 개선됐다.
큰 에이전트 = 일함 / 작은 조언자 = 이상할 때 방향만 교정
강한 에이전트를 감시하려면 또 하나의 강한 LLM이 필요하다는 통념을 뒤집는다. 운영비 측면에서 중요하다.
실행 전에 먼저 해본다
EnvACE: Internalizing Environment Dynamics via World Rehearsal 계열의 아이디어는 모델 안에서 예행연습이다. 실제 도구를 매번 실행하지 않고, "내가 이 도구를 쓰면 환경이 어떻게 반응할까"를 내부적으로 시뮬레이션하며 학습한다. (8월 6일 공개. arXiv 번호는 확인하지 못했다.)
Hierarchical Agentic Incident Response with Digital-Twin-Validated Attack Inference (8월 15일)는 모델 밖에서 검증한다. 보안 사고 대응에서 LLM의 추론을 그대로 믿지 않고 디지털 트윈에서 먼저 재현한 뒤 실행한다. 복구 성공률을 18~31% 높였다.
구조를 비교하면 이렇다.
- 기존: 계획 → 실행
- 디지털 트윈: 계획 → 가상 환경에서 먼저 실행 → 결과 확인 → 실제 실행
실패의 원인을 찾는 쪽도 발전했다
실시간 감지 — Real-Time Detection and Repair of LLM Agent Failures (8월 3일)는 반복 루프, 도구 오류 연쇄, 목표 이탈 같은 실패를 매 단계의 실행 신호만으로 감지한다. 별도 LLM 심판을 매 단계 호출하지 않는다는 게 핵심이다. 성공률 52% → 73%.
사후 추적 — TRAJDEBUG (8월 6일)는 여러 오류 중 단순히 "첫 번째 오류"가 아니라
최종 실패를 실제로 야기한 핵심 오류가 어디서 시작됐는지 추적한다.
실패 실행 기록 486개를 사람이 직접 주석한 TrajErrBench도 만들었다.
그래서 무엇을 다르게 할 것인가
1. 되돌릴 수 있는 곳에서만 시킨다
논문들이 공들여 만들고 있는 게 바로 이 능력이다. 지금 쓰는 도구에 그게 없다면 사람이 대신해야 한다 — 작업 전 복사본, 버전 관리되는 폴더, 원본 분리.
2. 오래 돌릴수록 중간에 확인한다
실패는 끝에 몰려 있지 않다. 조용히 방향이 틀어지는 게 더 위험하고, 그건 결과만 봐서는 안 보인다.
3. 이상하면 계속 시키지 말고 되돌린다
에이전트가 수습하려 들 때가 가장 위험하다. 이후 행동으로 복구시키는 것보다 문제가 시작되기 전으로 돌아가 다시 시키는 편이 대개 싸다.
4. 감시는 비싼 모델로 하지 않아도 된다
옆에 작은 확인 절차를 두는 것만으로 상당 부분 잡힌다는 결과가 반복해서 나왔다. 사람이 중간에 한 번 보는 것도 같은 역할을 한다.