이번 달 가장 불편한 결과
HarnessRisk: A Lifecycle-Oriented Benchmark for Agent Harness Safety (8월 18일)
안전성을 모델만 검사하지 않고 하네스 설정 → 기능 확장 → 런타임 → 상태 보존 → 행동 통제 → 사고 복구의 여섯 단계로 나눠 평가했다. 128개 샌드박스 공격, 3개 하네스, 6개 LLM. 공격 성공률은 설정에 따라 **12.6~80.9%**였다.
더 중요한 건 이 대목이다.
어떤 에이전트는 위험을 90% 이상 인식하면서도 실제 공격 행동을 막지 못했다.
"AI가 위험하다고 알아차렸다" ≠ "AI가 위험한 행동을 하지 않았다."
게다가 모델이 안전해도 권한 설정, 지속 메모리, 도구 구성 같은 하네스 쪽에서 뚫릴 수 있다. 에이전트 안전이 모델 정렬보다 시스템 보안에 가까워지고 있다는 뜻이다.
같은 결론이 금융에서도 나왔다
ReguSim: Evaluating LLM Agent Rule Grounding in Financial Compliance (8월 20일)
금융 에이전트에게 규칙을 보여주고, "규칙을 이해했다고 말하는 것"과 실제 주문 행동을 분리해서 측정했다.
- 규칙을 명시하면 위반은 줄었지만 사라지지 않았다
- 페르소나나 인센티브를 바꾸면 행동도 달라졌다
- 더 심각하게는, 거래자의 설명만 본 감시 에이전트가 실제 위반 여부를 잘못 판단했다. 실행 증거를 보여줘야 개선됐다
안전 감사 자료로 중요한 것은 추론 설명이 아니라 실제로 어떤 도구 호출과 행동이 실행됐고 시스템이 무엇을 허용·거부했는가다.
최종 답이 아니라 행동을 본다
ActBench: Self-Evolving Benchmark of Behavioral Safety in Cowork Agents (8월 10일)
협업형 에이전트가 정상 작업을 수행하면서도 개인정보를 유출하거나, 허가되지 않은 상태를 변경하거나, API를 잘못 호출하는 행동 수준의 안전 실패를 평가한다. 600개 사례·213개 시나리오·15개 위험 행동, 24,000개 실행 기록. 일부 설정에서는 공격 성공률이 90%를 넘었다.
Cowork처럼 실제 업무 흐름에 얹어 쓰는 도구에 가장 직접적인 연구다.
한 번의 행동이 아니라 절차 전체를 통제한다
PolicyGuide: From Guarding One Action to Guiding the Whole Workflow (8월 20일)
기존 가드레일은 개별 도구 호출이 위험한지만 검사한다. 하지만 실제 업무에는 순서가 있다.
본인 확인 → 조건 확인 → 사용자 재확인 → 실행
PolicyGuide는 회사 정책 자체를 워크플로 그래프로 컴파일하고, 진행 상태를 저장하면서 다음에 해야 할 필수 절차를 검증자가 알려준다. τ²-bench 항공·소매·통신 환경에서 평균 Pass⁴를 0.42 → 0.62로, 절차성이 강한 통신 업무에서는 0.19 → 0.61로 높였다. 같은 워크플로가 다른 모델에도 이전됐다.
"금지된 행동을 하지 마"만으로는 부족하다는 것이 요점이다.
실행 권한을 암호학적으로 묶는다
NiyamAI: An Intent-Bound AI Agent with Cryptographically Verifiable Guardrails (8월 7일)
이메일 발송, DB 조회, 명령 실행 같은 도구 호출 전에 사용자 의도와 허용된 도구를
Intent Contract로 고정한다. 별도 심판이 행동을 검사하고,
zk-SNARK 증명까지 만들어야 실제 도구가 실행된다.
Agent-SafetyBench 기반 평가에서 F1 88.5%, 오탐 1.1%.
기존 안전은 대부분 "AI가 안전하다고 판단했다"에 의존한다. 이 논문은 안전 검사가 실제로 수행됐다는 사실 자체를 증명하려 한다.
(승인 1회당 증명 생성에 약 2.26초가 추가되고, 특정 벤치마크에 맞춘 분류기를 zero-shot 방어법과 비교했다는 한계는 감안해야 한다.)
기억이 공격 경로가 된다
MIND: Lightweight and Effective Memory Injection Defense (7월 30일)는 공격자가 에이전트의 장기 기억에 악성 정보를 심어 원래 의도에서 벗어나게 만드는 메모리 주입 공격을 다룬다.
사용자의 최초 의도와 이후 행동의 관계만 압축해서 분석해 반복적인 LLM 감사 비용을 줄였고, 정확도와 지연시간을 거의 유지하면서 공격 성공률을 약 55% 줄였다고 보고한다.
장기 기억을 쓰는 에이전트가 늘수록 과거 메모리가 새로운 공격 경로가 된다.
실행 전에 가상으로 먼저 해본다
Hierarchical Agentic Incident Response with Digital-Twin-Validated Attack Inference (8월 15일)는 보안 사고 대응을 여러 단계 에이전트로 자동화하되, LLM의 추론을 그대로 믿지 않고 디지털 트윈에서 먼저 재현·검증한다. 33개 구성요소 기업 네트워크 테스트베드의 세 가지 다단계 공격에서 복구 성공률을 18~31% 높였다.
분야는 보안이지만 구조는 일반 업무에도 그대로 쓰인다.
그래서 무엇을 다르게 할 것인가
1. "위험한 건 안 할게요"라는 말을 신뢰의 근거로 쓰지 않는다
인식과 행동은 다르다는 결과가 여러 논문에서 반복해서 나왔다. 믿을 것은 선언이 아니라 권한 설정이다.
2. 권한을 기본값으로 열어두지 않는다
파일 읽기, 파일 수정, 외부 전송은 위험도가 전혀 다르다. 대부분의 에이전트 도구에 "작업 전 물어보기" 설정이 있다. 익숙해지기 전까지는 켜둔다.
3. 순서가 중요한 업무는 순서를 강제한다
확인 없이 발송, 대조 없이 반영. 이런 건 금지 목록이 아니라 절차로 막아야 한다. 사람이 승인하는 지점을 하나 넣는 것만으로 대부분 해결된다.
4. 무엇을 실행했는지 기록이 남는지 확인한다
설명이 아니라 실행 기록이 감사 자료다. 기록이 안 남는 도구는 사고가 나도 원인을 못 찾는다.
5. 장기 기억은 정기적으로 들여다본다
과거에 저장된 잘못된 정보가 조용히 지금 판단을 바꾸고 있을 수 있다.