모든 승인을 없애는 것이 목표는 아니다
에이전트를 쓰다 보면 팝업 승인창이 번거롭게 느껴져 모든 설정을 '무조건 허용(Always Allow)'으로 풀고 싶어진다.
로컬 환경의 테스트 코드나 언제든 되돌릴 수 있는 가벼운 파일 수정이라면 효율적일 수 있다. 하지만 실제 회사 업무와 운영 시스템 전체를 무승인 자동화로 두는 것은 매우 위험하다.
행위 유형별 위험도 구분
| 위험도 | 행위 유형 | 대표 예시 | 승인 정책 권장안 |
|---|---|---|---|
| 저위험 | 단순 조회 및 초안 작성 | 문서 검색, 요약, 비교, 번역 | 사전 승인 불필요 (자율 실행) |
| 중위험 | 내부 데이터 수정 | 내부 파일 저장, 캘린더 일정 등록 | 작업 완료 후 알림 및 로깅 |
| 고위험 | 외부 발송 및 운영 변경 | 고객 대상 메일 발송, DB 변경, 코드 머지 | 반드시 사람의 1회용 승인 필수 |
| 초고위험 | 재무·인사·법적 조치 | 대금 결제, 계약 체결, 개인정보 삭제 | 복수 관리자 승인 및 감사 로그 |
Human-in-the-loop (인간 개입 루프)
업무 흐름 속에 사람의 의사결정 단계를 전략적으로 배치하는 구조를 말한다.
[ 1단계: AI 분석 및 초안 작성 ]
↓
[ 2단계: 사람의 이상치 검수 및 승인 ] ← Human-in-the-loop
↓
[ 3단계: 실제 시스템 반영 및 외부 발송 ]
사람이 개입해야 하는 5대 필수 지점
- 금전과 비용: 예산 지출, 결제, 정산 확정
- 외부 커뮤니케이션: 고객 및 거래처에 공식 메시지가 나갈 때
- 되돌릴 수 없는 변경: DB 영구 삭제, 프로덕션 배포
- 개인정보 및 기밀: 개인정보 파일 열람 및 전송
- 법적·계약적 책임: 규정 해석이나 계약 문서 확정
결론
훌륭한 AI 업무 설계는 **"사람을 완전히 없애는 시스템"**이 아니라, **"사람이 가장 중요한 의사결정에 집중할 수 있도록 만드는 시스템"**이다.
공식 참고: NIST AI Risk Management Framework / OpenAI App Permissions & Safety