에이전트가 문서를 읽고 초안을 만드는 일과 외부 시스템에 주문을 확정하는 일은 위험도가 다릅니다. 자동화 범위를 하나의 스위치로 정하지 말고, 실행이 되돌릴 수 있는지와 영향 대상을 기준으로 승인 경계를 그어야 합니다.
작업을 위험도별로 나눈다
조회·요약·초안 작성은 비교적 쉽게 재실행할 수 있습니다. 반면 결제, 고객 발송, 권한 변경, 대량 삭제는 즉시 외부 영향을 만듭니다. 에이전트의 도구마다 읽기, 임시 저장, 확정 실행을 분리하고 확정 단계에 명시적인 승인 정책을 붙입니다.
승인 화면에 결정 재료를 모은다
사람에게 '진행할까요?'만 묻는다면 검토가 아닙니다. 대상, 변경 전후 값, 예상 영향, 근거 문서, 실패 시 복구 방법을 한 화면에 보여 줍니다. 모델의 요약과 원본 데이터 링크를 구분해 검토자가 추론 오류를 확인할 수 있게 합니다.
승인 이후에도 입력이 바뀔 수 있다
승인받은 초안과 실제 실행 페이로드가 다르면 승인은 무의미합니다. 승인 시점의 입력 해시나 버전을 보관하고 실행 직전에 비교합니다. 달라졌다면 이전 승인을 재사용하지 않고 다시 검토받습니다.
권한은 서버가 집행한다
모델이 '승인됨'이라고 답했다고 해서 서버 권한이 생기면 안 됩니다. 사용자·테넌트·도구·금액 한도를 서버에서 검증하고, 승인자와 실행자를 로그로 연결합니다. 고위험 도구는 기본 거부 후 허용 목록으로 개방합니다.
작은 자동화부터 확장한다
처음에는 읽기와 초안 작업만 자동으로 돌리고, 승인 대기 시간과 반려 사유를 수집합니다. 반복되는 저위험 작업에서 오류와 복구 비용이 확인된 뒤에만 자동 실행 범위를 넓힙니다. 승인 횟수 감소보다 잘못된 실행의 예방이 목적입니다.
현장에 적용할 때의 순서
- 도구를 읽기·초안·확정으로 분류
- 고위험 확정에 승인 증거 연결
- 입력 버전 확인 후 실행
주의할 실패: 자연어 답변만으로 승인 판정
관찰할 지표: 무승인 실행 건수와 반려 사유
적용 전 체크리스트
- 도구별로 조회·초안·확정 권한이 분리되어 있는가
- 승인 화면에서 원본과 변경 전후 값을 볼 수 있는가
- 승인 뒤 입력 변경 시 재승인과 감사 기록이 남는가
참고 자료
NIST AI Risk Management Framework. 위험 관리 프레임워크를 참고한 운영 설계 예시이며 구체적인 승인 기준은 업무별로 정해야 합니다.
이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.
#AI에이전트 #업무자동화 #휴먼인더루프 #승인흐름 #AI거버넌스 #도구권한 #기업AI #워크플로 #리스크관리 #에이전트운영
