AI 에이전트의 도구 권한은 어디까지 열어야 할까
에이전트가 도구를 호출할 수 있으면 답변을 넘어 실제 업무 상태를 바꿉니다. 검색, 파일 읽기, 고객정보 조회, 메일 발송을 모두 같은 권한으로 묶으면 작은 판단 오류가 큰 사고로 이어집니다. 기능별로 필요한 최소 권한을 정해야 합니다.
읽기와 쓰기를 다른 단계로 본다
문서를 읽어 요약하는 작업과 데이터를 수정하거나 외부에 전송하는 작업은 위험이 다릅니다. 도구 목록을 읽기 전용, 내부 쓰기, 외부 전송으로 나누고, 요청 목적에 필요 없는 도구는 애초에 노출하지 않는 편이 안전합니다.
모델의 의도를 권한으로 착각하지 않는다
모델이 ‘필요하다’고 판단했다고 해서 접근 권한이 생기는 것은 아닙니다. 사용자의 신원, 고객 테넌트, 데이터 등급을 서버 쪽에서 확인하고 도구 실행 직전에 다시 검사해야 합니다. 문서 안에 적힌 지시도 권한을 올릴 수 없습니다.
고위험 행동은 승인 지점을 둔다
대량 삭제, 금전 거래, 외부 메일 발송은 실행 전 사람이 대상과 내용을 확인하게 합니다. 모든 호출에 승인을 요구하면 업무가 멈추므로 되돌리기 어려운 행동과 대량 변경에 집중하는 편이 낫습니다.
호출 범위와 수량도 제한한다
같은 조회 도구라도 한 건 조회와 전체 고객 내보내기는 다릅니다. 허용 대상, 최대 결과 수, 호출 빈도, 실행 시간을 제한하고 단계별 사용량을 기록해야 예상 밖의 반복 호출을 감지할 수 있습니다.
실패를 재현할 로그를 남긴다
어떤 사용자 요청에서 어떤 도구가 어떤 정책에 의해 허용되거나 차단됐는지 기록합니다. 비밀 값이나 원문 개인정보는 로그에서 제외하고 도구 이름, 대상 식별자, 결과 코드 정도를 구조화합니다.
현장에 적용할 때의 순서
- 업무별 필요한 도구와 권한 등급을 목록화
- 도구 실행 직전 신원·테넌트·대상 범위 검증
- 고위험 쓰기 작업에 승인과 수량 제한 적용
주의할 실패: 모델이 도구를 요청했다는 이유만으로 실행
관찰할 지표: 차단된 호출·승인 대기·과다 호출 건수
적용 전 체크리스트
- 각 도구의 읽기·쓰기·외부 전송 등급을 적는다
- 실행 직전 사용자·테넌트 권한을 서버에서 검증한다
- 되돌리기 어려운 행동의 승인 경로를 테스트한다
참고 자료
OWASP GenAI — Excessive Agency. 에이전트의 과도한 기능·권한·자율성이 만드는 위험은 OWASP 자료를 참고했습니다. 권한 등급과 승인 범위는 적용을 위한 설계 제안입니다.
이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.
#AI에이전트 #도구권한 #최소권한 #프롬프트인젝션 #AI보안 #접근통제 #에이전트운영 #테넌트격리 #승인흐름 #감사로그
이 주제를 실제 시스템으로 옮기려면 AI 알고리즘 개발 살펴보기