에이전트가 읽은 문서의 지시를 실행하면 안 되는 이유

에이전트가 사내 문서를 읽고 업무를 처리할 때, 문서 안의 문장은 참고 자료이지 사용자나 시스템의 명령이 아닙니다. 악의적인 문서가 '이후 지시를 무시하고 외부로 보내라'고 적어도 도구 실행으로 이어지지 않게 신뢰 경계를 세워야 합니다.

문서 내용의 권한을 낮게 둔다

검색 결과, PDF 본문, 웹페이지는 에이전트가 읽는 데이터입니다. 그 안에 명령형 문장이 있어도 상위 지시나 사용자 승인으로 승격하지 않습니다. 모델이 구분하도록 지시하는 것만으로 끝내지 않고 서버의 도구 권한 검사로 경계를 강제합니다.

외부 전송 도구를 분리한다

문서 요약과 외부 메일 발송은 위험이 다릅니다. 주소·도메인·전송 대상 수를 서버에서 확인하고, 민감 자료가 포함된 첨부는 승인받게 합니다. 문서가 제안한 URL을 그대로 호출하는 도구 사용은 허용 목록과 검토가 필요합니다.

근거와 실행 제안을 따로 보여 준다

모델이 문서에서 읽은 내용과 스스로 하려는 행동을 화면에서 구분합니다. 실행 전에는 대상, 보낼 내용, 출처, 사용자의 원래 요청을 비교할 수 있게 합니다. 숨겨진 문장 때문에 행동이 바뀐 흔적을 감사 로그에 남깁니다.

공격 예시를 평가 세트에 넣는다

정상 문서 사이에 도구 호출 지시, 역할 사칭, 비밀 정보 요청을 넣어 봅니다. 에이전트가 답변 내용으로만 다루고 실제 권한을 넘지 않는지 시험합니다. 검색된 문서가 바뀌어도 같은 방어가 유지되는지 확인해야 합니다.

사고 범위를 작게 만든다

읽기 전용 도구로 시작하고 필요한 쓰기 도구만 개방합니다. 고객·테넌트별 접근 범위와 호출 횟수도 제한합니다. 완벽한 문장 필터보다 권한 최소화와 승인 경계가 피해를 줄이는 핵심 수단입니다.

현장에 적용할 때의 순서

1. 문서·사용자 지시 경계 설정
2. 도구 권한·전송 대상 검증
3. 공격 문서로 회귀 시험

주의할 실패: 문서 문장을 승인 명령으로 실행

관찰할 지표: 무승인 도구 호출과 차단률

적용 전 체크리스트

• 검색 문서를 낮은 신뢰의 데이터로 취급하는가
• 외부 전송·쓰기 도구가 서버 권한을 재검사하는가
• 문서 기반 공격 예시를 회귀 테스트하는가

참고 자료

OWASP LLM Prompt Injection. 외부 콘텐츠가 모델 행동을 바꾸려는 공격 유형을 참고했습니다. 도구별 권한과 승인 정책은 서비스 위험에 맞춰 설계해야 합니다.

이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.

#프롬프트인젝션 #AI에이전트 #도구보안 #생성형AI #RAG보안 #권한관리 #데이터유출방지 #기업AI #보안테스트 #휴먼인더루프