AI 에이전트가 검색 문서의 지시를 따르지 않게 하려면

업무 에이전트가 검색한 문서에 업무 내용뿐 아니라 시스템 설정을 바꾸라는 지시가 섞여 있을 수 있습니다. 외부 문서가 답변의 근거가 되는 것과 에이전트의 행동을 허가하는 것은 서로 다른 일입니다.

실무 적용 방법

검색 결과는 신뢰도가 낮은 자료로 취급하고 도구 호출 권한은 별도 정책으로 제한합니다. 문서가 요청한 외부 전송이나 설정 변경은 사용자 의도와 권한을 확인한 뒤 승인 절차를 거칩니다.

점검할 사항

테스트 문서에 무관한 행동 지시를 넣고 에이전트가 원래 업무를 벗어나는지 확인합니다. 답변에 출처를 남기되 문서에 포함된 민감 정보가 불필요하게 노출되지 않도록 점검합니다.

참고: OWASP GenAI — Prompt Injection

#AI에이전트 #도구결과 #신뢰경계 #프롬프트인젝션 #접근제어 #네이처프랙탈 #기업AI #현장적용 #운영설계 #디지털전환