문서 속 명령이 AI를 속일 때: 프롬프트 인젝션 경계

사내 문서를 검색하는 AI는 문서를 ‘읽을 자료’로 받아야 합니다. 그 안의 ‘관리자 권한으로 전송하라’ 같은 문장을 지시로 실행하면 신뢰 경계가 무너집니다.

위험을 업무에서 먼저 정의한다

공격자는 웹페이지, PDF, 이메일 본문처럼 모델이 참고할 자료에 명령을 숨길 수 있습니다. 문서가 검색 결과 상단에 올라오면 모델은 이를 상위 지시처럼 오해할 수 있습니다. 직접 질문에 포함된 공격뿐 아니라 외부 자료에 실린 간접 공격을 따로 시험해야 합니다.

권한과 데이터 경계를 나눈다

시스템 정책, 사용자 요청, 검색 문서를 다른 신뢰 등급으로 취급합니다. 문서 내용이 도구 사용이나 권한 변경을 요구해도 실행 정책을 바꿀 수 없어야 합니다. 검색 결과에서 명령형 문장을 제거하는 것만으로 충분하다고 가정하지 말고 도구 호출 단계에서 재검증합니다.

작은 범위에서 검증한다

내부 정보 유출, 임의 API 호출, 답변 오염을 각각 테스트 케이스로 만듭니다. 공격 문서를 검색 후보에 섞어 실제 RAG 경로에서 재생하고, 모델의 답변뿐 아니라 호출 시도와 거절 기록을 확인합니다. 차단된 실패 사례도 회귀 테스트에 남깁니다.

운영 지표를 함께 본다

검출률만 측정하면 정상 문서의 인용까지 막는 과잉 방어를 놓칩니다. 공격 성공률, 정상 답변율, 위험 도구 호출 거절률을 같이 측정합니다. 소스 유형과 문서 권한별로 나누면 어느 유입 경로가 가장 취약한지 판단하기 좋습니다.

예외와 변경을 관리한다

완벽한 필터를 기대하지 말고 영향 범위를 제한합니다. 쓰기 권한은 별도 승인하고, 민감정보는 검색 전 제거하거나 권한으로 제한합니다. 공격이 발견되면 문서 원본, 검색 시점, 모델 버전, 도구 호출 로그를 보존해 재현 가능한 조사를 합니다.

현장에 적용할 때의 순서

1. 문서와 지시의 신뢰 등급 분리
2. 공격 문서를 넣은 회귀 테스트
3. 도구 호출 단계에서 권한 재검증

주의할 실패: 문서 내용으로 상위 정책을 바꾸기

관찰할 지표: 공격 성공률·정상 답변율·거절률

적용 전 체크리스트

• 문서와 지시의 신뢰 등급 분리
• 공격 문서를 넣은 회귀 테스트
• 도구 호출 단계에서 권한 재검증

참고 자료

OWASP GenAI — Prompt Injection. 간접 프롬프트 인젝션의 위험은 OWASP 지침을 참고했습니다. 테스트 구분과 로그 보존 절차는 실무 적용 제안입니다.

이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.

#프롬프트인젝션 #RAG보안 #간접공격 #AI보안 #도구권한 #네이처프랙탈 #기업AI #현장적용 #운영설계 #디지털전환