RAG 답변의 출처 링크도 사용자 권한으로 확인하기
사내 검색 답변에 출처 링크가 붙어 있어도 사용자가 해당 문서를 열 수 없다면 내용을 검증하기 어렵습니다. 더 심각하게는 문서 제목이나 요약만으로 접근 권한이 없는 정보가 드러날 수 있습니다.
실무 적용 방법
검색 후보를 만들 때 사용자 권한을 적용하고 답변에 넣는 인용 정보에도 같은 기준을 적용합니다. 출처에는 문서명과 관련 구간을 표시하되 사용자가 실제로 열람할 수 있는 링크를 사용합니다. 권한 정보를 오래된 캐시만으로 판단하지 않도록 갱신 정책을 정합니다.
예외 상황과 확인 방법
부서 이동이나 권한 회수 뒤 동일한 질문을 다시 시험합니다. 답변 생성 중 권한이 바뀌는 경우와 링크를 다른 사용자에게 전달한 경우도 확인하고, 근거를 제공할 수 없으면 답변 범위와 이유를 안내합니다.
적용 전 체크리스트
- 문서 본문과 제목 모두 권한 검사 대상인가
- 출처 링크를 열 때 현재 권한을 다시 확인하는가
- 권한 회수 후 캐시된 답변이 정보를 노출하지 않는가
#RAG평가 #평가질문 #골든셋 #검색품질 #AI품질 #네이처프랙탈 #기업AI #현장적용 #운영설계 #디지털전환
이 주제를 실제 시스템으로 옮기려면 AI 알고리즘 개발 살펴보기