사내 규정 문서 두 개가 다른 답을 말할 때 RAG는 어느 문서가 맞는지 스스로 결정해서는 안 됩니다. 최신 문서처럼 보여도 적용 조직과 시행일이 다를 수 있습니다. 충돌을 발견하고 사용자에게 설명하는 흐름이 필요합니다.
문서의 적용 범위를 구조화한다
제목만 비슷한 정책도 사업부, 지역, 고객 계약, 시행일이 다를 수 있습니다. 색인에 작성일뿐 아니라 유효 시작일, 종료일, 소유 부서, 적용 대상을 메타데이터로 넣습니다. 검색 단계에서 질문의 조직과 시점을 반영합니다.
최신 문서가 무조건 우선은 아니다
새 문서는 일부 사업부만 대상으로 할 수 있고, 이전 계약에는 구버전 조건이 유지될 수 있습니다. 단순 업데이트 날짜 순서 대신 적용 범위와 공식 승인 상태를 비교합니다. 승인되지 않은 초안을 확정 규정처럼 인용하지 않습니다.
서로 다른 주장에 근거를 붙인다
두 문서가 같은 대상과 기간에 다른 값을 제시하면 답변을 보류합니다. 충돌하는 문장과 문서 버전을 담당자가 확인할 수 있게 보여 주고, 사용자에게는 확인 중임을 알립니다. 모델이 임의로 평균을 내거나 한쪽을 숨기면 안 됩니다.
문서 관리 프로세스로 되돌린다
충돌은 검색 튜닝만의 문제가 아닙니다. 정책 소유자에게 중복·폐기·승인 누락을 알리고 원문을 정리해야 합니다. 정리 후 색인 갱신과 캐시 무효화를 확인해 이전 답변이 반복되지 않게 합니다.
충돌 질문을 평가 세트에 넣는다
정상 질문뿐 아니라 같은 정책의 여러 버전, 적용 범위가 다른 문서, 폐기된 규정을 포함해 시험합니다. 답변 정확도와 함께 충돌 탐지율, 잘못된 단정 비율을 봅니다. 답변 보류가 필요한 상황을 성공적인 통제로 평가합니다.
현장에 적용할 때의 순서
- 적용 범위·버전 메타데이터 기록
- 동일 조건의 주장 비교
- 충돌을 보류하고 소유자에게 전달
주의할 실패: 최신 날짜만 보고 자동 선택
관찰할 지표: 충돌 탐지율과 잘못된 단정률
적용 전 체크리스트
- 문서에 유효기간과 적용 대상이 있는가
- 충돌하는 근거를 단일 답으로 합치지 않는가
- 충돌을 문서 소유자에게 전달하는가
참고 자료
Amazon Bedrock Knowledge Bases retrieval documentation. 검색 구간과 생성 답변의 근거 인용 기능을 참고했습니다. 충돌 처리·문서 거버넌스는 글의 운영 설계 제안입니다.
이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.
#RAG #기업검색 #문서버전 #정책관리 #근거기반AI #생성형AI #지식베이스 #AI평가 #문서충돌 #답변품질
