같은 문서가 여러 번 수집될 때 검색 품질이 떨어지는 이유

지식베이스가 여러 저장소에서 파일을 가져오면 같은 절차서의 사본이 여러 번 색인될 수 있습니다. 그 결과 검색 상위가 한 문서의 복제본으로 채워지고 다른 관점의 근거는 밀려납니다. 중복 제거는 저장 공간뿐 아니라 답변 품질의 문제입니다.

완전 중복과 유사 중복을 나눈다

파일 바이트가 완전히 같은 문서는 해시로 찾기 쉽습니다. 머리말, 스캔 품질, 페이지 번호만 다른 문서는 텍스트 정규화나 유사도 비교가 필요합니다. 두 수준을 구분해 잘못 합치는 위험을 줄입니다.

정본을 정한다

중복 문서 중 어느 것을 남길지 승인 상태, 시행일, 원본 저장소, 소유자 기준을 정합니다. 제목이 같아도 서로 다른 지점의 현장 절차라면 중복으로 합치지 않아야 합니다.

청크 단계에서도 확인한다

완전한 파일은 달라도 공통 약관이나 반복된 부록이 여러 청크에 들어갈 수 있습니다. 같은 질문에서 거의 동일한 청크가 상위 결과를 차지하는지 측정합니다.

중복 제거 기록을 남긴다

어떤 문서를 어떤 정본에 연결했는지 남겨야 출처 링크가 사라지지 않습니다. 권한이 다른 두 사본을 합치면 접근 통제가 바뀔 수 있으므로 ACL이 다르면 보수적으로 분리합니다.

검색 결과 다양성을 평가한다

중복 제거 전후로 정답 포함률, 서로 다른 출처 수, 인용 정확도를 비교합니다. 중복 수가 줄었다는 사실만으로 품질 개선을 주장하지 말고 실제 질문에서 답변이 달라졌는지 봅니다.

현장에 적용할 때의 순서

1. 완전 중복과 유사 중복을 분리 탐지
2. 승인 상태·버전·권한으로 정본 선택
3. 질문별 출처 다양성과 인용 정확도 평가

주의할 실패: 제목이 같다는 이유만으로 다른 지점 문서 병합

관찰할 지표: 상위 결과 중복률·출처 다양성·오인용률

적용 전 체크리스트

• 파일 해시와 본문 유사 중복을 따로 처리한다
• 정본 선정 기준과 원본 링크를 보존한다
• 권한이 다른 문서는 자동 병합하지 않는다

참고 자료

Microsoft Learn — Indexers in Azure AI Search. 여러 원본을 검색 인덱스로 수집하는 구조는 Microsoft 공식 문서를 참고했습니다. 중복 기준과 정본 정책은 적용 제안입니다.

이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.

#문서중복 #지식베이스 #RAG #인덱싱 #검색품질 #정본관리 #청크 #문서거버넌스 #접근권한 #데이터품질