RAG 검색 단위에 문서 제목만 넣으면 부족한 이유

RAG는 문서를 작은 조각으로 나눠 검색합니다. 그런데 조각에 제목만 남기면 언제, 누구에게, 어떤 버전의 내용인지 알기 어렵습니다. 검색 단위는 본문과 함께 근거를 해석하는 메타데이터를 가져야 합니다.

조각과 원문 사이를 연결한다

각 조각에 문서 ID, 버전, 페이지·절 번호, 원문 URL을 보관합니다. 답변에서 특정 문장을 인용할 때 원문 위치를 바로 열 수 있어야 합니다. 조각 텍스트만 저장하면 검토자는 근거를 찾기 어렵습니다.

유효기간과 적용 대상을 붙인다

정책 문서에는 시행일과 종료일, 지역, 사업부, 고객 계약 범위가 중요할 수 있습니다. 검색 점수가 높아도 질문의 날짜와 대상에 맞지 않으면 답변 근거가 아닙니다. 제목이 같은 두 버전을 날짜만으로 무조건 합치지 않습니다.

권한 메타데이터도 검색에 사용한다

접근 가능한 문서만 후보로 골라야 합니다. 색인 시점의 권한만 믿지 말고 질문 시점의 사용자·테넌트 문맥과 대조합니다. 권한 없는 문서의 제목이나 존재 자체가 응답에 드러나지 않게 합니다.

조각 크기는 검증해 정한다

짧은 조각은 검색이 잘 돼도 조건과 예외가 떨어져 나갈 수 있고, 긴 조각은 관련 없는 내용이 섞입니다. 실제 질문 세트에서 근거 누락과 인용 정확도를 비교해 조각 전략을 조정합니다. 표와 그림은 텍스트만 자르면 의미가 깨질 수 있습니다.

문서 갱신과 색인 삭제를 연동한다

원문이 수정되거나 폐기되면 옛 조각이 남지 않도록 버전별 색인을 갱신합니다. 캐시까지 무효화했는지 확인하고 마지막 동기화 시각을 기록합니다. 최신성은 모델이 아니라 데이터 파이프라인의 책임이기도 합니다.

현장에 적용할 때의 순서

1. 원문 위치·버전 메타데이터 저장
2. 날짜·대상·권한 필터 적용
3. 갱신·폐기 시 색인 검증

주의할 실패: 본문 조각만 저장

관찰할 지표: 근거 위치 누락률과 옛 문서 인용률

적용 전 체크리스트

• 조각에 원문 위치·버전이 있는가
• 유효기간·적용 대상·권한을 검색에 반영하는가
• 원문 갱신 뒤 옛 조각과 캐시를 제거하는가

참고 자료

Amazon Bedrock Knowledge Bases retrieval documentation. 검색 조각과 답변 근거 인용의 기본 흐름을 참고했습니다. 필요한 메타데이터와 갱신 정책은 업무 문서에 따라 달라집니다.

이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.

#RAG #문서청킹 #메타데이터 #기업검색 #근거인용 #문서버전 #접근제어 #지식베이스 #검색품질 #생성형AI