RAG에서 검색 결과 재정렬은 언제 효과가 있을까

RAG는 관련 문서를 먼저 넓게 찾고, 그중 답변에 유용한 순서로 다시 정렬할 수 있습니다. 재정렬기를 붙이면 항상 좋아진다고 생각하기 쉽지만, 검색 후보 안에 정답 문서가 없거나 지연 시간이 중요한 경우에는 효과가 제한됩니다.

1차 검색의 역할을 정한다

키워드·벡터 검색은 충분히 넓은 후보를 빠르게 모으는 단계입니다. 후보가 너무 적으면 정답이 빠지고, 너무 많으면 재정렬 비용과 지연이 커집니다. 질문 유형별 후보 수를 시험해야 합니다. 평가셋에서는 실제 질문별로 첫 검색 후보에 정답 문서가 들어왔는지를 별도로 표시합니다. 후보에 정답이 없던 사례는 재정렬 실험에서 제외하지 말고 검색 단계의 실패로 보고해야 전체 개선 효과를 정확히 볼 수 있습니다.

재정렬은 순서를 바꿀 뿐이다

재정렬 모델은 후보 문서의 관련도를 다시 판단합니다. 처음부터 검색되지 않은 문서를 만들어낼 수는 없습니다. 따라서 최종 답변 오류를 검색 누락과 순위 오류로 나눠야 원인을 정확히 찾습니다.

문서 단위와 청크 단위를 비교한다

긴 문서 제목이 유사해도 실제 답은 한 문단에만 있을 수 있습니다. 청크를 너무 잘게 자르면 맥락이 끊기므로 재정렬 대상의 단위와 주변 문맥을 함께 설계합니다.

지연과 비용을 측정한다

재정렬 호출은 추가 계산을 요구합니다. 인용 정확도와 정답 포함률이 얼마나 개선되는지, p95 응답 시간이 얼마나 늘어나는지 같은 평가셋으로 비교해야 합니다.

권한 필터를 앞에 둔다

접근할 수 없는 문서가 재정렬 후보에 들어가면 안 됩니다. 사용자·테넌트 권한으로 후보를 제한한 뒤 순위를 바꾸고, 출처 링크까지 같은 권한으로 보호해야 합니다.

현장에 적용할 때의 순서

1. 1차 검색 후보의 정답 포함률 측정
2. 재정렬 전후 인용·순위 비교
3. 지연과 권한 경계를 함께 확인

주의할 실패: 재정렬이 누락된 문서를 찾아준다고 기대

관찰할 지표: 정답 포함률·인용 정확도·p95 지연

적용 전 체크리스트

• 검색 누락과 순위 오류를 구분한다
• 재정렬 전후 정답 포함률과 p95 지연을 비교한다
• 권한 필터를 재정렬 전에 적용한다

참고 자료

Microsoft Learn — Semantic Ranking in Azure AI Search. 검색 후보의 의미 기반 재정렬 개념은 Microsoft 공식 문서를 참고했습니다. 후보 수·지연의 균형은 적용 환경별 검증이 필요합니다.

이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.

#RAG #재정렬 #Reranking #검색품질 #벡터검색 #청크 #AI검색 #응답지연 #근거검증 #접근제어