검색된 문서가 질문을 뒷받침하지 않는데도 RAG가 그럴듯한 답을 쓰면 신뢰가 급격히 무너집니다. 답변 품질을 높이는 첫 단계는 더 긴 문맥을 넣는 것이 아니라, 근거가 부족할 때 답을 보류하는 규칙을 만드는 것입니다.
검색 결과와 답변 가능성은 다르다
상위 문서가 반환됐다는 사실만으로 질문에 답할 수 있는 것은 아닙니다. 문서가 같은 주제를 말하는지, 필요한 날짜와 대상이 맞는지, 답에 필요한 값이 모두 있는지를 별도로 판단합니다. 검색 점수는 후보를 고르는 신호이지 사실의 보증서가 아닙니다.
답변 단위를 작게 검증한다
한 문단 전체에 출처 한 개를 붙이면 출처가 일부 문장만 뒷받침할 수 있습니다. 핵심 주장별로 근거 구간을 연결하고, 수치·정책·기간은 원문과 일치하는지 확인합니다. 모호한 부분은 추측으로 메우지 않고 확인할 문서를 안내합니다.
모름의 종류를 구분한다
자료가 아예 없는 경우, 자료는 있으나 권한이 없는 경우, 문서끼리 충돌하는 경우는 다른 응답이 필요합니다. 권한이 없는 문서의 존재를 노출하지 않는 것도 중요합니다. 보류 사유는 내부 로그에는 자세히 남기되 사용자 화면에는 허용 가능한 범위만 보여 줍니다.
임계값만으로 끝내지 않는다
유사도 하나로 답변 여부를 정하면 짧은 FAQ와 긴 계약서에서 오류가 달라집니다. 질문 유형별 평가 세트를 만들고, 정답 가능·보류해야 함·충돌 문서 사례를 섞어 측정합니다. 보류율을 낮추는 목표가 환각을 늘리지 않도록 함께 봅니다.
사람에게 넘기는 경로를 만든다
답을 못 하는 상황을 실패 화면으로만 처리하지 않습니다. 담당 부서, 필요한 문서, 마지막 확인 시각을 함께 제시하고 수정 요청을 수집합니다. 답변 보류는 서비스의 정직한 상태이며, 문서 품질 개선을 위한 신호가 됩니다.
현장에 적용할 때의 순서
- 보류해야 할 질문을 먼저 수집
- 주장과 원문 구간 연결
- 충돌·권한 없음 응답 분리
주의할 실패: 검색 점수만으로 사실 판정
관찰할 지표: 근거 없는 답변률과 보류 정확도
적용 전 체크리스트
- 근거가 부족한 질문을 평가 세트에 포함했는가
- 문장별 근거와 문서 버전을 추적할 수 있는가
- 권한 없는 자료의 존재를 답변에 노출하지 않는가
참고 자료
Amazon Bedrock Knowledge Bases retrieval documentation. 검색 결과와 생성 답변 및 근거 인용을 분리할 수 있다는 설명을 참고했습니다. 답변 보류 정책은 글의 실무 설계 제안입니다.
이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.
#RAG #생성형AI #기업검색 #근거기반답변 #환각방지 #검색품질 #문서관리 #AI평가 #지식베이스 #답변보류
