RAG 검증에서 근거 없는 질문을 시험하는 방법

사내 문서에 근거가 없는 질문도 검색 시스템은 비슷한 문서를 찾을 수 있습니다. 답변 품질을 평가할 때 정답이 있는 질문만 사용하면 근거 없는 단정을 놓치기 쉽습니다.

실무 적용 방법

업무 담당자와 함께 자료가 없는 질문, 문서가 서로 충돌하는 질문, 권한이 없는 문서에 관한 질문을 만듭니다. 기대 결과에는 정답뿐 아니라 답변 보류와 담당자 확인 안내도 포함합니다.

점검할 사항

검색된 문서와 실제 답변을 함께 검토하고 근거가 없는 주장을 따로 기록합니다. 시험 자료에는 개인 정보나 고객 비밀을 그대로 넣지 않습니다.

참고: Microsoft Learn — RAG Overview

#RAG평가 #평가질문 #골든셋 #검색품질 #AI품질 #네이처프랙탈 #기업AI #현장적용 #운영설계 #디지털전환