RAG 평가 질문을 실제 업무에서 뽑는 방법

RAG 평가 질문을 개발자가 떠올린 쉬운 예시로만 만들면 실제 현장 성능을 과대평가합니다. 검색 기록과 고객 문의에서 유형을 나누어 질문을 뽑아야 합니다.

문제의 경계를 먼저 정한다

실제 검색어나 문의를 익명화해 자주 묻는 질문, 드문 전문 질문, 오래된 문서와 충돌하는 질문으로 나눕니다. 어떤 부서와 문서 종류에서 나왔는지도 기록합니다. 한 부서의 쉬운 질문만 많으면 평가 점수는 높아도 현장 활용도는 낮아집니다.

권한과 데이터 기준을 나눈다

질문마다 기대 답변 하나만 적지 않고 필수 사실, 근거 문서 버전, 답하면 안 되는 범위를 함께 정의합니다. 권한이 없는 문서는 인용해서는 안 됩니다. 원문이 바뀌었을 때 평가 정답을 함께 고칠 담당자도 정해야 합니다.

작은 사례로 검증한다

작은 평가셋부터 시작해 검색 후보 포함률과 최종 답변 정확도를 따로 측정합니다. 검색에서 정답 문서가 빠졌다면 생성 모델을 바꿔도 해결되지 않습니다. 새 프롬프트나 인덱스 변경은 같은 질문셋으로 전후 비교합니다.

운영 지표를 함께 본다

전체 평균 외에 질문 유형별 오답, 근거 누락, 응답 지연을 봅니다. 고객이 실제로 중요한 결정을 내리는 질문에는 더 높은 가중치를 둘 수 있습니다. 자동 평가가 좋은 답변도 현장 담당자가 무용하다고 판단하는 사례를 별도로 모읍니다.

변경과 예외를 관리한다

운영에서 새로 발견한 실패 질문을 무조건 평가셋에 넣지는 않습니다. 중복과 개인정보를 제거하고 재현 가능한 기대 기준을 만든 뒤 편입합니다. 평가셋이 바뀐 날을 기록해야 이전 점수와 새 점수를 혼동하지 않습니다.

현장에 적용할 때의 순서

1. 문의·검색 기록에서 질문 유형 분류
2. 질문별 필수 사실과 근거 정의
3. 검색·생성 단계를 분리 평가

주의할 실패: 개발자 예시만으로 품질 판단

관찰할 지표: 유형별 오답·근거 누락·지연

적용 전 체크리스트

• 문의·검색 기록에서 질문 유형 분류
• 질문별 필수 사실과 근거 정의
• 검색·생성 단계를 분리 평가

참고 자료

Microsoft Learn — RAG Overview. RAG의 검색·생성 단계 구조는 Microsoft 공식 자료를 참고했습니다. 평가 질문 구성법은 실무 적용 제안입니다.

이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.

#RAG평가 #평가질문 #골든셋 #검색품질 #AI품질 #네이처프랙탈 #기업AI #현장적용 #운영설계 #디지털전환