LLM 평가셋에도 버전 관리가 필요한 이유

LLM 기능을 평가할 때 질문 100개를 모아 정답률을 계산하고 끝내기 쉽습니다. 하지만 문서와 업무 정책이 바뀌면 같은 평가셋도 낡아집니다. 평가셋은 코드처럼 버전과 변경 이유를 관리해야 비교가 가능합니다.

질문과 정답의 출처를 남긴다

질문마다 대상 업무, 기준 문서 버전, 기대 답변의 핵심 요소를 적습니다. 단순 문자열 일치보다 근거의 정확성, 모르는 질문에 대한 거절, 허용되지 않은 정보 노출 여부를 평가 항목으로 분리합니다.

쉽고 어려운 질문을 섞는다

실제 운영 로그에서 자주 묻는 질문뿐 아니라 모호한 표현, 충돌하는 문서, 답이 없는 질문을 포함합니다. 한 유형이 많으면 총점이 올라가도 중요한 위험 사례가 가려질 수 있습니다.

변경할 때 이전 버전을 보존한다

정답을 수정하거나 질문을 삭제하면 점수 변화가 모델 개선 때문인지 평가셋 변경 때문인지 알 수 없습니다. 평가셋 버전, 질문별 변경 이력, 실행 시 사용한 모델과 프롬프트 버전을 함께 저장합니다.

오염을 막는다

평가 질문을 프롬프트 예시에 반복 사용하면 모델과 운영자가 정답을 외우는 방향으로 최적화될 수 있습니다. 개발용 공개 세트와 최종 확인용 보류 세트를 분리하고 정기적으로 새 사례를 추가합니다.

평균보다 실패 유형을 본다

같은 90점이라도 인용 누락 10건과 개인정보 유출 10건은 위험이 다릅니다. 질문 그룹별 성능, 심각도 높은 실패 수, 사람 검토가 필요한 비율을 함께 제시해야 출시 판단에 도움이 됩니다.

현장에 적용할 때의 순서

1. 질문·정답·근거 문서에 버전 부여
2. 유형별 테스트와 보류 세트 분리
3. 모델·프롬프트·평가셋 버전을 함께 기록

주의할 실패: 평가 질문을 바꾼 뒤 점수만 비교

관찰할 지표: 심각도별 실패 건수와 사람 검토율

적용 전 체크리스트

• 질문별 업무 범위·문서 버전·기대 근거를 기록한다
• 평가셋 변경과 모델·프롬프트 변경을 분리한다
• 답변 불가·권한 경계 질문을 보류 세트에 둔다

참고 자료

NIST — AI Risk Management Framework. AI 시스템의 측정·관리 원칙은 NIST AI RMF를 참고했습니다. 질문 버전과 보류 세트 구성은 실무 평가 설계 제안입니다.

이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.

#LLM평가 #평가셋 #버전관리 #RAG평가 #AI품질 #데이터셋 #근거검증 #모델운영 #테스트케이스 #AI거버넌스