AI 학습 라벨이 나중에 수정될 때 평가를 지키는 법

현장 검수 결과는 작업이 끝난 뒤 수정될 수 있습니다. 이전에 만든 평가표의 정답이 조용히 바뀌면 모델 성능 변화가 모델 때문인지 정답 수정 때문인지 구분하기 어렵습니다.

실무 적용 방법

라벨 값뿐 아니라 작성 시각, 수정 시각, 변경 이유와 데이터 버전을 남깁니다. 평가에 사용한 데이터와 라벨 묶음을 고정하고, 정정된 라벨로 다시 평가할 때는 별도 결과로 기록합니다.

점검할 사항

같은 모델을 원래 라벨과 정정 라벨에 각각 평가하고 차이를 검토합니다. 평가에 쓰인 수정 이력이 학습 데이터에 섞이지 않았는지도 확인합니다.

참고: NIST AI RMF Playbook — Measure

#모델드리프트 #AI모니터링 #라벨지연 #제조AI #품질검사 #기업AI #네이처프랙탈 #데이터품질 #MLOps #현장적용