AI 검사 모델을 학습하려는데 같은 제품을 본 검사자 두 사람이 서로 다른 불량 라벨을 붙였습니다. 이런 사례를 한쪽의 실수로 바로 처리하면 모델의 기준도 불안정해집니다. 판정 차이가 생기는 조건을 기록하고 합의 과정을 설계해야 합니다.
불일치를 오류 유형으로 분류한다
촬영 각도나 조명 때문에 결함이 안 보이는 경우와, 결함은 보이지만 허용 기준 해석이 다른 경우는 다릅니다. 전자는 데이터 취득 문제이고 후자는 판정 기준 문제입니다.
제품 모델과 생산 시기, 불량 유형별로 불일치가 집중되는지 봅니다. 전체 일치율만 높아도 드문 중대 불량에서 의견이 갈릴 수 있습니다.
기준 사례를 만든다
정상과 불량의 경계에 있는 사진을 모아 판정 이유를 적습니다. 단순히 예시 이미지만 나열하면 새 검사자가 다른 조건에 기준을 적용하기 어렵습니다. 촬영 조건과 허용 범위도 함께 기록합니다.
최종 합의가 나지 않는 사례는 억지로 한 라벨로 만들지 않습니다. 보류나 추가 검사 상태를 허용하고 누가 어떤 근거로 최종 판정했는지 남깁니다.
학습과 평가 데이터에서 분리한다
같은 제품의 비슷한 사진이 학습과 평가에 나뉘어 들어가면 성능이 과대평가될 수 있습니다. 제품·로트·촬영 세션 같은 관련 단위를 기준으로 분리합니다.
판정 기준이 바뀐 시점도 데이터에 표시합니다. 과거에는 정상, 현재는 불량인 샘플을 아무 설명 없이 합치면 모델은 모순된 정답을 학습합니다.
가상 사례: 표면 흠집의 허용 범위
표면 흠집이 길이는 짧지만 특정 위치에 있는 제품을 두 검사자가 다르게 판정했다고 가정해 봅시다. '길이만 본다'는 규정과 실제 현장의 위치 기준이 충돌한 것입니다.
품질 담당자가 위치 조건을 규정에 반영하거나 예외 처리로 명시합니다. 변경 전 출하 제품의 처리 범위는 별도 검토합니다. 이 사례는 가상입니다.
모델이 자신 없는 경우를 보존한다
모델의 낮은 확신 사례를 사람에게 보내고, 검토 과정에서 불일치가 발생하면 즉시 학습 라벨로 확정하지 않습니다. 합의 완료와 모델 반영 시점을 분리합니다.
운영 지표에는 모델 정확도와 함께 검사자 간 불일치율, 보류율, 재검 결과를 봅니다. 라벨의 품질을 높이는 일이 모델 구조를 복잡하게 만드는 것보다 먼저일 수 있습니다.
현장에 적용할 때의 순서
- 검사자별 차이 사례를 따로 모은다
- 품질 담당자가 경계 사례에 이유를 적는다
- 합의된 라벨만 학습에 반영한다
주의할 실패: 의견이 다른 사진을 임의 다수결로 끝내면 촬영 문제와 규정 문제를 구분할 기회를 잃는다.
관찰할 지표: 불량 유형별 불일치율과 보류 뒤 재검 결과를 추적한다.
적용 전 체크리스트
- 불일치 원인을 촬영·기준·판정으로 나누는가
- 경계 사례에 근거와 버전이 있는가
- 보류 사례를 무리하게 정답 라벨로 만들지 않는가
참고 자료
NIST AI Risk Management Framework. NIST의 AI 측정·관리 관점을 참고했습니다. 라벨 합의 절차는 제조 검사 업무에 맞춘 설계입니다.
이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.
#비전AI #불량검사 #라벨품질 #품질관리 #제조AI #데이터셋 #재검사 #검사기준 #AI평가 #스마트팩토리
