비전 검사 데이터에서 검사자끼리 답이 다를 때

비전 검사 AI가 불량을 잘 못 맞춘다고 생각했는데, 실제로는 검사자 두 사람이 같은 사진에 서로 다른 판정을 내리는 경우가 있습니다. 모델을 개선하기 전에 정답 라벨이 얼마나 일관된지부터 확인해야 합니다.

애매한 샘플을 따로 모은다

선명한 불량과 명백한 양품만으로 평가하면 모델 성능이 좋아 보입니다. 경계 부위, 조명 변화, 허용 공차 근처의 샘플을 따로 모아 검사자 간 의견 차이를 확인합니다.

판정 규칙을 문장과 그림으로 적는다

‘흠집이 심하면 불량’ 같은 표현은 사람마다 다릅니다. 길이, 위치, 반복 개수, 주변 결함과의 관계를 예시 이미지와 함께 정의하고 제품·라인별 예외를 명시합니다.

다수결만으로 끝내지 않는다

의견이 나뉜 샘플은 추가 측정이나 품질 책임자의 판정으로 정리합니다. 다수결은 빠르지만 그 이유를 설명하지 못할 수 있습니다. 판정 이유와 원본 이미지를 연결해 두면 기준 개정에 도움이 됩니다.

합의 수준을 지표로 본다

단순 일치율은 양품이 많은 데이터에서 높게 나올 수 있습니다. 우연한 일치를 보정하는 지표와 불량 종류별 혼동표를 함께 보고, 특정 검사자나 교대조의 편차를 찾습니다.

AI 평가에도 불확실성을 반영한다

사람 사이에서도 판정이 갈리는 영역을 모델에게 100% 맞추라고 요구하면 잘못된 목표가 됩니다. 확실한 정답 세트와 검토 필요 세트를 나누고, 모델이 검토로 넘긴 비율도 품질 지표로 봅니다.

현장에 적용할 때의 순서

1. 경계 샘플을 검사자별로 독립 판정
2. 불일치 사례의 판정 근거와 규칙 정리
3. 합의 세트와 검토 필요 세트를 분리

주의할 실패: 라벨을 절대적인 정답으로 가정

관찰할 지표: 검사자 합의도·불일치 유형·AI 이관율

적용 전 체크리스트

• 두 명 이상이 독립 판정한 경계 샘플을 확보한다
• 판정 규칙과 대표 이미지를 버전 관리한다
• 합의 수준과 모델 성능을 분리해 보고한다

참고 자료

scikit-learn — Cohen's Kappa Score. 검사자 간 일치도 지표의 정의는 scikit-learn 공식 문서를 참고했습니다. 판정 기준 정비는 품질 운영을 위한 제안입니다.

이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.

#비전검사 #라벨품질 #검사자일치도 #AI평가 #제조AI #품질관리 #불량검출 #데이터셋 #사람검토 #컴퓨터비전