생산 현장에서 불량은 적을수록 좋지만, 비전 AI 평가에는 어려운 조건이 됩니다. 정상 사진이 압도적으로 많으면 전체 정확도가 높아도 실제 불량을 놓칠 수 있습니다. 운영 판단에는 불량 누락과 오탐의 비용을 함께 담은 지표가 필요합니다.
정확도 한 숫자를 의심한다
정상 990개와 불량 10개에서 전부 정상으로 판정하면 정확도는 높아 보입니다. 하지만 현장에서는 불량 10개를 모두 놓칩니다. 불량 재현율, 정밀도, 혼동행렬을 분리하고 어떤 오류가 더 비싼지 품질팀과 합의합니다.
평가 데이터를 시간과 설비로 나눈다
같은 생산 로트의 연속 사진을 학습과 평가에 섞으면 비슷한 배경 때문에 성능이 부풀 수 있습니다. 다른 날짜, 조명, 설비, 제품 버전으로 별도 평가 세트를 만듭니다. 희귀 불량 유형은 사례 수 자체와 불확실성도 함께 적습니다.
불량 정의부터 고정한다
작은 흠집이 언제 불량인지 검사자마다 다르면 모델의 정답도 흔들립니다. 판정 기준 사진, 보류 기준, 재검 절차를 버전 관리합니다. 라벨이 애매한 사례는 억지로 정상·불량 중 하나에 넣지 않고 전문가 합의 대상으로 남깁니다.
임계값은 공정별로 설정한다
스크랩 비용이 큰 공정과 재검 비용이 큰 공정의 적절한 임계값은 다릅니다. 점수 분포와 오류 비용을 보고 경고, 재검, 자동 차단 구간을 나눕니다. 운영 시작 전에는 모델이 판단만 기록하고 사람이 최종 판정하는 구간을 두는 것이 유용합니다.
새로운 불량을 놓치지 않는다
알려진 불량 종류만 높은 점수를 내는 모델은 새로운 결함에 약할 수 있습니다. 미분류 이미지와 재검 결과를 모아 정기적으로 오류 유형을 분석합니다. 모델 재학습뿐 아니라 촬영 위치, 렌즈 오염, 조명 변화도 같이 점검합니다.
현장에 적용할 때의 순서
- 오류 비용과 판정 기준 합의
- 로트·설비 분리 평가
- 보류·재검 경로 설정
주의할 실패: 전체 정확도만 성능으로 보고
관찰할 지표: 불량 재현율과 오탐 건수
적용 전 체크리스트
- 불량 재현율과 오탐 비용을 함께 보는가
- 로트·날짜·설비가 분리된 평가 세트가 있는가
- 새 결함과 애매한 판정을 보류할 경로가 있는가
참고 자료
scikit-learn classification metrics documentation. 분류 지표의 정의를 참고했으며 숫자 예시는 지표의 함정을 설명하기 위한 가상 사례입니다.
이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.
#비전AI #불량검사 #제조AI #클래스불균형 #정밀도 #재현율 #품질관리 #컴퓨터비전 #모델평가 #스마트팩토리
