검사 AI가 통과시킨 제품을 표본 재검해 놓친 불량을 찾고 모델 개선에 연결하는 운영 체계입니다.
왜 이 문제가 생길까
검사 AI가 불량이라고 표시한 제품만 사람이 확인하면 오탐은 쉽게 보이지만, AI가 정상이라고 통과시킨 제품 속 미검출은 보이지 않습니다. 통과 수량이 많을수록 이 구간을 전수 재검하기도 어렵습니다. 따라서 통과품의 일부를 계획적으로 재검하는 표본 설계가 필요합니다.
시스템은 무엇을 구분해야 할까
AI 통과품을 설비, 제품 모델, 카메라, 교대조, 점수 구간, 신규 자재 로트로 층화해 표본을 뽑습니다. 확신 점수가 낮은 통과품은 더 많이 확인하되 높은 점수 구간도 0으로 만들지 않습니다. 재검 결과에는 원본 이미지, AI 판정, 사람 판정, 결함 유형, 판정자 합의 여부를 연결합니다. 결함이 발견되면 해당 로트의 추가 검사 범위를 품질 책임자가 결정하고, 모델 변경은 별도 검증 뒤 배포합니다.
현장에서 적용하면
전체 통과품의 재검에서 특정 카메라·야간조 조합에만 미검출이 몰렸습니다. 모델 자체보다 조명이나 렌즈 오염이 원인일 수도 있습니다. 시스템은 이 조합의 표본 비율을 일시적으로 늘리고 설비 상태를 점검합니다. 재검 데이터는 다음 학습 후보가 되지만 현장 판정의 오류 가능성도 있어 이중 검토가 필요합니다.
도입할 때 놓치기 쉬운 점
재검 표본을 '의심스러운 것만' 뽑으면 전체 미검출률을 추정할 수 없습니다. 위험 기반 표본과 무작위 기준 표본을 구분해 운영해야 합니다. 품질 지표는 재검 대상 선정 방식과 함께 해석하고, 작은 표본에서 나온 한 번의 비율을 전체 성능으로 단정하지 않습니다.
시작 전 점검할 세 가지
- AI 통과품에도 무작위 기준 표본이 있는가
- 제품·설비·점수 구간별 미검출을 볼 수 있는가
- 발견된 미검출이 현장 조치와 모델 검증으로 연결되는가
참고 자료: NIST AI RMF의 측정·모니터링 지침
#산업AI #비전검사 #품질관리 #미검출 #FalseNegative #표본재검 #모델모니터링 #스마트팩토리 #검사자동화 #AI운영
