불량품을 잘 찾는 모델을 도입했는데 재검사 인력이 늘고 정상품이 쌓인다면, 모델이 현장에 주는 이익은 생각보다 작을 수 있습니다. 반대로 정상품을 통과시키는 데만 집중하면 실제 불량이 고객에게 갈 수 있습니다. 산업용 비전 AI의 성능은 ‘정확도 몇 퍼센트’ 한 줄보다, 어떤 실수를 얼마나 자주 하고 그 실수가 어떤 비용을 만드는지로 평가해야 합니다.
오탐과 미탐은 서로 다른 문제다
정상품을 불량이라고 판단하면 오탐입니다. 제품을 폐기하거나 재검사하는 시간과 비용이 듭니다. 불량품을 정상이라고 판단하면 미탐이고, 후속 공정의 재작업이나 고객 불만으로 이어질 수 있습니다. 두 비용은 품목과 공정에 따라 크게 다릅니다. 따라서 모든 라인에 같은 임계값을 적용하거나, 모델 기본값을 운영 기준으로 그대로 쓰는 것은 위험합니다.
불량 비율이 낮은 공정에서는 작은 오탐률도 하루 처리량에 곱해지면 큰 재검사 물량이 됩니다. 평가표에는 정밀도와 재현율뿐 아니라 실제 생산량 기준의 예상 재검사 건수, 유출될 수 있는 불량 건수, 현장의 검토 가능 인원을 함께 적어야 합니다. 특정 숫자를 보장한다고 말하기보다 현재 라인의 데이터로 계산하고 파일럿에서 다시 확인하는 편이 정직합니다.
임계값은 모델 성능과 별개의 운영 결정이다
모델이 산출한 점수의 경계를 움직이면 오탐과 미탐이 함께 변합니다. 기준을 엄격하게 잡으면 더 많은 불량을 붙잡을 수 있지만 정상 제품도 더 많이 분리될 수 있습니다. 이때 모델을 다시 학습시키지 않아도 판정 정책을 조정할 수 있습니다. 다만 점수가 실제 불량 가능성을 얼마나 잘 반영하는지 확인하지 않은 채 ‘0.8이면 80% 확실하다’고 해석해서는 안 됩니다.
실무에서는 통과, 사람 검토, 자동 분리의 세 구간을 두는 방법을 검토할 수 있습니다. 애매한 건을 사람이 다시 보면 오탐 폐기를 줄일 수 있지만 검토량이 감당 가능한 수준이어야 합니다. 검토자가 이전 판정에 끌려가지 않도록 필요한 사진과 맥락을 명확히 보여주고, 최종 결과를 기록해 다음 평가에 쓰는 절차가 중요합니다.
판정 정책을 숫자로 비교할 때는 같은 검증 자료에서 여러 후보 임계값을 시험하고, 후보별 혼동 행렬을 생산량으로 환산합니다. 예컨대 재검사 인력이 하루에 처리할 수 있는 양을 넘는 설정은 통계 점수가 좋아도 운영할 수 없습니다. 놓친 결함의 영향이 큰 품목은 별도 기준이 필요할 수 있습니다. 하나의 전역 기준보다 품목·설비별 정책이 낫다면, 그 차이를 관리 화면과 이력에 명시해야 합니다.
평가 데이터도 현장 분포를 닮아야 한다
같은 부품을 비슷한 조명에서 찍은 사진만으로 임계값을 정하면 다른 교대나 설비에서는 결과가 흔들립니다. 생산 품목, 카메라, 조명, 작업 시간대, 작은 결함과 큰 결함을 나눠 평가하세요. 이미 학습에 사용한 이미지로 임계값까지 맞추면 운영 성능을 과대평가할 수 있으므로 독립된 검증 자료와 최종 시험 자료를 분리합니다. 실제 라인에서 찍힌 정상품을 충분히 포함해야 오탐 비용을 읽을 수 있습니다.
배포 후에는 비율보다 절대 건수도 본다
품목이 바뀌거나 카메라 조건이 달라졌을 때 정밀도만 늦게 계산하면 현장 손실을 놓칠 수 있습니다. 일별 자동 분리 건수, 사람 검토 건수와 대기 시간, 검토 후 정상으로 돌아간 건수, 후속 공정에서 발견된 미탐을 함께 추적하세요. 임계값 변경은 모델 파일을 바꾸지 않았더라도 운영 결과를 바꿉니다. 변경자, 이유, 적용 라인, 적용 시각, 롤백 기준을 남겨야 합니다.
도입 전 체크리스트는 ① 정상품 폐기·재검사 비용 ② 불량 유출의 영향 ③ 실제 생산 분포의 검증 자료 ④ 사람 검토 가능량 ⑤ 품목별·라인별 판정 정책 ⑥ 배포 후 재평가 주기입니다. 비용 수치는 기업마다 다르므로 가정값을 명시하고 민감도 분석을 해보세요. 좋은 검사 AI는 가장 높은 점수의 모델이 아니라, 품질과 생산 흐름의 균형을 계속 설명할 수 있는 시스템입니다.
