불량 검출 모델의 정확도가 낮으면 흔히 모델 구조나 학습 횟수부터 바꿉니다. 그러나 현장에서 더 먼저 확인할 질문이 있습니다. 이 이미지를 불량이라고 판정한 기준이 누구에게나 같은가? 같은 흠집을 한 작업자는 불량, 다른 작업자는 허용 가능한 표면 흔적으로 본다면 모델은 일관된 정답을 배울 수 없습니다. 사진 품질을 개선하는 일과 별개로, 이번에는 사진에 붙이는 ‘정답’ 자체를 설계해 봅니다.
정답 데이터는 발견되는 것이 아니라 합의된다
제조 현장에는 단순한 정상·불량 이분법으로 나누기 어려운 경계가 많습니다. 긁힘의 길이는 같아도 위치에 따라 판정이 달라지고, 작업 전 단계에서는 허용되지만 최종 검사에서는 허용되지 않을 수 있습니다. 따라서 라벨링을 맡기기 전에 불량 종류, 허용 범위, 애매한 사례의 처리 원칙을 문서화해야 합니다. 모델이 사용할 클래스와 실제 품질 기준서의 항목이 서로 다르면 분석 결과를 현장 조치로 이어가기 어렵습니다.
좋은 기준서는 ‘눈에 띄는 흠집은 불량’처럼 추상적으로 쓰지 않습니다. 이미지에 표시할 영역의 경계, 여러 결함이 겹친 경우의 우선순위, 이미지가 흐려 판정할 수 없는 경우의 별도 상태를 예시와 함께 적습니다. ‘판정 불가’를 억지로 정상이나 불량에 넣지 않는 것이 중요합니다. 이 상태는 촬영 재시도나 사람 검토로 이어지는 운영 신호입니다.
두 사람의 불일치는 실패가 아니라 단서다
모든 이미지에 다수 작업자를 붙일 필요는 없지만, 새 결함 유형이나 경계 사례에는 독립적인 중복 라벨링이 유용합니다. 서로의 결과를 보지 않고 표시하게 한 뒤 다른 이미지의 차이를 비교합니다. 불일치율만 기록하고 끝내면 정보가 사라집니다. 원인이 클래스 정의인지, 경계 표시 방식인지, 촬영 상태인지 분류해야 기준서를 고칠 수 있습니다.
예를 들어 작은 기포를 한 사람은 표면 오염으로, 다른 사람은 재질 결함으로 본다면 조정자는 정답 하나만 고르는 데 그치지 말고 ‘어떤 조건에서 어떤 이름을 쓰는지’를 예시로 남겨야 합니다. AWS의 라벨 검증 문서도 별도 작업자가 기존 라벨을 확인하고 품질 의견을 남기는 절차를 설명합니다. 도구보다 중요한 것은 이견이 다음 라벨링에 반영되는 순환입니다.
학습용 데이터와 평가용 데이터를 다르게 관리한다
학습 데이터에는 다양한 결함을 충분히 넣어야 하지만, 평가 데이터는 실제 생산 비율과 배치 차이를 생각해야 합니다. 같은 부품을 연속 촬영한 이미지가 학습과 평가에 동시에 들어가면 점수가 과하게 좋아질 수 있습니다. 설비, 촬영일, 제품 로트처럼 비슷한 이미지가 묶이는 단위로 분리하는 편이 현장 성능을 더 솔직하게 보여줍니다. 여기서 특정 수치가 정답인 것은 아닙니다. 어떤 상황으로 일반화하려는지 먼저 정해야 합니다.
또한 데이터는 보기 좋은 정상품만 모으지 않습니다. 조명 변화, 반사, 먼지, 흔들림, 드문 불량, 사람이 망설였던 경계 사례를 따로 표시해 둡니다. 모든 변형을 무작정 많이 넣기보다, 실제 운영에서 발생하는 빈도와 놓쳤을 때의 비용을 함께 봅니다. 모델이 특정 설비에서만 약하다면 전체 정확도 하나보다 설비별 오류표가 더 유용합니다.
라벨 버전도 제품처럼 관리한다
품질 기준이 바뀌면 지난 이미지의 정답도 바뀔 수 있습니다. 이때 옛 라벨을 조용히 덮어쓰면 모델 점수의 변화가 알고리즘 때문인지 기준 변경 때문인지 알 수 없습니다. 라벨 기준서 버전, 검토자, 변경 사유, 변경 대상 이미지와 적용 시점을 기록합니다. 데이터셋을 재구성할 수 있어야 과거 모델과 새 모델을 공정하게 비교할 수 있습니다.
현장 피드백을 받는 화면도 필요합니다. 검수자가 ‘이것은 정상인데 AI가 불량으로 봤다’고 표시하면 바로 학습 데이터에 넣기보다 이미지 원본과 판정 근거를 확인합니다. 사용자 수정이 항상 정답인 것은 아니기 때문입니다. 반대로 같은 유형의 수정이 반복된다면 기준서 또는 촬영 프로세스의 문제일 수 있습니다.
작게 시작하는 검토 루프
- 불량 클래스와 판정 불가 상태를 현장 기준서에 연결합니다.
- 대표 이미지와 경계 이미지를 골라 독립적으로 이중 라벨링합니다.
- 불일치 원인을 분류하고 합의 예시를 기준서에 추가합니다.
- 설비·일자·로트 단위로 평가 데이터를 분리해 성능을 봅니다.
- 기준서와 라벨 변경 이력을 모델 버전과 함께 보관합니다.
산업용 AI에서 ‘정답’은 파일의 한 열이 아닙니다. 현장의 품질 판단을 데이터로 옮기는 계약입니다. 그 계약이 분명해질수록 모델 개선도, 사람의 최종 결정도 설명 가능해집니다.
#산업AI #비전AI #이미지라벨링 #정답데이터 #불량검출 #데이터품질 #어노테이션 #제조AI #AI데이터 #품질관리
