문서 AI 도입 전 품질 게이트를 어디에 둘까

송장과 작업지시서를 AI로 읽게 할 때 데모의 인식률만 보고 도입을 결정하면 운영 단계에서 수정 비용이 커질 수 있습니다. 문서 종류별로 어떤 값이 틀리면 안 되는지 정하고, 추출 뒤 검증과 사람 확인을 품질 게이트로 설계해야 합니다.

문서별 중요 필드를 정한다

송장의 공급자, 날짜, 합계와 작업지시서의 품번, 수량, 납기는 실패 비용이 다릅니다. 전체 문자 정확도보다 업무 결정에 쓰이는 필드의 정확성과 누락률을 따로 봅니다. 필드별로 비어 있어도 되는지, 형식이 무엇인지 명세합니다.

흐린 스캔, 잘린 표, 회전된 페이지, 중복 파일은 좋은 모델에도 부담입니다. 업로드 단계에서 해상도와 페이지 누락을 확인하고, 재스캔이 필요한 파일은 추출 전에 돌려보냅니다. 원본 품질 문제를 모델 오류로 섞어 계산하지 않습니다.

품목별 금액 합계와 총액, 주문서 번호와 ERP 참조번호처럼 문서 안팎의 관계를 검증합니다. 신뢰 점수가 높아도 합계가 맞지 않으면 자동 확정하지 않습니다. 통화 단위와 소수점, 부가세 포함 여부처럼 문맥 차이도 규칙에 포함합니다.

모든 문서를 사람이 다시 보면 자동화 효과가 없습니다. 필수 필드 누락, 금액 불일치, 새 양식 같은 예외만 담당자에게 보냅니다. 담당자는 원문 위치와 추출값을 나란히 보고 수정하며, 수정 이력은 재학습 데이터와 분리해 보관합니다.

도입 전 샘플에 다양한 공급자·양식·스캔 품질을 넣습니다. 자동 통과율만 보지 말고 잘못 통과한 비율, 한 건당 확인 시간, 재처리율을 함께 기록합니다. 오류 비용이 큰 필드의 자동화 기준은 더 보수적으로 둡니다.

주의할 실패: 신뢰 점수만 보고 자동 확정

관찰할 지표: 오통과율과 확인 시간

Google Cloud Document AI documentation. 문서 추출 기능을 참고했으며 구체적인 검증 규칙과 자동 통과 기준은 업무 위험에 따른 설계 제안입니다.

이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.

#문서AI #OCR #지능형문서처리 #송장자동화 #품질게이트 #데이터검증 #업무자동화 #ERP연동 #예외처리 #AI도입