검사 카메라의 AI 모델을 새 버전으로 바꿨는데 일부 라인에서 정상 제품을 불량으로 분류한다고 가정해 봅시다. 클라우드 서비스라면 서버에서 되돌릴 수 있지만 공장 엣지 장비는 네트워크가 불안정하고, 장비별 운영체제·카메라·런타임 버전도 다를 수 있습니다. ‘학습 정확도가 높다’는 사실만으로 전체 설비에 한 번에 배포하면 생산과 품질에 직접 영향을 줄 수 있습니다.
현장 모델 배포는 파일 복사가 아니라 작은 소프트웨어 릴리스입니다. 모델, 추론 런타임, 전처리, 임계치, 장비 호환성, 모니터링, 이전 버전 복구를 하나의 운영 단위로 다뤄야 합니다.
모델 파일만 버전 관리하면 왜 부족할까
같은 모델이라도 카메라 해상도나 색상 순서가 달라지면 입력이 바뀝니다. 런타임 라이브러리가 달라지면 추론 시간과 연산 지원이 바뀔 수 있고, 불량 판정 임계치가 달라지면 현장의 결과도 달라집니다. 따라서 배포 묶음에는 모델 해시, 전처리 코드, 런타임 버전, 설정, 대상 장비 조건을 함께 기록합니다. AWS IoT Greengrass의 ML 구성요소 문서처럼 모델·런타임·추론 구성요소를 분리해 생각하면 책임 범위를 명확히 할 수 있습니다.
오프라인 설치가 필요한 현장이라면 패키지 검증과 설치 성공 확인을 별도 단계로 둡니다. 장비가 ‘다운로드 완료’라고 보고했더라도 실제 추론 프로세스가 새 버전을 사용 중인지 확인해야 합니다. 전력 복구 후 자동 시작까지 시험해야 배포가 끝났다고 말할 수 있습니다.
배포는 장비 특성을 반영한 단계로
첫 단계는 개발 환경이 아니라 현장을 대표할 수 있는 파일럿 장비입니다. 카메라 종류, 조명 조건, 제품 품목, 네트워크 상태가 다른 설비를 무작위 한 대로 대표시킬 수는 없습니다. 파일럿에서 충분한 관찰 시간을 둔 뒤 같은 조건의 소규모 장비군, 마지막으로 전체 대상에 확대합니다. 배포 순서와 중단 조건을 사전에 문서화해야 문제가 생겼을 때 현장 담당자가 판단할 수 있습니다.
새 모델이 기존 모델보다 좋아 보이더라도 모델 버전과 설비 상태를 함께 묶어 비교해야 합니다. 신규 모델 투입 직후 원자재나 조명이 바뀌었다면 품질 변화의 원인을 잘못 해석할 수 있습니다. 가능하다면 일정 기간 기존 모델과 새 모델의 결과를 병렬 기록하되, 생산 결정은 한쪽만 하도록 분리합니다.
건강 지표는 정확도만이 아니다
현장에는 정답 라벨이 즉시 없을 수 있습니다. 그래서 초기에 확인할 지표는 프로세스 생존, 추론 지연, 프레임 누락, CPU·메모리·온도, 네트워크 연결, 판정 비율 급변 등입니다. 불량률이 갑자기 0이나 100%에 가까워지면 모델 성능 향상보다는 입력·설정 오류일 수 있습니다. 품질 담당자가 나중에 확인한 오검·미검 결과는 별도의 지연 지표로 연결합니다.
임계치는 설비별 정상 범위를 기준으로 잡습니다. 새 버전의 오류율이 정해진 범위를 넘거나 추론 지연이 생산 사이클을 방해하면 자동 또는 승인 기반으로 확대를 멈춥니다. 생산 제어와 연결되는 경우 안전 계층은 AI 추론 서비스와 분리하고, 모델 롤백이 물리적 설비 상태를 임의로 바꾸지 않도록 합니다.
롤백은 ‘이전 파일 복사’보다 넓다
되돌릴 수 있으려면 이전 정상 모델·설정·런타임 묶음이 장비에 남아 있어야 합니다. 데이터 스키마나 전처리가 바뀌면 모델 파일만 옛 버전으로 돌려도 정상 동작하지 않습니다. 롤백 명령이 오프라인 장비에 늦게 도착할 때의 우선순위, 재부팅 중 실패했을 때의 복구 경로, 현장 수동 절차도 마련합니다. Greengrass 배포 정책은 실패 시 동작과 롤백을 명시적 정책으로 다루는 사례입니다.
운영 체크리스트
- 모델·런타임·전처리·설정의 버전과 해시를 한 묶음으로 기록한다.
- 대상 장비의 하드웨어·카메라·운영체제 호환성을 확인한다.
- 파일럿·소규모·전체 순서와 각 단계의 관찰 시간을 정한다.
- 정확도뿐 아니라 지연·프레임 누락·장비 자원을 감시한다.
- 이전 정상 묶음으로 복귀하는 현장 리허설을 수행한다.
좋은 모델이 현장에서 좋은 시스템이 되려면 배포 통제와 되돌리기 능력이 필요합니다. 전체 설비를 빨리 바꾸는 것보다, 작은 실패를 작게 끝내는 구조가 공장 AI 운영의 기본입니다.
#엣지AI #산업AI #스마트팩토리 #제조AI #모델배포 #단계배포 #카나리배포 #모델롤백 #MLOps #현장운영
