클라우드에서 잘 돌아가는 AI 모델도 엣지 장비에서는 느리거나 메모리가 부족할 수 있습니다. 생산라인에서는 평균 추론 시간보다 가장 느린 순간과 장비 전체의 자원 사용이 중요합니다. 배포 전에 시간과 메모리 예산을 정해야 합니다.
업무 마감시간을 먼저 정한다
검사 대상이 컨베이어를 지나가기 전에 판정해야 한다면 그 시간이 추론의 상한입니다. 카메라 촬영, 전처리, 추론, 후처리, PLC 전달 시간을 합산합니다. 모델 추론만 빠른데 전체 경로가 늦으면 현장에서는 실패입니다.
평균 대신 꼬리 지연을 본다
대부분 30ms라도 가끔 300ms가 걸리면 제품을 놓칠 수 있습니다. p95·p99 지연과 최악 구간을 측정하고 발열, 다른 작업과의 CPU 경쟁, 메모리 압박을 시험합니다. 시험용 장비와 실제 장비의 사양 차이를 기록합니다.
메모리는 사용량뿐 아니라 여유가 중요하다
모델 파일, 실행 런타임, 이미지 버퍼, 로그, 업데이트용 구버전이 함께 공간을 씁니다. 피크 메모리와 디스크 여유를 계산해 업데이트 중 두 버전을 보관할 수 있는지 확인합니다. 저장 공간 부족은 롤백 실패로도 이어집니다.
정확도와 자원 비용을 같이 비교한다
더 큰 모델이 평가 점수를 조금 올려도 처리량을 떨어뜨릴 수 있습니다. 양자화나 입력 크기 조정은 정확도와 불량 재현율을 다시 검증해야 합니다. 업무 위험이 높은 경우 무조건 빠른 모델이 정답은 아닙니다.
자원 경보와 복구를 묶는다
지연 상한을 넘거나 메모리가 급증하면 모델이 계속 느리게 동작하지 않도록 이전 버전 전환이나 사람 검사 경로를 마련합니다. 장비별 지연·메모리·온도를 수집해 배포 후에도 예산 안에서 동작하는지 봅니다.
현장에 적용할 때의 순서
- 전체 처리 경로의 시간 예산
- 실장비 꼬리 지연·메모리 측정
- 한도 초과 시 복구 경로
주의할 실패: 클라우드 평균 지연으로 배포 승인
관찰할 지표: p99 지연과 피크 메모리
적용 전 체크리스트
- 촬영부터 제어 전달까지 전체 지연 예산이 있는가
- p95·p99 지연과 피크 메모리를 실제 장비에서 측정하는가
- 업데이트·롤백용 공간을 남겨 두는가
참고 자료
Kubernetes Resource Management documentation. 실행 환경에 자원 요청·제한을 명시하는 일반 원칙을 참고했습니다. 엣지 장비의 실제 예산은 하드웨어와 공정 시간에 맞춰 검증해야 합니다.
이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.
#엣지AI #추론지연 #모델경량화 #메모리예산 #제조AI #MLOps #양자화 #실시간검사 #장비운영 #모델배포
