제조 현장에서 비전 AI를 도입할 때 가장 먼저 부딪히는 문제는 모델이 아니라 데이터입니다. 정상 제품 이미지는 생산할수록 쌓이지만 정작 찾아야 하는 불량은 드뭅니다. 새로운 제품은 아직 생산 전이라 이미지 자체가 없고, 치명적인 결함은 공정에서 의도적으로 만들기도 어렵습니다.
표면 스크래치, 미세 균열, 조립 누락, 오염, 위치 틀어짐을 모두 충분히 모으려면 수개월이 걸릴 수 있습니다. 불량 샘플을 확보해도 전문가가 픽셀 단위 마스크와 결함 종류를 표시하는 작업은 비싸고 일관성 유지가 어렵습니다. 제품이나 조명, 카메라가 바뀌면 다시 수집해야 합니다.
합성데이터(Synthetic Data)는 이 병목을 줄이는 방법입니다. CAD 모델과 공정·카메라의 디지털 장면을 만들고, 결함과 환경 조건을 프로그램으로 변화시키며 이미지를 렌더링합니다. 렌더러는 결함 위치를 알고 있으므로 바운딩 박스, 분할 마스크, 깊이, 표면 방향과 자세 라벨을 자동으로 만들 수 있습니다.
하지만 합성 이미지를 많이 만들었다고 현실의 검사 문제가 자동으로 해결되지는 않습니다. 시뮬레이션과 실제 카메라 사이에는 항상 도메인 갭(domain gap)이 있습니다. 성공의 핵심은 사진처럼 예쁜 장면을 만드는 것이 아니라 현실에서 모델이 만나게 될 변화와 실패를 합성 공간에 얼마나 체계적으로 포함하고, 실데이터로 그 가정을 얼마나 엄격하게 검증하는가입니다.
합성데이터가 특히 유리한 제조 문제
합성데이터는 실제 데이터가 전혀 필요 없다는 뜻이 아닙니다. 다음과 같이 현실에서 수집하기 어렵거나 라벨 비용이 큰 구간을 채울 때 가치가 큽니다.
- 발생 빈도가 낮지만 놓치면 손실이 큰 희귀 불량
- 양산 전에 검사 모델을 준비해야 하는 신제품
- 제품 내부나 가려짐 때문에 실제 라벨을 만들기 어려운 위치·자세 추정
- 안전 문제로 재현하기 어려운 설비 이상과 충돌 장면
- 결함 크기·위치·심각도를 균형 있게 통제해야 하는 실험
- 픽셀 단위 분할, 깊이, 표면 법선과 6D 자세처럼 정밀 라벨이 필요한 문제
반대로 제품의 핵심 특징이 투명 재질, 미세 반사, 복잡한 액체 흐름처럼 렌더링하기 매우 어렵고 실제 데이터를 충분히 얻을 수 있다면 합성 장면 구축 비용이 더 클 수 있습니다. 적용 여부는 데이터 부족의 비용과 시뮬레이션 난이도를 함께 비교해야 합니다.
합성데이터는 무엇을 만들어야 하는가
검사 모델에 필요한 것은 RGB 이미지 한 종류가 아닙니다. 시뮬레이터는 하나의 장면에서 여러 정답 신호를 동시에 생성할 수 있습니다.
| 출력 | 활용 | 장점 |
|---|---|---|
| RGB | 분류·탐지·이상 탐지 | 실제 카메라 입력과 동일한 형태 |
| 바운딩 박스 | 부품·결함 위치 탐지 | 대량 자동 라벨 |
| 분할 마스크 | 스크래치·오염 면적 계산 | 픽셀 단위 정답 |
| 깊이·표면 법선 | 형상·단차·자세 인식 | 멀티모달 학습 가능 |
| 키포인트·6D 자세 | 조립 위치와 로봇 픽킹 | 실측이 어려운 자세 라벨 |
| 장면 파라미터 | 오류 원인과 조건 분석 | 조명·각도·결함별 성능 추적 |
NVIDIA Omniverse Replicator 같은 프레임워크는 장면의 의미 라벨과 렌더링 정보를 이용해 이런 주석을 자동 생성하고, 카메라·조명·재질·자세 등을 무작위화하는 파이프라인을 제공합니다. 특정 도구보다 중요한 것은 생성 조건과 라벨을 함께 버전 관리하는 것입니다.
도메인 갭은 외형 격차와 내용 격차로 나눠 본다
합성 환경과 현실의 차이를 하나의 문제로 보면 무엇을 고쳐야 할지 알기 어렵습니다. NVIDIA 문서는 도메인 갭을 외형(appearance)과 내용(content)의 두 측면으로 설명합니다.
외형 격차
재질의 반사와 거칠기, 조명 스펙트럼, 렌즈 왜곡, 노출, 센서 노이즈, 모션 블러, 압축과 먼지처럼 같은 장면이 카메라에 다르게 보이는 문제입니다. CAD 형상이 정확해도 금속 표면의 미세 반사가 현실과 다르면 모델은 합성 이미지의 렌더링 특징을 학습할 수 있습니다.
내용 격차
시뮬레이션에 현실의 객체와 상황이 빠진 문제입니다. 작업자의 장갑, 예상하지 못한 공구, 케이블, 포장재, 오염, 부품 쌓임과 부분 가림이 대표적입니다. 렌더링 품질이 높아도 실제 라인의 장면 구성이 다르면 모델은 실패합니다.
외형 격차는 재질·조명·센서 모델을 개선하고 변화 범위를 넓혀 줄일 수 있습니다. 내용 격차는 현장 관찰과 실제 오류 수집을 통해 빠진 객체·불량·공정 상태를 장면에 추가해야 합니다. 두 문제의 해결 방법이 다르므로 평가 결과도 분리해 기록하는 편이 좋습니다.
도메인 랜덤화: 현실을 하나의 변형으로 만든다
도메인 랜덤화(domain randomization)는 시뮬레이션 파라미터를 넓은 범위에서 바꿔 모델이 특정 렌더링 조건에 의존하지 않게 만드는 방법입니다. 초기 연구는 텍스처와 조명, 카메라 등을 충분히 변화시키면 실제 세계가 학습 분포 안의 또 다른 변형처럼 보일 수 있다는 아이디어를 보여줬습니다.
산업 검사에서는 다음 요소를 무작위화할 수 있습니다.
- 카메라: 위치, 각도, 초점거리, 왜곡, 노출, 해상도와 흔들림
- 조명: 방향, 수량, 색온도, 강도, 확산과 그림자
- 재질: 색, 금속성, 거칠기, 반사, 코팅과 미세 표면
- 부품: 자세, 공차, 배치, 속도, 겹침과 부분 가림
- 배경: 컨베이어, 치구, 먼지, 케이블, 작업 도구와 주변 제품
- 센서: 노이즈, 블러, 색 편차, 핫픽셀, 압축과 프레임 누락
- 결함: 종류, 위치, 크기, 방향, 깊이, 경계와 심각도
무작위화 범위가 넓을수록 무조건 좋은 것은 아닙니다. 현실에 존재하지 않는 극단적 변형이 대부분이면 학습 용량을 낭비하고 작은 실제 결함을 놓칠 수 있습니다. 현장 측정값으로 중심 분포를 잡고, 장비 노후화와 환경 변화를 고려한 안전 여유를 더하는 방식이 실용적입니다.
결함을 붙여 넣는 것과 물리적으로 만드는 것은 다르다
간단한 합성은 정상 이미지 위에 스크래치나 오염 패턴을 합성하는 2D 방식으로도 시작할 수 있습니다. 빠르고 저렴하지만 결함이 재질의 반사, 그림자와 곡면 형상을 따르지 않으면 모델이 붙여 넣기의 경계를 학습할 수 있습니다.
3D 방식은 CAD 표면을 변형하거나 결함 지오메트리와 재질을 장면에 포함해 카메라와 조명에 따른 모습을 렌더링합니다. 구축 비용은 높지만 다양한 시점과 라벨을 일관되게 만들 수 있습니다. 실제 프로젝트에서는 두 방식을 역할에 따라 섞는 편이 좋습니다.
- 빠른 가능성 검증과 단순 오염은 2D 합성
- 곡면 반사와 자세 변화가 중요한 결함은 3D 렌더링
- 실제 불량의 질감을 보존해야 하면 생성 모델 기반 편집
- 최종 성능과 임계값은 반드시 실제 라인 데이터로 검증
사진처럼 보이는 것보다 학습에 필요한 다양성이 중요하다
사람이 보기에는 완벽한 렌더링 한 장보다 조명, 각도, 재질과 배경이 다양하게 바뀐 수천 장이 모델에 더 유용할 수 있습니다. 반대로 비현실적인 랜덤화만으로는 공정 특유의 미세 결함을 표현하지 못할 수 있습니다.
두 전략을 함께 사용하면 좋습니다.
- 현실 기반 합성: 실제 장비와 카메라를 측정해 중심 조건을 정확히 재현합니다.
- 범위 기반 랜덤화: 현실의 허용 공차와 예상 변화 안에서 많은 변형을 생성합니다.
- 스트레스 랜덤화: 일부 데이터에는 더 넓은 범위를 적용해 강건성을 시험합니다.
- 의도적 반례: 결함과 비슷하지만 정상인 용접 자국, 반사, 먼지와 모서리를 많이 포함합니다.
합성데이터의 품질은 이미지의 미관이 아니라 목표 작업에서 실제 성능을 얼마나 높이는지로 평가해야 합니다. 생성 파이프라인의 파라미터를 데이터셋 버전에 함께 저장하면 어떤 변화가 성능에 영향을 줬는지 추적할 수 있습니다.
실데이터와 합성데이터를 어떻게 섞을까
모든 프로젝트에 통하는 고정 비율은 없습니다. 보통 합성데이터로 기본 표현과 희귀 조건을 넓게 학습한 뒤, 소량의 실제 데이터로 미세 조정하고 최종 임계값을 맞춥니다.
권장 실험은 다음 네 가지를 같은 모델과 평가셋에서 비교하는 것입니다.
- 실데이터만 학습
- 합성데이터만 학습
- 합성 사전학습 후 실데이터 미세 조정
- 실제·합성 혼합 학습과 조건별 샘플링
합성 샘플이 압도적으로 많으면 모델이 합성 스타일에 끌릴 수 있습니다. 배치 안의 비율, 손실 가중치와 샘플링 전략을 조절하고 실제 이미지에 대한 성능을 기준으로 선택해야 합니다. 정상 이미지가 많은 이상 탐지 문제에서는 합성 결함을 학습에 직접 넣기보다 별도 분류기나 검증용 스트레스 데이터로 쓰는 선택도 가능합니다.
실제 테스트셋은 끝까지 오염시키지 않는다
합성데이터 프로젝트에서 가장 중요한 자산은 오히려 작은 실제 테스트셋입니다. 모델과 생성 규칙을 반복해서 조정하다 보면 테스트셋에 간접적으로 과적합하기 쉽습니다. 데이터 역할을 명확히 나눠야 합니다.
- 실제 학습셋: 미세 조정과 캘리브레이션에 사용
- 실제 개발셋: 생성 파라미터와 모델 선택에 사용
- 동결된 실제 테스트셋: 최종 비교에만 사용
- 시간 외 테스트셋: 새 제품 로트와 계절·장비 변화 평가
- 라인별 테스트셋: 공장·카메라·설비별 일반화 평가
합성 검증 정확도가 높아도 실제 성능을 보장하지 않습니다. NVIDIA 문서 역시 랜덤화가 실제 도메인을 충분히 대표하는지 알기 어렵기 때문에 실제 데이터 테스트가 필수라고 명시합니다.
정확도 하나 대신 조건별 성능을 본다
불량이 희귀한 검사에서는 전체 정확도가 99%여도 모든 불량을 놓칠 수 있습니다. 운영 비용과 연결되는 지표가 필요합니다.
- 불량 종류별 재현율과 미검률
- 정상 제품의 과검률과 시간당 오검 건수
- 결함 크기·위치·심각도별 성능
- 조명, 카메라, 라인 속도와 제품 로트별 성능
- 신뢰도 보정과 임계값별 비용 곡선
- 추론 지연시간, 처리량과 프레임 누락률
- 분포 이탈 탐지와 사람 검토 전환율
특히 합성 장면 파라미터를 알고 있으므로 “반사도가 높고 결함이 가장자리에 있을 때 성능이 급락한다”처럼 조건별 취약점을 찾을 수 있습니다. 이 분석 결과가 다음 합성 데이터 배치의 생성 조건이 됩니다.
실제 오류를 합성 규칙으로 되돌리는 데이터 엔진
운영에서 틀린 이미지를 모으는 것만으로는 부족합니다. 오류를 유형화해 가장 비용 효율적인 대응을 선택해야 합니다.
| 오류 유형 | 대응 |
|---|---|
| 조명·재질 외형 차이 | 렌더링과 센서 랜덤화 범위 수정 |
| 빠진 배경·가림 객체 | 디지털 장면 자산과 배치 규칙 추가 |
| 새로운 불량 | 전문가 정의 후 2D·3D 결함 생성기 추가 |
| 라벨 기준 모호 | 결함 온톨로지와 검사 판정 기준 개선 |
| 카메라 이동·열화 | 캘리브레이션과 드리프트 탐지, 재촬영 |
| 합성과 구분되는 아티팩트 | 렌더링 수정 또는 해당 합성군 제거 |
이 루프를 자동화하면 디지털 트윈은 한 번 만드는 3D 장면이 아니라 실제 실패를 학습하는 데이터 생산 시스템이 됩니다. 모든 실제 이미지를 라벨링하지 않고 모델이 불확실하거나 새로운 군집에 속한 샘플만 선택하는 액티브 러닝을 결합하면 비용을 더 줄일 수 있습니다.
라벨 체계가 불명확하면 완벽한 자동 라벨도 쓸모없다
시뮬레이터는 만든 결함의 정답을 정확히 알고 있습니다. 하지만 현장의 품질 기준이 모호하면 정확한 라벨이 잘못된 문제를 학습시킵니다. 예를 들어 스크래치의 길이와 깊이, 위치에 따라 허용 여부가 달라진다면 단순히 ‘스크래치 있음’으로 표시해서는 부족합니다.
결함 온톨로지에는 다음을 포함하는 것이 좋습니다.
- 결함 종류와 상·하위 분류
- 크기, 깊이, 방향, 면적과 심각도
- 제품 위치와 기능상 중요 영역
- 검사 가능·불가능과 판정 보류 기준
- 실제와 합성 데이터에 공통인 라벨 버전
품질 엔지니어가 정의한 판정 기준을 합성 파라미터와 연결하면 원하는 경계 사례를 의도적으로 생성할 수 있습니다. 허용 한계 바로 아래와 위의 샘플을 많이 만들어 모델의 의사결정 경계를 정교하게 검증할 수 있습니다.
배포는 그림자 모드에서 시작한다
실제 라인에 바로 불량 판정 권한을 주지 않습니다. 기존 검사와 병행해 결과만 기록하는 그림자 모드에서 시작하고, 제품·교대·라인·조건별 오류를 수집합니다.
- 모델은 판정과 신뢰도, 관심 영역을 기록합니다.
- 기존 검사 결과와 품질 엔지니어 판정을 기준으로 비교합니다.
- 불일치 샘플을 원인별로 군집화합니다.
- 위험이 낮고 검증된 조건부터 보조 판정으로 전환합니다.
- 최종 자동 배제는 높은 신뢰도와 명확한 결함부터 제한적으로 적용합니다.
카메라 교체, 조명 정비, 공급 소재와 제품 설계 변경은 데이터 분포를 바꿉니다. 설비 변경 이벤트를 모델 모니터링과 연결하고, 기준을 넘으면 자동 판정을 중단해 사람 검토로 돌려야 합니다.
8주 PoC에서 확인할 것
1~2주차에는 문제와 기준선을 고정합니다. 결함 종류를 1~3개로 좁히고 현재 미검·과검 비용, 카메라 조건과 판정 기준을 기록합니다. 실제 테스트셋을 먼저 분리합니다.
3~4주차에는 최소 장면을 구축합니다. 검사에 영향을 주는 형상, 카메라, 조명과 재질만 구현합니다. 모든 공장을 복제하지 않습니다. 자동 라벨과 메타데이터 스키마를 함께 정의합니다.
5주차에는 체계적인 랜덤화를 실행합니다. 각 파라미터의 현실 범위와 스트레스 범위를 구분하고, 생성 설정과 난수 시드·자산 버전을 저장합니다.
6주차에는 네 가지 학습 조합을 비교합니다. 실제만, 합성만, 합성 후 미세 조정, 혼합 학습을 같은 실제 테스트셋에서 평가합니다.
7주차에는 실패를 분해합니다. 외형·내용·새 결함·라벨 문제로 분류하고 가장 큰 오류군 하나를 합성 파이프라인에 반영합니다.
8주차에는 그림자 배포합니다. 실제 라인에서 지연시간과 조건별 성능, 드리프트를 측정하고 다음 데이터 생성 우선순위를 정합니다.
ROI는 이미지 장수보다 출시 시간과 오류 비용으로 계산한다
합성 이미지를 백만 장 만들었다는 수치는 사업 성과가 아닙니다. 다음 항목으로 효과를 계산해야 합니다.
- 실제 불량 수집과 라벨링 비용 절감
- 신제품 검사 모델 준비 기간 단축
- 희귀 불량 미검으로 인한 폐기·리콜 비용 감소
- 과검 감소에 따른 재검사와 생산 손실 절감
- 새 라인·카메라로 확장하는 데 필요한 추가 데이터량
- 디지털 자산 구축·렌더링·검증·운영 비용
합성 파이프라인은 첫 제품에서 가장 비싸고, 카메라·조명·재질·결함 모듈을 재사용할수록 경제성이 좋아집니다. 따라서 단일 PoC의 정확도뿐 아니라 다음 제품군에 자산과 규칙을 얼마나 재사용할 수 있는지도 평가해야 합니다.
합성데이터는 현실을 대신하는 것이 아니라 실험 가능하게 만든다
실제 데이터만 기다리는 방식은 희귀 불량과 신제품에서 느리고 불균형합니다. 합성데이터는 결함과 환경을 통제해 빠르게 가설을 시험하고, 자동 라벨로 학습 범위를 넓히며, 위험한 경계 조건을 안전하게 재현하게 해줍니다.
그러나 시뮬레이션 안에서 좋은 모델이 현실에서도 좋은 모델이라는 보장은 없습니다. 실데이터 테스트셋, 오류 원인 분석, 선택적 현장 라벨링과 그림자 배포가 합성 파이프라인보다 더 중요할 수 있습니다.
가장 실용적인 구조는 디지털 트윈이 다양한 학습 상황을 만들고, 실제 라인이 현실 격차를 알려주며, 그 오류가 다시 시뮬레이션과 데이터 수집을 바꾸는 폐루프입니다. 이 루프가 갖춰지면 합성데이터는 일회성 데이터 증강이 아니라 제품과 공정 변화에 따라 계속 학습하는 산업 AI의 데이터 엔진이 됩니다.
