CDC 파이프라인에서 삭제 이벤트도 끝까지 검증하기

원본 데이터베이스에서 행을 삭제해도 검색 색인이나 분석 저장소에 이전 정보가 남을 수 있습니다. 추가와 수정만 시험한 파이프라인에서는 삭제가 다른 경로로 전달되는 사실을 놓치기 쉽습니다.

사용 중인 커넥터의 삭제 표현을 확인한다

예를 들어 Debezium PostgreSQL 커넥터는 설정에 따라 삭제 이벤트 뒤에 같은 키와 null 값을 가진 tombstone 이벤트를 보냅니다. 둘을 무조건 같은 업무 삭제 요청으로 취급하지 말고 커넥터 설정과 소비 측 변환을 함께 확인합니다. 다른 제품에도 동일한 표현이 있다고 가정하지 않습니다.

목적지별 삭제 정책을 명시한다

검색 색인에서 제거할지, 분석 저장소에 삭제 상태로 남길지 목적에 맞게 정합니다. 업무상 삭제와 물리적 삭제도 구분해 원본 상태가 목적지에서 어떻게 표현되는지 문서화합니다. 삭제 이벤트가 반복돼도 오류나 복원으로 이어지지 않도록 처리합니다.

재처리 이후에도 삭제 상태를 대조한다

행 생성, 수정, 삭제를 순서대로 수행한 뒤 각 목적지를 확인합니다. 소비자 재시작과 과거 이벤트 재처리를 시험하고 이전 수정 이벤트 때문에 삭제된 행이 다시 나타나지 않는지 점검합니다. 삭제 키와 처리 결과를 추적하되 필요 이상의 원문은 기록하지 않습니다.

적용 전 체크리스트

• 커넥터 설정과 삭제·tombstone 처리가 확인됐는가
• 목적지별 삭제 표현과 반영 기준이 정해져 있는가
• 중복 수신과 재처리 뒤에도 삭제 상태가 유지되는가

참고 자료

Debezium — PostgreSQL connector: Delete and tombstone events. 삭제와 tombstone 이벤트의 구분은 공식 커넥터 문서를 참고했습니다. 목적지별 삭제 정책과 재처리 검증은 각 서비스에 맞춰 정할 운영 항목입니다.

#CDC #삭제이벤트 #Debezium #데이터동기화 #데이터파이프라인 #검색색인 #이벤트처리 #데이터정합성 #운영검증 #네이처프랙탈