이벤트 발생 시각과 처리 시각을 구분해야 하는 이유

주문이 10시에 발생하고 분석 서버에 10시 5분에 도착했다면 어느 시간으로 매출을 집계해야 할까요? 발생 시각과 처리 시각을 구분해야 지연 데이터가 숫자를 뒤흔들지 않습니다.

데이터 흐름의 경계를 확인한다

이벤트 발생 시각은 실제 업무 사건이 일어난 때이고 처리 시각은 시스템이 이를 받은 때입니다. 오프라인 장비나 모바일 앱은 나중에 한꺼번에 보낼 수 있습니다. 두 값을 하나로 저장하면 지연과 시간대 문제를 조사하기 어렵습니다.

실패와 중복 처리를 정한다

집계 윈도우를 발생 시각 기준으로 만들면 늦게 온 이벤트를 어떻게 반영할지 정해야 합니다. 너무 일찍 마감하면 숫자가 빠지고, 무한히 기다리면 보고가 늦어집니다. 업무에 맞는 허용 지연과 수정 정책을 정합니다.

작은 범위에서 재처리한다

분석 화면에는 잠정치와 확정치를 구분해 표시할 수 있습니다. 늦게 온 데이터가 과거 집계를 바꾸면 고객 보고서나 알림에도 수정 이력을 남겨야 합니다. 실시간 운영 화면과 회계 확정 숫자는 서로 다른 마감 규칙을 쓸 수 있습니다.

지연과 불일치를 관측한다

도착 지연 분포, 늦은 이벤트 비율, 수정된 집계 건수를 봅니다. 평균 지연이 짧아도 특정 지점이 오프라인일 때 며칠씩 늦어질 수 있습니다. 소스별·지역별로 나누어 원인을 확인합니다.

복구 절차를 유지한다

장비 시계가 틀리면 발생 시각 자체가 잘못될 수 있습니다. 서버 수신 시각과의 차이가 비정상적인 이벤트는 별도 표시하고 보정 근거를 남깁니다. 과거 집계를 조용히 덮어쓰지 않아야 이용자가 숫자 변화를 이해할 수 있습니다.

현장에 적용할 때의 순서

1. 발생·수신·처리 시각 분리 저장
2. 업무별 늦은 데이터 허용 규칙
3. 잠정치와 확정치 구분

주의할 실패: 수신 시각만으로 모든 집계 계산

관찰할 지표: 지연 분포·수정 집계 건수

적용 전 체크리스트

• 발생·수신·처리 시각 분리 저장
• 업무별 늦은 데이터 허용 규칙
• 잠정치와 확정치 구분

참고 자료

Apache Flink — Event Time. 이벤트 시간과 처리 시간의 구분은 Apache Flink 공식 문서를 참고했습니다. 보고 확정 정책은 적용 제안입니다.

이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.

#이벤트시간 #처리시간 #스트리밍 #지연데이터 #데이터분석 #네이처프랙탈 #시스템설계 #서비스운영 #안정성 #데이터활용