메시지 큐에 작업을 넣으면 요청 서버는 빨리 응답할 수 있지만, 작업이 소비자보다 빨리 쌓이면 지연이 조용히 커집니다. 큐 길이만 보고 워커를 무제한 늘리는 대신 유입 속도와 처리 능력 사이에 압력을 되돌리는 경로가 필요합니다.
큐 길이보다 오래된 작업을 본다
작업 크기가 다르면 메시지 1천 건의 의미가 달라집니다. 가장 오래된 작업의 대기 시간, 초당 유입·처리 건수, 실패 재시도율을 함께 봅니다. 고객이 체감하는 지연은 주로 작업의 나이로 드러납니다.
처리 능력의 병목을 확인한다
워커를 늘려도 데이터베이스나 외부 API가 한계라면 전체 지연은 줄지 않습니다. 워커별 처리시간과 외부 의존성의 응답시간을 측정해 실제 병목을 찾습니다. 무제한 병렬성은 다운스트림 장애를 확대할 수 있습니다.
유입을 조절할 장치를 둔다
중요도가 낮은 배치 작업을 늦추고, 사용자 요청에는 접수와 예상 지연을 명확히 알립니다. 큐가 임계치를 넘으면 새 작업을 제한하거나 대기열을 분리합니다. 버려도 되는 작업과 반드시 처리해야 하는 작업의 정책을 혼용하지 않습니다.
재시도 폭주를 막는다
외부 서비스가 고장 나면 같은 메시지를 즉시 다시 넣는 설계가 큐를 더 밀리게 합니다. 지수 백오프, 최대 시도 횟수, 실패 보관 큐를 두고 독성 메시지를 따로 조사합니다. 재시도 중복을 견딜 수 있게 소비 작업도 멱등하게 만듭니다.
복구 계획까지 성능으로 본다
지연이 해소된 뒤에도 남은 작업을 처리하는 데 얼마나 걸리는지 계산합니다. 부하 시험에서 유입 급증과 외부 장애를 함께 재현해 회복 시간을 측정합니다. 큐가 넘쳤을 때 고객에게 어떤 상태를 보여 줄지도 정해 둡니다.
현장에 적용할 때의 순서
- 유입·처리·대기 시간 계측
- 소비 병렬성과 유입 한도 설정
- 재시도 분리와 복구 시험
주의할 실패: 워커만 무제한 늘리기
관찰할 지표: 최장 대기시간과 회복 시간
적용 전 체크리스트
- 가장 오래된 작업의 대기 시간을 보는가
- 유입 제한과 낮은 우선순위 작업의 지연 정책이 있는가
- 재시도·실패 보관·복구 시간을 시험했는가
참고 자료
RabbitMQ Consumer Prefetch documentation. 소비자에게 미처리 메시지를 무제한 전달하지 않는 원리를 참고했습니다. 유입 제어와 우선순위 정책은 서비스별 설계가 필요합니다.
이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.
#메시지큐 #백프레셔 #비동기처리 #서버운영 #재시도 #장애복구 #워커 #분산시스템 #처리지연 #시스템설계
