배포 파이프라인에는 초록색 ‘성공’이 떴고 서버 헬스체크도 200을 반환합니다. 그런데 고객은 로그인을 못 하거나 제출 버튼을 눌러도 완료 화면이 나오지 않습니다. 인증 설정, 프런트엔드 정적 파일, 외부 연동, 권한 규칙 중 어느 하나만 어긋나도 이런 일이 생깁니다. 서버가 살아 있다는 사실은 고객 업무가 가능하다는 증거가 아닙니다.
합성 모니터링(synthetic monitoring)은 정해진 테스트 사용자가 실제 업무 경로를 주기적으로 밟아 보는 방법입니다. 배포 직후 검증과 평상시 조기 경보를 같은 시나리오로 연결할 수 있습니다.
헬스체크보다 한 단계 깊게
가장 작은 점검은 홈 페이지 응답과 로그인 화면 표시입니다. 그러나 중요한 B2B 업무라면 ‘로그인→권한 있는 메뉴 열기→안전한 테스트 데이터 입력→서버 결과 확인’까지 이어져야 합니다. 예를 들어 견적 시스템은 제출 성공 메시지만 보지 말고 실제 테스트 견적이 조회되는지 확인합니다. 필요하면 마지막에 테스트 데이터를 정리합니다.
Amazon CloudWatch Synthetics 문서는 카나리가 고객과 유사한 경로와 행동을 반복해 고객 트래픽이 없는 시간에도 경험을 검증할 수 있음을 설명합니다. 도구는 다를 수 있지만 ‘검증하려는 업무를 명시한다’는 원칙은 동일합니다.
테스트 계정과 데이터는 격리한다
실제 고객 계정으로 점검하면 권한 변경이나 데이터 오염 위험이 큽니다. 합성 점검 전용 테넌트·계정·데이터를 만들고 필요한 최소 권한만 줍니다. 제출 기능을 시험할 때는 테스트 표시가 붙은 레코드만 생성하고 실제 결제·문자·이메일 발송으로 이어지지 않게 합니다. 점검이 실패한 후에도 남은 데이터를 청소할 수 있는 별도 절차가 있어야 합니다.
브라우저 스크린샷과 네트워크 로그에는 입력값이나 토큰이 노출될 수 있습니다. 민감한 값을 사용하지 않고, 결과물의 보존 기간과 접근 권한을 제한합니다. 테스트 자격 증명도 코드에 넣지 않고 비밀정보 관리 경로로 제공합니다.
‘한 번 실패’가 곧 장애는 아니다
점검 실행 환경 자체의 네트워크 문제, CAPTCHA, 세션 만료, 테스트 데이터 충돌 때문에 실패할 수 있습니다. 단계별 실패 원인을 남기고 연속 실패, 다른 위치의 결과, 실제 사용자 오류 지표와 함께 판단합니다. 반대로 재시도를 너무 많이 하면 진짜 장애를 늦게 알 수 있습니다. 로그인 실패, 제출 실패, 결과 불일치는 영향도가 다르므로 각각 경보 우선순위를 정합니다.
배포 직후에는 짧은 간격으로 점검하고, 평소에는 업무 중요도와 실행 비용에 맞게 주기를 정할 수 있습니다. 배포 이전 버전과 이후 버전의 성공률·소요 시간 차이를 보면 새 릴리스와 장애의 관련성을 좁히는 데 도움이 됩니다. 다만 배포 차단 기준은 합성 점검 하나만으로 정하지 말고 실제 사용자 신호와 함께 설계합니다.
합성 점검과 실제 사용자는 서로 보완한다
합성 점검은 정해진 환경과 경로를 반복하므로 변화 감지에 좋습니다. 하지만 고객의 다양한 브라우저, 네트워크, 데이터 크기, 권한 조합을 모두 재현하지 못합니다. 실제 사용자 모니터링은 넓은 조건을 보여주지만 밤에 트래픽이 없으면 문제가 늦게 발견될 수 있습니다. 두 신호를 같은 업무 단위에서 비교하면 ‘점검은 성공인데 특정 고객만 실패’ 같은 차이를 찾을 수 있습니다.
성공 조건은 CSS 선택자가 존재한다는 사실보다 업무 결과에 가까워야 합니다. 화면 텍스트와 API 응답, 생성된 결과 조회를 함께 검증하면 겉모습만 통과하는 테스트를 줄입니다. UI 변경에 너무 민감한 선택자는 안정적인 테스트 식별자로 교체하고, 불필요한 시각 요소에는 의존하지 않습니다.
도입 체크리스트
- 고객에게 중요한 업무 경로 2~3개를 선정한다.
- 격리된 테스트 계정과 안전한 데이터 정리 방식을 만든다.
- 단계별 성공 조건과 실패 원인을 기록한다.
- 배포 직후 점검과 정기 점검의 기준을 구분한다.
- 실제 사용자 오류·지연 지표와 함께 경보를 판단한다.
운영에서 중요한 질문은 ‘서버가 응답하는가?’를 넘어 ‘고객이 지금 일을 끝낼 수 있는가?’입니다. 합성 점검은 그 질문을 사람이 매번 직접 클릭하지 않고도 반복해서 확인하는 방법입니다.
#합성모니터링 #SyntheticMonitoring #배포후점검 #사용자여정 #브라우저카나리 #운영관측성 #테스트자동화 #CI_CD #웹서비스운영 #장애예방
