오탐 줄이기·핵심 지표 집중 중심으로 푸는 결
사이드 프로젝트에서 백엔드 서비스를 운영하면서 Sentry와 CloudWatch를 함께 써본 경험이 있습니다. Sentry는 에러 추적 중심으로 활용했습니다. 예외가 발생할 때마다 스택 트레이스와 요청 컨텍스트를 함께 남겨두니, 알람을 받았을 때 원인을 바로 파악할 수 있었습니다.
CloudWatch는 CPU·메모리·API 응답 시간 같은 인프라 지표 모니터링에 썼습니다. 알람 튜닝에서 가장 어려운 부분은 오탐 줄이기였습니다. 처음에는 임계값을 너무 낮게 잡아 알람이 자주 울렸고, 팀이 알람을 무시하기 시작하는 문제가 생겼습니다.
5분 평균값 기반으로 바꾸고 에러율 대신 에러 건수 절대값으로 조건을 교체하면서 알람 피로가 크게 줄었습니다. 이 경험을 통해 모든 것을 다 보려 하면 오히려 중요한 신호를 놓친다는 점을 배웠고, 서비스 중단에 직결되는 지표 3~4개를 먼저 정해 집중하는 방식이 효과적임을 확인했습니다.