A
약 75초
이벤트 기준 설계 → 알림 채널 → 안정성 확보까지 체계적으로 설명
저라면 '이상 감지'와 '장애 확정'을 분리해서 이벤트 기준을 설계하겠습니다. 이상 감지 단계에서는 CPU 사용률 80% 이상 3분 지속, 응답 시간 2초 초과, HTTP 5xx 비율 1% 초과 같은 지표를 기준으로 잡겠습니다. 장애 확정은 두 개 이상 지표가 동시에 임계값을 넘을 때로 조건을 좁혀 오탐을 줄이는 구조입니다. 알림은 심각도에 따라 채널을 분리해서, INFO는 팀 슬랙 채널, WARNING은 담당자 DM, CRITICAL은 PagerDuty로 전화 알림까지 가도록 설계하겠습니다. 안정성 확보는 모니터링 에이전트 자체가 단일 장애점이 되지 않도록 별도 인스턴스에 이중화하는 것이 중요하다고 봅니다. 개인 프로젝트에서 Prometheus + Alertmanager 조합으로 비슷한 구조를 만들어본 적이 있는데, 임계값을 처음부터 너무 타이트하게 잡으면 알림 피로가 생긴다는 걸 경험했습니다. 그래서 초기에는 느슨하게 시작해서 실제 장애 패턴을 보고 점진적으로 조이는 방식이 현실적이라고 생각합니다.