운영 모니터링 시스템을 구축할 때 중요하게 고려한 요소는 무엇인가요?

운영 모니터링에서 가장 중요하게 보는 지표는 응답 지연(P95/P99)이라고 생각합니다. 평균 응답 시간은 일부 느린 요청을 가려버리기 때문에, 상위 백분위 지연이 실제 사용자 경험에 더 가깝습니다. 졸업 프로젝트에서 Grafana + Prometheus로 간단한 대시보드를 구성했는데, P99 지연이 치솟을 때 DB 쿼리 슬로우 로그를 함께 보니 원인이 빠르게 좁혀졌습니다.

에러율도 함께 봐야 하는 이유는, 지연이 낮아도 에러가 증가하면 문제 징후이기 때문입니다. 알람 기준은 지나치게 낮게 잡으면 노이즈가 많아 실제 이슈를 놓치는 경우가 생겼고, 임계값 조정 경험을 통해 알람 피로도를 줄이는 것도 모니터링 설계의 일부라는 결을 배웠습니다.