Grafana 사용 경험 — 지표 선정 기준 + 알림 설계 강조
모니터링 지표 시각화에는 주로 Grafana를 사용합니다. 지표 선정 시 가장 먼저 고려하는 것은 이 지표가 나빠지면 어떤 행동을 취할 것인가입니다. 행동이 연결되지 않는 지표는 대시보드를 복잡하게 만들 뿐이라는 걸 경험으로 배웠습니다. 실제로 처음에는 30개 지표를 시각화했는데, 핵심 10개로 압축하고 나머지는 드릴다운 가능한 보조 패널로 숨기자 운영팀이 더 빠르게 이상을 파악하게 됐습니다. 유의할 점으로는 스케일 기준 통일이 중요합니다. 같은 패널 내 지표들이 단위가 달라 오해를 만드는 경우가 있었고, 이후 단위와 스케일을 명시하는 것을 규칙으로 만들었습니다. 알림 설계는 정상 범위 이탈 시에만 발화하도록 임계값을 데이터 기반으로 설정합니다.