운영 성과 지표를 개발할 때 고려 요소와 이상 모니터링 방법 설명
운영 성과 지표를 만들 때는 측정이 쉬운 것과 실제 성과를 반영하는 것이 다를 수 있다는 걸 먼저 인식했습니다. 처리 건수는 세기 쉽지만, 품질이나 고객 만족과 연결되지 않으면 의미 없는 숫자가 됩니다. 목표가 무엇인지를 먼저 정하고 역산해서 지표를 도출하는 방식이 더 효과적이었습니다. 이상 상황 모니터링을 위해서는 기준선(baseline)을 먼저 설정하는 것이 중요했습니다.
평균에서 얼마나 벗어났을 때 이상으로 볼지를 미리 정해두지 않으면, 데이터를 봐도 판단이 늦어졌습니다. 지표가 너무 많으면 오히려 이상 신호를 놓치는 문제가 생겨서, 핵심 지표 3~5개로 좁히고 나머지는 드릴다운용으로 분류했습니다. 지표는 보는 사람이 행동을 결정할 수 있어야 의미가 있다는 걸, 지표를 만들고 아무도 보지 않는 경험에서 배웠습니다.