경험 기반 솔직한 접근
인턴 때 온라인 서비스 품질 대시보드를 처음 운영해보면서 어떤 지표가 품질을 가장 잘 반영하는지를 고민했습니다. 제가 가장 중요하게 생각하는 지표는 오류율(Error Rate)입니다. 트래픽이 늘어나도 오류율이 일정 수준을 넘으면 사용자 신뢰가 빠르게 떨어지기 때문입니다. 두 번째는 p95 응답 시간입니다. 평균이 아닌 상위 5%의 느린 요청 속도를 보는 이유는 가장 불편함을 겪는 사용자 경험을 잡기 위해서입니다. 세 번째는 첫 오류 경험 후 재방문율인데, 서비스 오류를 겪고도 다시 돌아오는지를 보면 품질 문제가 신뢰 손상으로 이어졌는지를 확인할 수 있습니다. 세 지표를 함께 보면 기술 품질과 사용자 경험 품질을 동시에 모니터링할 수 있다는 점이 장점입니다.