고객 임팩트 중심 지표 선정
자동화 기반 품질 Dashboard를 구축할 때 가장 중요하게 생각하는 지표는 무엇인지 말씀드리겠습니다.
졸업 프로젝트에서 QA 결과를 시각화하는 간단한 대시보드를 만들었습니다. 처음에는 버그 발생 건수를 메인 지표로 설정하였으나, 심각도가 다른 버그를 동일하게 1건으로 취급하니 우선순위 판단이 어려웠습니다. 그래서 크리티컬·메이저·마이너로 분류하여 가중치를 부여하고, 사용자에게 직접 영향을 주는 버그를 상단에 표시하도록 변경하였습니다. 처음에는 팀원들이 "지표가 너무 복잡해졌다"고 하였으나, 실제로 릴리즈 전 우선순위를 빠르게 결정하는 데 도움이 되었습니다. 데이터가 많지 않아 통계적 신뢰도는 낮았지만, 중요한 게 무엇인지 먼저 정의하고 지표를 만들어야 한다는 원칙을 익혔습니다. 이 경험 이후로 지표를 만들 때는 "이걸 보고 무슨 결정을 내릴 것인가"를 먼저 묻게 되었습니다. 좋은 지표는 행동으로 이어지는 것이라는 것을 배운 프로젝트였습니다.