알림 빈도 실험 실패 → 변수 미통제 + 회고 비난 없는 분석 + 실패 전 기대 기록 습관 경험
팀 내에 회고 문화가 있는 환경에서 처음으로 가설 기반 실험을 진행했다가 실패한 경험이 있습니다. 가설 측면에서는 '알림 빈도를 높이면 재방문율이 올라갈 것'이라는 가설을 세우고 실험했는데, 오히려 이탈률이 높아지는 결과가 나왔습니다. 실험 측면에서는 단순히 빈도만 늘린 게 아니라 내용의 관련성이 함께 고려되어야 한다는 점을 놓친 게 원인이었습니다. 범위 측면에서는 실험 변수를 하나로 좁히지 않으면 어떤 변화가 결과를 만들었는지 파악이 어렵다는 걸 배웠습니다. 회고에서는 무엇이 어긋났는지를 비난 없이 분석하는 과정이 실험 문화의 핵심이라는 걸 경험했습니다. 그 경험 이후에는 실험 시작 전에 실패했을 때 무엇을 배울 수 있는지를 미리 정리하는 습관이 생겼습니다.
실험 문화는 실패를 허용하는 것이 아니라 실패에서 배우는 구조를 만드는 것이라는 걸 그때 배웠습니다.