가설을 세웠다가 틀렸고, 틀린 결과를 다음 가설의 입력으로 쓴 결
졸업 프로젝트에서 소셜 콘텐츠 도달률을 높이는 실험을 맡았습니다. 처음 가설은 '게시 빈도를 주 3회에서 주 5회로 늘리면 도달이 올라갈 것'이었습니다.
4주 동안 주 5회로 올렸는데, 도달은 오히려 11% 감소했습니다. 데이터를 보니 게시 당 참여율이 떨어지면서 알고리즘 노출이 줄어든 게 원인이었습니다. 이 결과를 입력 삼아 다음 가설을 '빈도보다 콘텐츠 품질이 노출에 더 영향을 준다'로 바꿨고, 주 3회로 되돌리되 소재 제작에 시간을 더 투자했습니다. 이후 3주 만에 도달이 기존 대비 20% 늘었습니다.
처음엔 실패가 낭비라고 느꼈는데, 가설이 틀렸을 때 왜 틀렸는지를 데이터로 설명할 수 있으면 다음 가설이 더 빠르게 좁혀진다는 걸 배웠습니다. 지금도 실험을 설계할 때 실패 시 데이터로 무엇을 볼 것인지를 먼저 정해 두는 편입니다.