간단한 AB 테스트 직접 구현
약 85초
기능 플래그로 AB 테스트를 처음 만들어본 경험
AB 테스트를 위한 실험 시스템을 개발하고 운영할 계획에 대해 설명하겠습니다.
사이드 프로젝트에서 버튼 색상이 전환율에 영향을 주는지 직접 실험해보고 싶었습니다. AB 테스트 도구를 사용하기에는 규모가 작아서 직접 만들었습니다. 유저 ID를 해시하여 짝수면 A, 홀수면 B를 보여주는 방식으로 구현하였습니다. 처음에는 같은 사용자가 새로고침할 때마다 다른 버전을 보는 버그가 발생하였습니다. 이를 해결하기 위해 로컬스토리지에 할당 그룹을 저장하여 고정하였습니다. 2주 동안 데이터를 쌓고 분석한 결과, 파란 버튼이 클릭률이 12% 높았습니다.
작게 만들었지만 실제 데이터로 의사결정을 해본 경험이 인상 깊었습니다. AB 테스트는 구현보다 실험 설계와 데이터 해석이 더 중요하다는 것을 깨달았습니다. 그 과정이 값진 배움이었습니다.
이 결의 특징
버튼 색상 실험을 유저 ID 해시로 직접 구현하다 새로고침마다 다른 버전이 보이는 버그를 로컬스토리지 고정으로 해결하고, 2주간 데이터로 파란 버튼의 클릭률이 12% 높다는 결론을 낸 흔적이 있습니다.
이 결이 통하는 자리
구현보다 실험 설계와 데이터 해석이 더 중요하다는 결론이 12%라는 구체적 수치와 함께 있을 때 통합니다. 규모가 작아 도구 대신 직접 구현한 판단이 있는 자리에서 통하는 결이 보입니다.