이탈 예측 모델을 타겟팅에 적용하고 AB 테스트로 검증한 결
인턴 기간 중 이탈 고객 재참여 캠페인에서 AI를 처음 실무에 붙였습니다. 고객 행동 로그 3개월치를 분석해 이탈 확률 상위 20%를 타겟으로 세분화했고, 이 세그먼트에만 다른 할인 메시지를 노출하는 방식으로 AB 테스트를 설계했습니다. 2주 후 재참여율이 대조군 대비 18% 높게 나왔는데, 곧바로 해석하기 전에 이탈 예측 모델이 과거 구매 데이터 기반이라 신규 고객에게는 분포가 다를 수 있다는 점을 팀에 공유했습니다.
콜드스타트 구간에서는 타겟팅 정확도가 떨어지는 걸 확인하고, 신규 고객은 별도 세그먼트로 분리하는 방식으로 후속 캠페인을 설계했습니다. AI 적용 효과보다 한계를 팀에 명시하는 흐름이 신뢰로 이어진다는 걸 이 경험에서 배웠습니다.