ML 기반 접근 방식을 활용해 사기 탐지 시스템을 개선한 경험이 있다면 어떤 사례가 있나요?

핀테크 인턴 때 결제 사기 탐지 모델 개선 보조 프로젝트에 참여했습니다. 기존 시스템이 룰 베이스 12개 + 로지스틱 회귀 1개였는데, 룰만 매주 늘어 운영 부담이 커지던 시점이었습니다.

접근 방식은 '룰을 ML 피처로 흡수하고 모델로 통합'이었습니다. 기존 12개 룰을 모두 이진 피처로 만들고, 거기에 시점 기반(직전 1시간/24시간/7일) 윈도우 통계 32개·디바이스 핑거프린트 12개·결제 그래프 임베딩 16개를 더해 총 73개 피처를 만들었습니다.

모델은 XGBoost와 LightGBM 두 가지를 5-fold로 비교했고, LightGBM이 동일 정밀도(95%)에서 재현율이 4%p 높아 그쪽을 골랐습니다. 클래스 불균형(0.3%)은 언더샘플링+클래스 가중치 조합으로 다뤘습니다.

성과는 재현율 71→83%·정밀도 92→95%·룰 운영 카드 18→6개로 닫혔습니다. 시스템 응답 시간은 평균 38ms에서 52ms로 늘었지만 SLA 100ms 안에 들어가는 결이라 무리 없이 배포됐습니다.

장단점 인식 쪽으로는, ML이 강한 부분은 패턴의 조합·시간 변화이고, 약한 부분은 새로운 사기 시나리오 첫 등장이라고 봅니다. 그래서 ML+소수의 핵심 룰 하이브리드가 안전한 결이라는 결을 챙겨두었습니다.