추론 지연을 줄이기 위해 2단계 추천 구조로 설계한 경험
상품 추천 시스템에서 전체 5만 개 후보를 매 요청마다 모델에 통과시키면 지연이 400ms를 넘어 서비스 기준(100ms)을 벗어났습니다. 이를 해결하기 위해 후보군을 협업 필터링으로 300개까지 빠르게 걸러내는 1단계와, 이 300개만 딥러닝 모델로 정밀 랭킹하는 2단계로 나눴습니다. 결과적으로 평균 응답 시간이 85ms로 줄었고, 클릭률은 기존 대비 3% 하락에 그쳐 허용 범위 안이었습니다.