협업 필터링 기반 추천 모델을 처음 구성하며 데이터 선택과 전처리에서 겪은 시행착오 중심으로 푸는 결
학부 수업 팀 프로젝트에서 영화 평점 데이터를 이용한 추천 모델을 만드는 과제를 맡았습니다. 처음엔 데이터가 많을수록 좋을 것이라 생각해서 가능한 모든 평점 기록을 입력으로 넣었습니다. 그런데 결과가 이상했습니다. 평점이 1~2개인 사용자가 너무 많아서 모델이 그 사용자들을 중심으로 추천을 만들어냈고, 실제 사용자가 원할 만한 결과는 잘 나오지 않았습니다. 교수님이 희소 사용자를 어떻게 처리할지가 모델 품질의 핵심이라고 짚어주셔서, 저는 최소 5개 이상 평점을 남긴 사용자만 학습에 쓰도록 필터링했습니다. 데이터가 약 40% 줄었지만 결과 품질은 눈에 띄게 좋아졌습니다. 또 시간 순서를 고려하지 않고 무작위로 학습·평가 세트를 나눴다가 미래 데이터가 학습에 섞이는 실수를 했습니다. 이후 최근 20%를 평가 세트로 고정하는 방식으로 수정했고, 이 경험으로 데이터 분할 순서가 결과에 영향을 준다는 걸 배웠습니다.