피처 엔지니어링 경험+결과 활용으로 푸는 결
대규모 데이터셋에서 특징을 추출한 경험으로는 졸업 프로젝트가 있습니다. 쇼핑몰 로그 데이터를 분석했는데, 컬럼이 수백 개에 예측 대상과 직접 관련 없는 변수가 많았습니다. pandas로 결측값과 분포를 확인하고, 상관관계가 높은 변수 쌍을 제거하는 작업부터 시작했습니다. 이후 feature importance를 확인해 모델이 실제로 활용하는 특징을 좁혔습니다.
처음 200개에서 30개 내외로 압축하고 나서 성능이 오히려 올라갔습니다. 특징이 많다고 좋은 것이 아니라, 관련성 있는 특징이 중요하다는 것을 직접 경험했습니다. 지저분한 데이터를 정리하는 과정이 힘들었지만, 배운 것이 가장 많은 단계였고, 그 경험이 이 직무에 도움이 될 것이라고 생각합니다.