대규모 데이터셋을 구조화하여 의사결정 모델을 구축한 경험이 있다면, 어떤 접근 방식을 취했는지 설명해 주세요.

졸업논문 연구에서 3년치 전자상거래 거래 로그 약 80만 건을 정제하고 구매 전환 예측 모델을 구축한 경험이 있습니다. 원시 데이터에는 세션 중단 기록, 중복 이벤트, 시간대 오류가 많아서 전처리에 전체 작업의 절반 이상을 썼습니다. 구조화 과정에서는 사용자 행동 이벤트를 세션 단위로 묶고, 상품 조회 → 장바구니 → 결제 경로를 피처로 변환했습니다.

세션 내 이탈 지점과 체류 시간을 피처로 추가했을 때 모델 AUC가 0.72에서 0.81로 오른 것이 가장 기억에 남는 실험이었습니다. 이 경험을 통해 모델 성능은 알고리즘 선택보다 피처 설계에서 더 크게 갈린다는 것을 직접 확인했습니다. 이후에도 데이터 구조를 먼저 이해하고 피처를 설계하는 순서를 지키고 있습니다. 앞으로도 데이터 구조를 먼저 이해하고 피처를 설계하는 순서를 유지하겠습니다.

모델 성능은 알고리즘 선택보다 피처 설계에서 더 크게 갈린다는 것을 직접 확인했습니다. 전처리 단계에서 시간을 아끼려다 이후에 더 많은 재작업이 생기는 패턴이 가장 흔한 실수입니다. 대규모 데이터일수록 샘플로 먼저 검증하고 전체로 확장하는 방식이 시간을 실질적으로 줄여줍니다.