Python을 사용하여 데이터 탐색부터 모델 구현까지의 과정에서 어떤 도구나 라이브러리를 주로 사용하셨나요?

데이터 조작에서 전처리와 모델 입력 준비를 이어주는 파이프라인 도구로 scikit-learn의 Pipeline과 ColumnTransformer를 자주 씁니다. 단순 수치 연산보다 전처리 과정이 모델 성능에 더 큰 영향을 미친다는 것을 경험한 이후로, 전처리 단계를 코드로 명확하게 관리하는 습관이 생겼습니다. 라이브러리로는 수치형은 `StandardScaler`, 범주형은 `OneHotEncoder`를 묶어 `ColumnTransformer`로 처리하는 방식을 씁니다. 이유로는 전처리와 모델을 하나의 파이프라인으로 묶으면 학습 데이터에 맞게 변환된 방식이 검증 데이터에도 동일하게 적용돼서 데이터 누수를 막을 수 있습니다. 활용 사례로는 캐글 실습에서 주택 가격 예측 모델을 만들 때 파이프라인 없이 전처리했다가 검증 지표가 왜곡되는 문제를 겪었습니다. 파이프라인으로 바꾸고 나서야 신뢰할 수 있는 수치가 나왔습니다. 대안 도구로는 전처리가 복잡해지면 `feature-engine`도 함께 씁니다. 전처리 코드가 파이프라인 밖에 있으면, 실수가 언제 들어왔는지 추적하기 어렵습니다.