면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
공공 데이터를 활용한 프로젝트에서 약 12만 행의 데이터 중 특정 컬럼에 결측치가 30퍼센트 가까이 있었습니다. 단순 삭제 시 표본이 크게 줄어드는 문제가 있어, 저는 결측 패턴이 무작위인지 먼저 확인한 뒤 관련 변수의 중앙값으로 대체하는 방식을 선택했습니다. pandas의 groupby와 fillna를 조합해 그룹별 중앙값을 적용했고, 처리 전후 분포를 히스토그램으로 비교해 왜곡이 없는지 검증했습니다. 이 과정을 통해 전처리 방식 하나가 이후 모델 성능에 직접적인 영향을 준다는 것을 체감했습니다.
이커머스 리뷰 데이터를 분석하며 평점과 리뷰 길이 사이의 관계를 살펴본 적이 있습니다. 초기 산점도에서 극단적인 이상치가 다수 발견되어 분석 결과가 왜곡될 위험이 있었습니다. 저는 IQR 기준으로 이상치를 식별하고, 단순 제거 대신 실제 텍스트를 확인해 봇 계정으로 의심되는 데이터인지 먼저 판별한 뒤 제거했습니다. 그 결과 상관계수가 0.31에서 0.52로 뚜렷하게 개선됐습니다. 이 경험으로 이상치를 기계적으로 자르기보다 원인을 확인하는 것이 중요하다는 것을 배웠습니다.
학교 프로젝트에서 서로 다른 형식의 CSV 파일 세 개를 병합해 분석해야 했던 적이 있습니다. 컬럼명 표기가 제각각이고 날짜 형식도 통일되어 있지 않아 병합 전 정제 작업이 가장 오래 걸렸습니다. 저는 컬럼명 매핑 딕셔너리를 만들고 datetime 변환을 일괄 적용해 형식을 통일한 뒤 merge를 진행했습니다. 이 과정에서 중복 행 240여 개를 발견해 제거했고, 최종 데이터의 신뢰도를 확보할 수 있었습니다. 분석보다 전처리에 더 많은 시간이 든다는 것을 체감한 경험이었습니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.