이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
pandas와 numpy를 주로 씁니다. 수업 프로젝트에서 공공 데이터를 다룰 때 pandas로 결측치 처리와 집계 연산을 했고, 시각화는 matplotlib과 seaborn을 함께 사용했습니다. 데이터가 커지면 pandas가 느려져서 한 번은 polars를 써봤는데 연산 속도가 눈에 띄게 빨랐습니다. 아직 익숙하지는 않지만 대용량 데이터를 다룰 때 유용하다는 걸 알게 됐습니다. 상황에 맞게 도구를 고르는 게 중요하다고 생각합니다. 프로젝트마다 데이터 규모와 목적이 다르기 때문에, 도구 선택도 매번 다시 검토하는 편입니다. 익숙한 도구에만 의존하면 불필요한 처리 시간이 생긴다는 걸 느꼈고, 새 라이브러리를 빠르게 실험해보는 습관이 자연스럽게 생겼습니다.
데이터 조작 이전 단계, 즉 데이터를 어디서 가져오느냐에서 requests와 BeautifulSoup을 자주 씁니다. 외부 데이터가 필요할 때 수동으로 다운로드하는 것보다 코드로 자동화하면 반복 작업이 줄어들기 때문입니다. 사용 이유로는 Python 생태계에서 가장 진입장벽이 낮은 조합이고, 공식 문서와 예시가 많아 빠르게 시작할 수 있습니다. 실제 활용 사례로는 뉴스 기사 데이터를 수집해 키워드 빈도 분석을 했을 때 requests로 페이지를 받아오고 BeautifulSoup으로 본문만 추출하는 파이프라인을 만들었습니다. 이후 수집된 텍스트는 pandas로 정제하고 Counter로 빈도를 집계했습니다. 대안 도구로는 JavaScript 렌더링이 필요한 페이지에서는 `playwright`나 `selenium`을 씁니다. BeautifulSoup은 정적 HTML에 적합하고, 동적 페이지에는 맞지 않기 때문에 상황에 따라 도구를 바꿉니다.
데이터 수집 자동화는 분석보다 먼저이고, 그 기반이 탄탄해야 분석도 안정적입니다.
데이터 조작에서 전처리와 모델 입력 준비를 이어주는 파이프라인 도구로 scikit-learn의 Pipeline과 ColumnTransformer를 자주 씁니다. 단순 수치 연산보다 전처리 과정이 모델 성능에 더 큰 영향을 미친다는 것을 경험한 이후로, 전처리 단계를 코드로 명확하게 관리하는 습관이 생겼습니다. 라이브러리로는 수치형은 `StandardScaler`, 범주형은 `OneHotEncoder`를 묶어 `ColumnTransformer`로 처리하는 방식을 씁니다. 이유로는 전처리와 모델을 하나의 파이프라인으로 묶으면 학습 데이터에 맞게 변환된 방식이 검증 데이터에도 동일하게 적용돼서 데이터 누수를 막을 수 있습니다. 활용 사례로는 캐글 실습에서 주택 가격 예측 모델을 만들 때 파이프라인 없이 전처리했다가 검증 지표가 왜곡되는 문제를 겪었습니다. 파이프라인으로 바꾸고 나서야 신뢰할 수 있는 수치가 나왔습니다. 대안 도구로는 전처리가 복잡해지면 `feature-engine`도 함께 씁니다. 전처리 코드가 파이프라인 밖에 있으면, 실수가 언제 들어왔는지 추적하기 어렵습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 카카오모빌리티 데이터 사이언티스트 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.