면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
설문 응답 데이터를 정제하면서 결측치가 30% 넘는 컬럼은 분석에서 제외하고, 그 이하인 경우 중앙값으로 대체하는 기준을 세웠습니다. 이상치는 단순히 값의 범위만 보지 않고, Python으로 분포를 시각화해 실제로 오입력인지 특이 케이스인지 먼저 확인했습니다. 이 과정에서 일부는 오입력이 아니라 실제 극단값이라는 것을 발견해 제외하지 않고 남겨뒀습니다. 정제는 기계적으로 지우는 것이 아니라 맥락을 함께 봐야 한다는 것을 배웠습니다.
SQL로 데이터를 추출할 때 가장 중요하게 생각하는 것은 추출 결과의 건수와 원본 시스템의 건수를 반드시 대조하는 것입니다. 이전 프로젝트에서 조인 조건을 잘못 설정해 일부 데이터가 중복 집계된 것을 이 대조 과정에서 발견한 적이 있습니다. 이후로는 쿼리를 작성할 때마다 예상 건수를 먼저 계산해두고 결과와 비교하는 습관을 들였습니다. 데이터 추출은 속도보다 정확성 검증이 우선이라고 생각합니다.
대용량 원천 데이터는 SQL로 1차 필터링해 필요한 범위만 추출하고, 이후 세밀한 정제는 Python의 pandas로 처리하는 방식을 주로 사용했습니다. SQL은 대량 데이터를 빠르게 걸러내는 데 강점이 있고, Python은 복잡한 조건의 로직을 유연하게 다루는 데 유리하다고 판단했기 때문입니다. 이 조합으로 정제 시간을 단축하면서도 세밀한 처리가 필요한 부분은 놓치지 않을 수 있었습니다. 도구는 각자의 강점에 맞게 나눠 쓰는 것이 효율적이라고 생각합니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.