면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
저는 데이터 정제를 수집 이후로 미루지 않고, 수집 시점에 형식을 강제하는 방식을 우선 고려합니다. 크롤링 프로젝트에서 초기에는 텍스트를 그대로 저장했다가 후처리에 많은 시간을 썼는데, 이후 수집 스크립트 단계에서 공백 제거와 타입 변환을 먼저 적용하도록 바꿨습니다.
그 결과 후처리 단계에 걸리던 시간이 절반 가까이 줄었고, 수집과 정제를 분리했을 때보다 전체 파이프라인이 단순해졌습니다.
품질과 효율은 수집 시점에 함께 설계할수록 이후 비용이 줄어든다고 생각합니다.
품질과 효율이 상충할 때 저는 그 데이터가 어떤 의사결정에 쓰이는지를 기준으로 판단하겠습니다. 실시간 모니터링용 데이터라면 속도를 우선하되 이상치만 걸러내고, 보고서용 데이터라면 정확성을 우선해 시간이 걸리더라도 검증을 강화하겠습니다.
실습 프로젝트에서 실시간 대시보드용 데이터를 다룰 때, 모든 검증을 완벽히 거치려다 지연이 발생해 대시보드의 실시간성이라는 가치 자체가 훼손된 적이 있습니다.
이 경험 이후 품질 기준을 데이터의 용도에 맞춰 차등 적용해야 한다는 것을 배웠습니다.
동아리 연구에서 리뷰 텍스트 같은 비정형 데이터를 DB화하는 작업을 맡았습니다. 문장 길이와 표현이 제각각이라 단순 저장만으로는 분석에 쓸 수 없었습니다.
저는 먼저 필드를 평점·작성일·본문으로 나누고, 본문에서는 특수문자와 반복 공백을 제거하는 정제 스크립트를 작성했습니다. 이 과정을 함수로 문서화해 팀원이 새로운 리뷰 데이터를 추가할 때도 동일한 절차를 적용할 수 있도록 했습니다.
비정형 데이터는 한 번 정제하고 끝내는 것이 아니라 재사용 가능한 절차로 만드는 것이 핵심이라고 생각합니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.