면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
학부 캡스톤에서 크롤링한 상품 데이터를 다루며 입력 단계에 스키마 검증을 추가했습니다. 필수 필드 누락이나 타입 불일치가 있으면 적재 전에 걸러지도록 파이썬 검증 함수를 작성했습니다.
검증을 추가하기 전에는 약 8% 정도의 행에서 가격 필드가 비어 있는 문제가 있었는데, 검증 단계를 거친 뒤에는 결측치가 적재 이전에 격리되어 분석 단계에서 별도 처리를 하지 않아도 됐습니다.
이 경험으로 품질은 마지막에 확인하는 것이 아니라 들어오는 시점에 걸러야 한다는 것을 배웠습니다.
동아리 프로젝트에서 설문 응답 데이터를 다룰 때, 저는 먼저 품질 기준 세 가지, 즉 완전성·일관성·최신성을 정의하고 시작했습니다. 기준이 없으면 무엇을 검증해야 할지도 불분명하다고 생각했기 때문입니다.
완전성은 필수 응답 누락 여부, 일관성은 척도 응답의 논리적 모순 여부, 최신성은 응답 시점 기록 여부로 구체화했습니다. 이 기준에 따라 검증 스크립트를 짰고, 전체 응답의 약 12%가 하나 이상의 기준에 걸려 재확인이 필요했습니다.
이 경험을 통해 품질 관리는 기준을 명확히 세우는 것에서 시작된다는 것을 배웠습니다.
인턴 기간 동안 매일 갱신되는 배치 데이터를 다루면서, 저는 수작업 점검 대신 자동화된 검증 스크립트를 매일 실행하도록 만들었습니다. 매번 사람이 확인하면 누락이 생길 수 있다고 판단했기 때문입니다.
중복 행, 이상치, 결측 비율을 매일 로그로 남기고 임계치를 넘으면 담당자에게 알림이 가도록 구성했습니다. 도입 후 이상 데이터가 다음 날 분석에 반영되기 전에 발견되는 비율이 눈에 띄게 늘었습니다.
한 번의 조치가 아니라 지속적으로 작동하는 절차를 만드는 것이 중요하다고 생각합니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.