예시 답변 1
약 88초
데이터 품질 문제 발견·변환 단계 개선·수치 결과 확인 중심으로 푸는 결
졸업 프로젝트에서 공공 데이터를 수집해 분석하는 파이프라인을 만들면서 ETL 프로세스를 처음 다뤘습니다. Python으로 데이터를 추출하고 pandas로 변환해 PostgreSQL에 적재하는 구조였는데, 가장 힘들었던 부분은 원천 데이터 품질이 예측 불가능하다는 점이었습니다. 날짜 형식이 파일마다 달랐고, 일부 컬럼은 null 없이 공백 문자열이 채워져 있었습니다. 처음에는 적재 단계에서 오류가 나면 그때마다 수작업으로 고쳤는데, 이 방식은 확장이 안 됐습니다. 이후 변환 단계에서 유효성 검사를 먼저 실행하고 오류 행은 별도 로그 파일로 분리하는 구조로 바꿨습니다. 그 결과 적재 실패가 주 20회 이상에서 3회 이하로 줄었고, 문제 원인도 로그에서 바로 확인할 수 있게 됐습니다. 이 경험에서 ETL의 핵심 병목은 적재가 아니라 변환 전 데이터 정제 단계라는 것을 직접 배웠습니다.
이 결의 특징
공공 데이터 ETL에서 날짜 형식이 파일마다 다르고 null 없이 공백 문자열로 표현되었습니다. 수작업 수정은 확장이 안 된다고 깨달은 후 변환 단계에서 유효성 검사를 먼저 실행하고 오류 행을 별도 로그로 분리했습니다. 적재 실패가 주 20회 이상에서 3회 이하로 감소한 흔적이 있습니다.
이 결이 통하는 자리
데이터 문제를 개별 사건이 아니라 반복 가능한 검사 구조로 전환한 지점이 분명할 때 통합니다. 파이프라인의 회복력을 높인 설계 선택이 조직의 신뢰도와 연결될 때 면접관의 신뢰가 올라가는 결이 보입니다.