예시 답변 1
약 72초
캡스톤 프로젝트에서 파이썬으로 데이터 수집-처리-저장 파이프라인을 만든 경험
캡스톤 프로젝트에서 공공 API에서 데이터를 받아 정제한 뒤 데이터베이스에 저장하는 간단한 파이프라인을 만들었습니다. 파이썬으로 requests로 수집, pandas로 정제, SQLite에 저장하는 흐름이었습니다. 제가 데이터 정제 파트를 맡았는데, 처음에 null 값 처리를 빠뜨려서 이후 분석 단계에서 오류가 계속 났습니다. 데이터 품질 체크를 정제 단계에 넣고 나서 문제가 없어졌습니다. 대용량 처리 경험은 없고, 하루 약 1,000건 수준의 소규모 파이프라인이었습니다. 실무 수준의 End-to-End 파이프라인과 비교하면 규모 차이가 크다는 걸 알고 있습니다.
이 결의 특징
공공 API 수집→pandas 정제→SQLite 저장 파이프라인에서 null 값 처리 누락으로 이후 분석 단계에서 오류가 반복된 경험에서 '데이터 품질 체크를 정제 단계에 포함해야 한다'는 원칙을 도출한 흔적이 있습니다.
이 결이 통하는 자리
데이터 품질 체크 위치가 실패 경험에서 결정됐음이 살아 있고, 소규모 파이프라인임을 솔직히 표명할 때 통합니다. 데이터 파이프라인 설계 원칙을 묻는 면접관이 머무는 자리에서 자주 보이는 결입니다.