A
약 64초
데이터 파이프라인 구축 인턴 경험을 직무 연관성 중심으로 서술
인턴 때 데이터 파이프라인 구축 업무를 보조한 경험이 있습니다. 구체적으로는 로그 데이터를 AWS S3에 적재하고, Glue 크롤러로 스키마를 자동 감지한 뒤 Athena로 쿼리하는 구조를 선임 엔지니어와 함께 세팅했습니다. 프로젝트 내용으로는 기존에 수동 집계하던 마케팅 성과 지표를 자동화하는 것이었고, 저는 데이터 정합성 검증 쿼리 작성과 결과 비교 보고를 담당했습니다. 사용한 기술로는 SQL, Python(pandas), AWS 콘솔이 주였고, 간단한 데이터 품질 체크 스크립트를 직접 작성했습니다. 문제 해결 경험으로는 파티션 기준이 잘못 설정돼서 집계 값이 틀리는 케이스를 발견했고, 선임에게 원인을 설명하고 수정 방향을 제안했는데 그대로 반영됐습니다. 이 경험에서 파이프라인은 세팅보다 데이터 신뢰성을 유지하는 게 더 어렵다는 걸 배웠습니다.
이 결의 특징
로그 데이터를 S3에 적재하고 Glue 크롤러와 Athena로 쿼리하는 구조를 선임과 함께 세팅한 흔적이 있습니다. 파티션 기준 오류로 집계 값이 틀린 걸 발견해 수정 방향을 제안한 지점이 결을 만듭니다.
이 결이 통하는 자리
제안이 그대로 반영된 구체적 결과가 함께 드러날 때 통합니다. 세팅보다 데이터 신뢰성 유지가 어렵다는 관찰이 보이는 자리가 보입니다.