빅데이터 도구·ETL 프레임워크 경험
약 90초
경험 구체화
데이터 엔지니어링 수업 프로젝트에서 Apache Airflow로 ETL 파이프라인을 직접 구성했습니다. 소셜 미디어 API에서 데이터를 수집해서 PostgreSQL에 적재하는 DAG를 작성했고, 스케줄링과 실패 재시도 로직을 포함했습니다. 처음에 태스크 의존성 설정을 잘못해서 순서가 뒤바뀌는 오류가 났고, DAG 구조를 다시 설계하면서 의존성 그래프를 먼저 그리는 습관이 생겼습니다. 또한 Pandas로 처리하다가 데이터 크기가 커지면서 성능 문제가 생겼고, 이를 계기로 PySpark를 공부하게 됐습니다. 아직 대규모 실서비스 환경은 경험하지 못했지만, 파이프라인 설계와 디버깅 과정을 직접 경험한 것이 실무 적응에 도움이 될 것이라 봅니다. 이 경험으로 ETL 파이프라인은 설계보다 운영과 디버깅이 더 어렵다는 걸 배웠습니다.
장애를 빠르게 감지하고 재시도하는 구조를 처음부터 고려하는 것이 중요합니다.
이 결의 특징
Airflow DAG로 파이프라인을 구성하다 태스크 의존성 설정 오류를 겪고, 이후 의존성 그래프를 먼저 그리는 습관으로 전환한 전환점이 담긴 흔적이 있습니다. Pandas의 성능 한계에서 PySpark 학습으로 넘어간 경로도 자연스럽게 이어집니다.
이 결이 통하는 자리
오류 원인과 이후 습관 변화가 한 문장으로라도 이어질 때 통합니다. '설계보다 운영과 디버깅이 어렵다'는 결론이 실제 실패 경험에서 나왔다는 것이 보일 때 면접관이 더 캐묻지 않는 결이 보입니다.