면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
교내 프로젝트에서 대용량 로그 데이터를 처리하며 Apache Airflow로 워크플로를 관리하고 Spark로 배치 처리를 구성했습니다. 처음엔 단순 스케줄러(cron)로 시작했는데, 작업 간 의존성이 복잡해지면서 실패 지점을 추적하기 어려워졌습니다.
Airflow의 DAG 구조를 도입한 이후로는 각 작업의 성공·실패 여부와 순서를 한눈에 볼 수 있어 디버깅 시간이 크게 줄었습니다.
도구는 화려함이 아니라 팀이 겪고 있는 실제 문제를 해결하는지를 기준으로 선택해야 한다고 배웠습니다.
인턴 기간 동안 하루 약 50만 건 규모의 사용자 이벤트 로그를 수집해 적재하는 파이프라인을 보조로 구축한 경험이 있습니다. Kafka로 스트림을 수집하고 배치 단위로 데이터 웨어하우스에 적재하는 구조였습니다.
제가 맡은 부분은 적재 후 데이터 품질을 검증하는 로직이었는데, 결측치나 이상값이 있는 레코드를 별도 테이블로 분리해 원본 데이터를 훼손하지 않도록 설계했습니다.
규모가 크지 않더라도 실제 운영 데이터를 다뤄본 경험을 통해 품질 관리의 중요성을 체감했습니다.
공모전 프로젝트에서 외부 API로부터 데이터를 수집하는 파이프라인을 만들었는데, API 호출 제한(rate limit)에 자주 걸리는 문제를 겪었습니다.
저는 처음엔 재시도 로직만 추가했지만 문제가 반복됐습니다. 원인을 다시 살펴보니 여러 작업이 동시에 같은 API를 호출하고 있었습니다. 이를 발견한 뒤 요청을 큐에 순차적으로 넣어 호출 간격을 조절하는 방식으로 바꿨고, 이후 제한 문제가 사라졌습니다.
증상만 고치기보다 원인을 다시 확인하는 과정이 중요하다는 것을 이 경험으로 배웠습니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.