면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
저는 데이터 파이프라인에서 가장 중요한 요소를 하나 꼽으라면 모니터링 가능성이라고 답하겠습니다. 아무리 잘 설계된 파이프라인도 실패했을 때 알아채지 못하면 소용이 없다고 생각합니다.
교내 프로젝트에서 파이프라인이 사흘간 조용히 실패하고 있었던 것을 뒤늦게 발견한 적이 있습니다. 이후로는 각 단계 완료 여부를 슬랙으로 알림받는 간단한 장치를 추가했습니다.
기능이 많은 것보다, 문제가 생겼을 때 바로 알 수 있는 파이프라인이 더 신뢰할 수 있다고 생각합니다.
제가 겪은 가장 큰 문제는 결측치가 있는 레코드가 그대로 적재돼 이후 분석 결과가 왜곡된 경험이었습니다. 원본 데이터에 결측치가 얼마나 있는지 사전에 확인하지 않았던 것이 원인이었습니다.
이후로는 적재 전 단계에서 결측치 비율을 먼저 확인하고, 일정 비율을 넘으면 알림이 가도록 하는 검증 로직을 추가했습니다.
데이터 품질은 막연한 개념이 아니라 결측치·중복·형식 오류처럼 구체적으로 측정 가능한 항목으로 관리해야 한다고 배웠습니다.
저는 파이프라인을 설계할 때 만든 사람이 아니어도 이해할 수 있는 구조를 중요하게 생각합니다. 팀 프로젝트에서 제가 만든 파이프라인을 다른 팀원이 이어받아야 했는데, 코드에 설명이 부족해 파악하는 데 오래 걸렸던 적이 있습니다.
이후로는 각 단계의 목적과 입출력 형식을 주석과 별도 문서로 남기는 습관을 들였습니다.
파이프라인은 한 번 만들고 끝나는 것이 아니라 누군가 계속 운영해야 하는 것이므로, 유지보수하는 사람의 입장을 고려해 설계해야 한다고 배웠습니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.