예시 답변 1
약 88초
데이터 파이프라인 장애를 직접 대응하며 운영 안정성 개선 방법을 찾아낸 경험 중심으로 푸는 결
인턴 때 스트리밍 데이터 파이프라인 운영 업무를 일부 맡았습니다. 담당 선임이 휴가 중에 파이프라인이 멈추는 사건이 생겼습니다. 로그를 보니 메시지 큐의 오프셋이 이상하게 밀려 있는 상황이었습니다. 처음엔 재시작하면 되겠지 했는데, 재시작 후에도 일부 메시지가 중복 처리됐습니다. 나중에 알고 보니 컨슈머 그룹 설정이 올바르지 않았던 것이 원인이었습니다. 그 이후로 저는 파이프라인마다 컨슈머 그룹 아이디와 오프셋 커밋 정책을 문서에 명시하는 습관을 들였습니다. 또 장애 발생 시 처리 중이던 메시지를 추적할 수 있도록 처리 상태를 로그에 남기는 코드를 추가했습니다. 이후 비슷한 상황이 다시 생겼을 때는 로그만 봐도 어디서 멈췄는지 5분 안에 파악할 수 있었습니다. 아직 운영 규모가 크지 않아서 배운 것도 한정적이지만, 장애를 직접 겪어야 무엇을 남겨야 하는지 알게 된 것 같습니다.
이 결의 특징
파이프라인 운영 중 선임 부재 시 메시지 큐 오프셋 밀림으로 일부 데이터 중복 처리됨. 재시작만으로는 해결 못했고 컨슈머 그룹 설정 오류가 근본 원인이었습니다.
이 결이 통하는 자리
비정상 신호를 감지했을 때 로그 기록 습관을 들이면 다음 장애 때 5분 안에 원인 파악이 가능해집니다. 처리 상태 추적이 실시간 대응을 살리는 디버깅 기초입니다.