예시 답변 1
약 88초
데이터 파이프라인 장애를 직접 대응하며 운영 안정성 개선 방법을 찾아낸 경험 중심으로 푸는 결
인턴 때 스트리밍 데이터 파이프라인 운영 업무를 일부 맡았습니다. 담당 선임이 휴가 중에 파이프라인이 멈추는 사건이 생겼습니다. 로그를 보니 메시지 큐의 오프셋이 이상하게 밀려 있는 상황이었습니다. 처음엔 재시작하면 되겠지 했는데, 재시작 후에도 일부 메시지가 중복 처리됐습니다. 나중에 알고 보니 컨슈머 그룹 설정이 올바르지 않았던 것이 원인이었습니다. 그 이후로 저는 파이프라인마다 컨슈머 그룹 아이디와 오프셋 커밋 정책을 문서에 명시하는 습관을 들였습니다. 또 장애 발생 시 처리 중이던 메시지를 추적할 수 있도록 처리 상태를 로그에 남기는 코드를 추가했습니다. 이후 비슷한 상황이 다시 생겼을 때는 로그만 봐도 어디서 멈췄는지 5분 안에 파악할 수 있었습니다. 아직 운영 규모가 크지 않아서 배운 것도 한정적이지만, 장애를 직접 겪어야 무엇을 남겨야 하는지 알게 된 것 같습니다.