이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
학부 캡스톤에서 로그 수집 파이프라인을 Java로 맡았던 경험이 있습니다. 5명이 만든 웹 서비스의 접속·결제 로그를 하루 단위로 모아 PostgreSQL에 적재하는 흐름이었는데, 제가 수집기와 적재 배치를 나눠 설계했습니다. 처음에는 요청이 몰릴 때 전부 메모리에 쌓았다가 한 번에 쓰려 했는데, 테스트 중 2만 건 근처에서 지연이 커지는 걸 보고 구조를 바꿨습니다. 이후엔 500건씩 끊어 쓰고, 실패한 건 별도 테이블에 남겨 다시 처리했습니다. 그때부터 새 데이터를 다룰 때도 먼저 실패 지점과 재처리 방식을 확인하고, 작은 단위로 흘려보내는 쪽을 먼저 봅니다.
학부 캡스톤에서 Python으로 하루 수만 건의 로그를 모아 대시보드용 데이터로 바꾸는 파이프라인을 맡았습니다. 처음에는 수집과 가공을 한 스크립트에 묶었다가, 중간에 장애가 나면 어느 단계에서 깨졌는지 찾기 어려웠습니다. 그래서 제가 수집·정제·적재를 분리하고, 각 단계마다 실패 건수와 처리 시간을 남기도록 바꿨습니다. 그 뒤로는 문제 지점을 더 빨리 좁힐 수 있었고, 팀원도 중간 결과를 확인하며 바로 피드백을 줄 수 있었습니다. 이 경험 이후 새 흐름을 설계할 때는 기능보다 먼저 실패 지점과 재처리 방식을 확인하는 편입니다. 제가 보는 데이터 파이프라인은 빨리 만드는 것보다, 나중에 다시 읽고 고칠 수 있게 남기는 일이 더 중요하다는 기준입니다.
학부 캡스톤에서 Python으로 주문 로그 수집 파이프라인을 맡았었습니다. 하루에 약 20만 건이 들어오는 구조였는데, 처음에는 단순히 파일을 순서대로 읽고 적재만 하면 된다고 봤습니다. 그런데 중간에 재시도 로직을 빼먹어서 같은 로그가 두 번 들어가고, 배치가 밀릴 때는 일부 데이터가 누락됐습니다. 그때 idempotent하게 처리해야 한다는 걸 뒤늦게 깨달았고, 이후에는 중복 키와 처리 시각을 기준으로 재처리 범위를 나눴습니다. 또 적재 전에 샘플 1천 건을 먼저 검증하는 단계를 넣었습니다. 그 경험 이후로는 새 파이프라인을 볼 때도 먼저 중복 가능성과 재처리 기준부터 확인하고 있습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 쿠팡 백엔드 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.