이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
졸업 프로젝트에서 수십만 건 이상의 로그 데이터를 분석하는 작업을 처음 해봤습니다. 처음엔 pandas로 전체 파일을 메모리에 올렸는데, 데이터 크기가 커지면서 메모리가 부족해지는 문제를 경험했습니다. 이후에는 청크 단위로 파일을 나눠서 처리하는 방식으로 바꿨고, 메모리 사용량이 크게 줄었습니다. 저장 측면에서는 Parquet 형식으로 저장하면 CSV보다 읽기 속도가 빠르고 용량이 줄어드는 걸 경험했습니다. 연산 측면에서는 반복적인 필터 조건을 컬럼 인덱스 기반으로 처리하는 방식이 전체 탐색보다 훨씬 빠르다는 걸 배웠습니다. 시각화에서는 집계된 결과를 중간에 저장해두는 것이 매번 재계산하지 않아도 되는 구조를 만들어줬습니다.
대용량 데이터 처리는 코드보다 데이터를 어떻게 나누고 저장하느냐의 구조 문제라는 걸 그때 배웠습니다.
대용량 처리 방식을 바꾼 뒤 변화가 실제로 얼마나 됐는지 수치로 확인한 것이 가장 중요한 단계였습니다. 전체 파일을 한 번에 로드하던 방식에서 청크 단위로 바꾼 뒤, 메모리 피크가 12GB에서 1.8GB로 줄었고 OOM 오류 없이 안정적으로 처리가 완료되기 시작했습니다.
Parquet 전환 전후 파일 크기를 비교하니 CSV 대비 약 70% 줄었고, 같은 필터 쿼리의 응답 시간이 4.2초에서 0.8초로 짧아졌습니다. 이 수치를 팀원에게 공유하자, 비슷한 작업을 하던 다른 팀원들도 동일한 방식을 적용하는 계기가 됐습니다.
개선 효과는 코드 변경보다 수치로 보여주는 것이 팀 전체의 방향을 바꾸는 데 더 효과적이었습니다.
대용량 처리 파이프라인에서 가장 시간이 아까운 상황은 마지막 단계에서 오류가 나서 처음부터 다시 돌려야 할 때였습니다. 10시간 걸리는 처리가 9시간 지점에서 실패하면 전체를 다시 돌리는 비용이 매우 컸고, 그 경험이 중간 체크포인트를 설계하는 동기가 됐습니다. 각 단계의 산출물을 중간 스냅샷 파일로 저장해두고, 실패 지점을 확인한 뒤 그 단계부터 재실행하는 방식으로 바꿨습니다.
처음에는 저장 비용이 아까울 것 같았는데, 실패 한 번 재처리하는 시간이 저장 비용보다 훨씬 크다는 것을 금방 확인했습니다. 데이터 파이프라인 설계에서 재처리 전략은 처음부터 포함해야 한다는 것을 이 경험으로 배웠습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 CJ올리브영 백엔드 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.