이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
졸업 프로젝트에서 웹 서버 로그 약 8천만 건을 분석하는 작업을 맡았습니다. 처음에 MySQL에 데이터를 단순히 넣고 집계 쿼리를 실행했더니 단순 GROUP BY 쿼리 하나가 20분 이상 걸렸습니다.
인덱스가 하나도 없었고, 매 쿼리마다 풀스캔을 하고 있었습니다. 자주 사용하는 집계 기준인 timestamp와 user_id에 복합 인덱스를 추가하니 같은 쿼리가 40초로 줄어들었습니다. 그러나 여전히 느려서 데이터를 일별로 파티셔닝하고, 오래된 데이터는 Parquet으로 변환하여 S3에 업로드하는 구조로 변경하였습니다.
최종적으로 최근 30일 데이터 집계는 5초 이내로 처리할 수 있었습니다. 처음 20분에서 5초까지 줄이는 과정이 생각보다 여러 단계가 필요했고, 데이터가 많아지면 저장 구조 설계가 쿼리 성능에 직결된다는 것을 직접 체감하였습니다.
인턴 때 사용자 클릭 이벤트를 실시간으로 수집하는 파이프라인 구축을 도왔어요. 이벤트가 초당 수백 건 들어오는 환경이었는데, 처음엔 바로 DB에 INSERT하는 방식으로 짰더니 피크 시간에 DB가 버티지 못했습니다.
Kafka를 앞에 두고 컨슈머가 배치로 모아서 DB에 쓰는 구조로 바꿨어요. Kafka 파티션 수를 처음에 1로 잡아서 컨슈머가 병렬화가 안 됐던 실수도 했고, 파티션을 4개로 늘리고 나서야 병렬 처리가 됐습니다.
변경 후 피크 시간에도 DB 부하가 안정됐고, 평균 수집 지연이 2초 이내로 유지됐어요. 처음 써보는 기술이라 설정 하나 잘못 잡아서 고생한 경험이지만, 메시지 큐를 앞에 두는 패턴이 얼마나 강력한지 직접 느꼈습니다.
수천만 건 이상의 데이터를 다뤄본 경험은 없지만, 학교 프로젝트에서 약 500만 건 수준의 CSV 데이터를 처리한 적이 있어요.
처음엔 pandas로 전체를 한 번에 읽으려다가 메모리가 터지는 문제가 생겼어요. chunksize=100000으로 나눠 읽도록 바꾸니 해결됐습니다. 단순한 방법이었지만 데이터가 메모리보다 크면 청크 단위로 처리해야 한다는 걸 그때 배웠어요.
대용량 시스템을 제대로 구축하려면 분산 처리 프레임워크도 배워야 한다고 생각해서 Spark 기초를 공부 중이에요. 아직 직접 운영해본 경험은 없지만, 파티셔닝, 스키마 설계, 병렬 처리 세 가지가 핵심이 될 것 같다고 생각합니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 incross 백엔드 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.