이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
대용량 데이터 처리에서 테이블 파티셔닝과 인덱스 전략이 성능의 핵심이라는 것을 배웠습니다. 전체 테이블을 스캔하는 쿼리는 데이터가 쌓일수록 느려지기 때문에, 조회 패턴에 맞는 인덱스를 미리 설계하는 것이 중요합니다. 프로젝트에서 수천만 건 데이터를 조회하는 리포트가 느렸는데, 날짜 기반 파티셔닝을 추가하고 복합 인덱스를 조정했더니 쿼리 시간이 크게 줄었습니다.
파티셔닝 기준을 어떻게 잡느냐에 따라 성능이 달라지기 때문에, 조회 패턴을 먼저 파악하는 것이 선행되어야 합니다. 비용 측면에서는 불필요한 컬럼 저장을 줄이고 압축 옵션을 활용하는 방식이 스토리지 비용을 낮추는 데 효과적이었습니다. 성능과 비용은 함께 고려해야 최적 설계가 나옵니다.
대량 데이터를 처리할 때 실시간 처리가 꼭 필요한 것과 배치로 처리해도 되는 것을 나누는 것이 비용 최적화의 출발점입니다. 모든 처리를 실시간으로 하면 인프라 비용이 크게 늘어나거든요. 낮 시간대에 쌓인 데이터를 야간에 배치로 집계하는 방식으로 처리량을 분산하면 동일한 인프라로 더 많은 데이터를 처리할 수 있어요. 프로젝트에서 배치 파이프라인을 설계할 때 단계별로 중간 결과를 저장해두는 방식을 써서 오류 발생 시 처음부터 재실행하지 않아도 됐습니다. 재처리 비용이 줄어들면서 안정성도 올라갔어요.
재처리 가능한 설계가 대용량 파이프라인의 핵심이라는 걸 배웠습니다. 처음부터 실패를 가정하고 설계하는 것이 맞더라고요.
데이터 비용 관리에서 모든 데이터를 동일한 스토리지에 유지할 필요가 없다는 원칙이 중요해요. 자주 조회하는 최근 데이터는 빠른 스토리지에 두고, 오래된 데이터는 저렴한 아카이브 스토리지로 이동하는 티어링 전략을 쓰면 비용이 줄어듭니다. 클라우드 환경에서 스토리지 클래스를 조건에 따라 자동 전환하도록 설정하면 관리 부담 없이 비용을 낮출 수 있어요. 학습 프로젝트에서 6개월 이상 조회되지 않은 데이터를 자동으로 아카이브하는 규칙을 만들어봤는데, 스토리지 비용이 40% 이상 줄었습니다.
데이터 접근 빈도와 비용을 연결해서 생각하는 것이 최적화의 핵심이에요. 성능 최적화와 비용 관리는 함께 설계할 때 효과가 나요.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 쿠팡 데이터 엔지니어 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.