A
약 120초
배치 파이프라인 파티셔닝 전략 변경으로 성능 개선
인턴십과 프로젝트에서 두 가지 규모의 파이프라인을 경험했습니다. 하나는 인턴십에서 일 단위 배치 파이프라인으로 하루 약 50만 건 이벤트 로그를 처리하는 구조였고, 저는 데이터 정제·집계 단계를 담당했습니다. 다른 하나는 졸업 프로젝트에서 Kafka + Spark Streaming을 써서 소규모 실시간 스트리밍을 구현한 것인데, 초당 수백 건 수준이었습니다. 성능·비용 균형 면에서는 배치에서 처리 시간을 줄이기 위해 파티셔닝 전략을 바꾼 경험이 있습니다. 날짜 파티션 대신 이벤트 타입으로 나누니 집계 쿼리 시간이 절반으로 줄었습니다. 한계는 수억 건 이상 규모의 파이프라인은 경험하지 못했고, 제가 다룬 수준은 아직 소규모라는 걸 인정합니다.
이 결의 특징
인턴십에서 일 50만 건 배치 파이프라인 집계를 담당하고 졸업 프로젝트에서 Kafka와 Spark Streaming으로 초당 수백 건 스트리밍을 구현한 두 규모를 구체적으로 구분한 흔적이 있습니다. 날짜 파티션에서 이벤트 타입 파티션으로 바꿔 집계 쿼리 시간이 절반으로 줄었다는 수치가 살아있습니다.
이 결이 통하는 자리
두 규모 경험이 구체적으로 구분되고 파티셔닝 변경 전후 수치가 살아있을 때 통합니다. 수억 건 이상 규모는 경험하지 못했다는 솔직한 인정이 신뢰로 연결되는 자리가 있을 때 면접관의 꼬리질문이 줄어드는 결이 자주 보입니다.