대규모 데이터를 처리할 때 Presto 또는 Hive SQL을 사용한 경험이 있다면, 어떤 쿼리를 작성했는지 구체적으로 설명해 주세요.

대규모 데이터를 다루는 쿼리 작성에서 가장 먼저 확인할 것은 전체 테이블을 스캔하지 않도록 파티션 조건을 명시하는 것입니다. 수억 건 로그 테이블에서 날짜 파티션 조건 없이 실행하면, 전체 파티션을 풀 스캔해서 처리 시간과 비용이 수십 배 차이가 납니다.

파티션 프루닝(Partition Pruning)이 쿼리 실행 시 조건에 맞는 파티션만 읽도록 Presto/Hive가 내부적으로 스캔 범위를 제한하는 최적화 방식입니다. 일별 파티션으로 분리된 이벤트 로그 테이블에서, 특정 기간의 사용자 행동 패턴을 집계하는 쿼리를 작성할 때 파티션 조건을 항상 첫 번째로 명시하는 습관이 생겼습니다. 파티션 없이 작성된 쿼리를 최적화하는 것만으로 처리 시간이 10분에서 30초로 줄어든 경험이 있습니다.

대규모 데이터 쿼리에서 속도는 인덱스보다 파티션 설계에서 먼저 결정됩니다. 파티션 조건 우선 명시가 대규모 데이터 쿼리 작성의 첫 번째 원칙입니다.