dbt를 활용한 데이터 변환 경험이 있다면, 어떤 방식으로 프로젝트를 진행했는지 구체적으로 설명해 주세요.

이벤트 로그 테이블(일 3,000만 건)을 dbt로 처리할 때 Incremental 모델을 설계했습니다. Full Refresh는 비용과 시간이 커서 updated_at 기반 증분 처리로 전환했고, unique_key를 지정해 중복 없는 Upsert가 보장되도록 했습니다. SQL 가독성을 위해 Incremental 필터 로직을 별도 CTE recent_records로 분리했고, {% if is_incremental() %} 블록이 명확히 드러나도록 정렬했습니다. 초기 설계 시 파티션 컬럼을 `created_at`으로 잡았다가 `updated_at`이 파티션을 건너는 문제를 발견했습니다. 파티션 전략을 이벤트 날짜 기준으로 재설계하고, Lookback 윈도우(var('lookback_days', 3))를 설정해 late-arriving 데이터를 처리했습니다. 결과적으로 Full Refresh 대비 처리 비용 91% 절감을 달성했습니다.

Incremental 모델은 처음부터 데이터 지연 가능성을 고려한 설계가 중요합니다.