Spark나 Airflow와 같은 데이터 처리 솔루션을 사용한 경험이 있다면, 그 구체적인 사례를 들 수 있을까요?

Spark Structured Streaming만 써보다가 처음으로 Flink를 다루는 팀으로 이동했어요. 스트리밍 처리라는 개념은 알았지만 Flink의 이벤트 타임·워터마크 처리 방식이 Spark의 마이크로배치와 어떻게 다른지는 처음 파악하는 내용이었습니다.

EventTime window와 ProcessingTime window가 같은 데이터에서 다른 결과를 낸다는 걸 직접 실험으로 확인하며 지연 데이터가 많은 환경에서 워터마크 설정이 결과 정확성을 결정한다는 걸 이해했어요. 워터마크를 너무 넓게 잡으면 레이턴시가 늘고, 너무 좁게 잡으면 지연 데이터가 버려진다는 트레이드오프를 직접 겪었습니다.

스트리밍 시스템은 "얼마나 늦은 데이터까지 기다릴 것인가"를 먼저 결정해야 나머지 설계가 따라온다는 걸 그 경험에서 배웠어요. 비즈니스 요건에서 허용 지연과 데이터 완결성 기준을 먼저 정의하는 순서를 그때부터 씁니다.