문제 경험 기반 학습과 상태·워터마크로 복잡도 구조화 결
직접적인 Flink 경험은 없지만, 학교 프로젝트에서 실시간 데이터 처리 파이프라인을 구축해보았습니다. Kafka로 이벤트를 발행하고, Python으로 스트림을 소비하는 구조였는데, 이벤트 순서 보장과 처리 지연 관리가 예상보다 복잡하다는 것을 느꼈습니다. Flink를 공부하면서 상태 관리(State)와 워터마크 개념이 그 문제를 더 체계적으로 해결하는 방식이라는 것을 이해하였습니다.
스트리밍 처리의 복잡성을 직접 경험한 것이 Flink를 배우는 동기가 되었습니다. 이론보다 문제를 먼저 경험하면 기술의 존재 이유가 명확하게 보입니다. 문제 경험 없이 기술을 배우면 왜 그 기술이 필요한지를 이해하기 어렵다는 것을 그때 배웠습니다.