도구 이해 결 → 수집 경험 결 → 어려움 결 → 성과 결
Flink CDC를 직접 써본 경험은 없지만, 수업에서 CDC가 데이터베이스 변경 이벤트를 실시간으로 캡처하는 방식을 공부한 자리가 있었습니다. 도구 이해 자리에서는 CDC는 트랜잭션 로그를 감시해서 INSERT·UPDATE·DELETE 이벤트를 스트림으로 내보내는 방식입니다. 풀 쿼리 방식보다 변경분만 캡처하기 때문에 원천 DB에 부하가 적습니다. 수집 경험 자리에서는 개인 프로젝트에서 PostgreSQL의 wal2json 플러그인을 써서 변경 이벤트를 로그 형태로 읽어오는 실험을 해봤습니다. Flink와 직접 연결하는 자리까지는 못 가봤지만, 데이터 흐름의 원리를 파악하는 경험이 됐습니다. 어려움 자리에서는 스키마 변경이 발생하면 CDC 파이프라인 전체에 영향이 생긴다는 걸 이론으로 배웠습니다. 성과 자리에서는 이 경험을 통해 스트리밍 처리 자리에서 이벤트 순서 보장이 얼마나 중요한지를 이해했습니다.