rate limit 지수 백오프 처리 + raw JSON 보관으로 스키마 변경 대응
소셜 미디어 데이터 ETL에서 가장 중요하게 보는 요소는 API 변경 대응 탄력성입니다. 소셜 미디어 플랫폼은 정책 변경으로 API 스펙이 바뀌거나 rate limit이 조정되는 경우가 많아서, 파이프라인이 갑자기 중단되는 상황이 생깁니다. 수업 프로젝트에서 공개 API로 데이터를 수집하다가 rate limit에 걸린 경험이 있었는데, 지수 백오프(Exponential Backoff) 방식으로 재시도 로직을 넣어서 해결했습니다.
중복 처리 측면에서는 같은 게시글이 두 번 들어오는 경우를 대비해 게시글 ID를 기준으로 중복 체크하는 로직을 기본으로 넣습니다. 스키마 변경 감지도 중요한데, 원본 응답을 raw JSON으로 보관해두면 스키마가 바뀌어도 재파싱이 가능합니다. 한계는 대규모 실시간 스트림 파이프라인을 운영한 경험은 없습니다.