온프레미스·AWS 혼용 파이프라인에서 중복 적재 문제 해결
온프레미스와 퍼블릭 클라우드를 함께 쓰는 하이브리드 환경에서 인턴십 과제를 수행한 경험이 있습니다. 사내 DB는 온프레미스에 두고, 분석 워크로드는 AWS EC2로 내보내는 구조였습니다. 제가 가장 무겁게 본 부분은 두 환경 간의 네트워크 레이턴시와 데이터 정합성이었습니다. 배치 잡이 온프레미스 DB에서 읽어 클라우드에서 가공한 뒤 다시 적재하는 흐름이었는데, 중간에 실패하면 어느 지점부터 재시작할지 기준이 없어 데이터가 중복 적재된 적 있었습니다. 그 이후로 idempotent 처리와 체크포인트 기록을 파이프라인 설계의 기본으로 잡게 됐습니다. 한계는 규모가 작은 환경이었다는 점입니다.
트래픽 피크나 장애 상황에서 두 환경이 어떻게 동작하는지는 실제 대형 서비스를 다뤄봐야 알 것 같습니다.