대규모 데이터 수집 및 적재를 위한 시스템을 개발한 경험이 있나요? 그 과정에서 어떤 기술을 사용했고 어떤 어려움이 있었는지 설명해 주세요.

인턴 때 기존 시스템에서 같은 데이터가 여러 테이블에 중복 저장되는 구조를 봤습니다. 업데이트할 때 한 곳만 바꾸면 다른 곳과 달라지는 문제가 반복됐습니다. 담당자가 "오래된 구조라 어쩔 수 없다"고 했는데, 저는 어떻게 이 문제가 생겼는지가 궁금했습니다.

코드를 따라가 보니 초기 설계에서 조회 속도를 높이려고 중복 저장을 의도적으로 넣었는데, 나중에 쓰기 로직이 분산되면서 동기화가 깨진 것이었습니다. 저는 중복 저장 없이 뷰로 조회하는 방식을 제안했는데, 기존 코드 수정 범위가 너무 넓어서 채택되지 않았습니다.

그 경험에서 설계 결정이 나중에 얼마나 큰 유지보수 비용으로 돌아오는지를 봤습니다. 짧게 보면 중복 저장이 빠르지만, 길게 보면 정합성 유지가 더 비쌌습니다. 초기 설계가 왜 중요한지를 코드가 아니라 현장에서 처음 실감했습니다.