데이터 아키텍처를 처음부터 설계한 경험이 있다면, 그 과정에서의 의사결정 과정은 어땠나요?

데이터 아키텍처를 처음 설계할 때 이벤트 수집에 단순 파일 기반 적재를 선택했어요. 초기엔 잘 됐는데 이벤트 수가 늘어나자 파일 크기가 수 GB가 됐고, 읽기 속도와 파티셔닝이 문제가 되기 시작했습니다. 처음 설계할 때 성장 시나리오를 고려하지 않은 게 문제였어요.

이후 Kafka를 중간 레이어로 추가하고 파티션 기반으로 이벤트를 처리하도록 아키텍처를 변경했어요. 변경에 한 달이 걸렸고 기존 데이터 마이그레이션 비용까지 더해지면서 초기 설계 비용보다 전환 비용이 더 컸습니다. 처음부터 규모 성장을 염두에 두는 게 더 저렴하다는 걸 배웠어요.

이 경험으로 아키텍처 설계에서 초기에 '6개월 후 10배 트래픽이 되면 어떻게 되나'를 먼저 검토하는 원칙이 생겼어요. 초기 단순함과 미래 확장성 사이의 균형이 설계의 핵심 판단이라는 교훈입니다.