대용량의 분산 시스템을 개발한 경험이 있다면 그 과정에서의 주요 과제는 무엇이었나요?

분산 이벤트 처리 시스템을 수평 확장하면서 처음에는 모니터링 구조를 충분히 갖추지 않았는데, 이것이 나중에 문제가 됐습니다. 처리량이 예상보다 낮아지는 상황이 생겼는데, 각 노드의 상태나 큐의 적체 상황을 실시간으로 볼 수 있는 수단이 없어서 원인을 찾는 데 시간이 걸렸습니다. 직접 로그를 수집해서 분석한 결과 특정 파티션에 이벤트가 몰리면서 일부 컨슈머만 과부하가 생기는 것이 원인이었는데, 이것을 모니터링이 있었다면 더 빨리 발견할 수 있었습니다. 분산 시스템은 단일 시스템보다 상태를 파악하기 어렵기 때문에, 구축 단계에서 모니터링을 기능과 동등한 우선순위로 가져가야 한다는 것을 이 경험에서 배웠습니다. 시스템 규모가 커질수록 사람이 직접 상태를 확인하는 방식은 한계가 있고, 관측 가능성을 설계에서부터 고려하는 것이 운영 비용을 낮추는 데 중요하다는 것을 알게 됐습니다.