문제 상황 결 → 원인 결 → 해결 결 → 교훈 결
Bigdata Platform에서 데이터 적재·처리 문제를 다뤄본 경험은 수업 프로젝트에서 Hadoop HDFS에 대용량 로그 데이터를 적재하면서 발생한 성능 저하 문제를 분석한 것이었습니다. 문제 상황 자리에서는 데이터가 많아질수록 처리 속도가 예상보다 훨씬 더 느려졌습니다. 원인 자리에서는 프로파일링을 통해 파티션 수가 너무 적어 일부 노드에 부하가 몰리는 데이터 쏠림 현상이 원인임을 확인했습니다. 해결 자리에서는 파티션 수를 늘리고, 키 분포를 고려해서 데이터가 노드 간에 고르게 분산되도록 파티셔닝 전략을 수정했습니다. 이후 처리 시간이 약 40% 줄었습니다. 교훈 자리에서는 분산 처리는 전체 처리량보다 가장 느린 노드의 처리 시간이 전체를 결정한다는 걸 배웠습니다. 한 자리가 병목이 되면 나머지가 아무리 빨라도 기다려야 합니다.