Bigdata Platform에서 데이터 적재 및 처리를 하면서 겪었던 주요 문제와 이를 해결한 방법에 대해 이야기해 주세요.

Bigdata Platform에서 데이터 적재·처리 문제를 다뤄본 경험은 수업 프로젝트에서 Hadoop HDFS에 대용량 로그 데이터를 적재하면서 발생한 성능 저하 문제를 분석한 것이었습니다. 문제 상황 자리에서는 데이터가 많아질수록 처리 속도가 예상보다 훨씬 더 느려졌습니다. 원인 자리에서는 프로파일링을 통해 파티션 수가 너무 적어 일부 노드에 부하가 몰리는 데이터 쏠림 현상이 원인임을 확인했습니다. 해결 자리에서는 파티션 수를 늘리고, 키 분포를 고려해서 데이터가 노드 간에 고르게 분산되도록 파티셔닝 전략을 수정했습니다. 이후 처리 시간이 약 40% 줄었습니다. 교훈 자리에서는 분산 처리는 전체 처리량보다 가장 느린 노드의 처리 시간이 전체를 결정한다는 걸 배웠습니다. 한 자리가 병목이 되면 나머지가 아무리 빨라도 기다려야 합니다.