용도 파악과 HDFS 특성 비교로 적합성 판단 결
빅데이터 수업에서 분산 저장 시스템을 처음 배웠습니다. 장점은 명확합니다. 규모 확장이 쉽고, 단일 서버 한계를 넘어서 대용량 데이터를 저장하고 처리할 수 있습니다. 여러 노드에 분산되어 있어서 한 곳이 고장나도 데이터가 유지되는 내결함성도 강점입니다. 단점은 지연 시간이 생길 수 있다는 점입니다. 로컬 파일 시스템보다 느리고, 작은 파일이 많으면 오히려 비효율이 발생합니다.
HDFS는 대용량 배치 처리에 강하지만, 실시간 랜덤 접근에는 적합하지 않습니다. 어떤 용도에 맞는지를 먼저 파악해야 적합한 선택이 된다는 것을 배웠습니다. 프로젝트에서 HDFS를 사용해 보았는데, 소용량 파일이 많을 때 NameNode 부하가 올라가는 문제를 직접 겪었습니다. 선택이 중요하다는 것을 그때 배웠습니다.