도구 경험·학습 방식·한계 인식 중심
빅데이터 관리 경험은 직접적인 프로덕션 규모보다 실습과 학습 수준이 더 많습니다. 사용해본 도구로는 Hadoop HDFS와 Spark가 있고, 수업 프로젝트에서 분산 파일 저장과 배치 처리 기본 흐름을 실습했습니다. 데이터를 하나의 머신에 담을 수 없을 때 분산 처리가 필요하다는 전제를 이해하고, 파티셔닝과 캐시 전략이 성능에 어떤 영향을 주는지 기초 수준에서 확인했습니다. 데이터 저장 측면에서는 비정형 데이터와 정형 데이터의 저장 방식이 다르다는 것을 이해합니다. Hive로 구조화된 쿼리를 쓰는 방식도 실습했습니다. 한계는 명확합니다. 실제 수백 테라바이트 규모 데이터를 다뤄본 경험이 없고, 운영 환경에서 클러스터 튜닝이나 장애 대응은 아직 배워야 할 영역입니다. 실습 경험을 바탕으로 실무에서 빠르게 따라잡는 것을 목표로 준비하고 있습니다.