경험 기반 구체화
Databricks를 직접 사용한 경험은 없지만, 학교 빅데이터 수업에서 Databricks의 통합 분석 플랫폼 구조를 배웠습니다. 가장 주목한 기능은 Collaborative Notebook인데, 여러 사람이 같은 노트북에서 Python·SQL·Scala를 섞어 쓸 수 있어 데이터 사이언티스트와 데이터 엔지니어가 같은 환경에서 협업할 수 있다는 점이 인상적이었습니다. 또 Databricks는 Apache Spark를 관리형으로 제공해서 클러스터 설정과 자원 관리 부담 없이 대규모 데이터 처리를 시작할 수 있다는 것도 배웠습니다. MLflow와의 통합으로 모델 실험 추적과 서빙을 같은 플랫폼에서 할 수 있다는 것도 ML 엔지니어링 워크플로우를 단순화하는 데 유리한 특징입니다. 향후 데이터 파이프라인과 ML 파이프라인을 함께 다루는 역할을 하게 된다면 Databricks를 실습해보고 싶습니다.