SQL, Python, PySpark 중 어떤 도구를 사용해 데이터 시각화를 구현했나요?

도구 선택은 데이터 규모와 사용 목적에 따라 다르게 접근합니다. 로컬에서 수백만 건 이하의 분석과 시각화는 Python(pandas + matplotlib/seaborn)이 빠르고 유연합니다. SQL은 DB에서 직접 집계해 결과를 뽑을 때 가장 효율적이고, 쿼리만으로 시각화까지 이어가기 어려울 때 Python과 연결합니다. PySpark는 수억 건 이상의 대용량 데이터나 분산 처리가 필요할 때 씁니다. 인턴에서 Spark 없이 로컬 Python으로 처리하다 메모리 오류가 난 경험이 있어서, 데이터 규모 추정을 먼저 하는 습관이 생겼습니다. 앞으로도 도구 선택 전에 데이터 규모와 목적을 먼저 파악하는 방식을 유지하겠습니다.

SQL은 데이터가 작고 구조화돼 있을 때, Python은 변환 로직이 복잡할 때, PySpark는 분산 처리가 필요할 때 선택합니다. 도구 선택이 잘못되면 성능보다 유지보수 비용이 먼저 문제가 됩니다. 앞으로도 데이터 규모와 처리 복잡도에 맞는 도구를 고르는 방식을 유지하겠습니다.