Apache Spark나 Airflow를 사용하여 ML 파이프라인을 구축한 경험에 대해 이야기해 주세요.

수업 프로젝트에서 Airflow로 데이터 전처리·피처 생성·모델 학습을 단계별 DAG으로 구성하는 파이프라인을 만든 경험이 있습니다. Airflow의 장점은 의존성 관리와 재실행 로직이 명확해서 특정 단계만 다시 실행할 수 있다는 점입니다. 실제로 피처 엔지니어링 단계가 변경됐을 때 전체를 다시 돌리지 않고 해당 DAG 노드부터 재실행하는 방식이 개발 속도를 높이는 데 효과적이었습니다. Spark는 대용량 데이터 전처리에서 pandas보다 훨씬 빠른 처리가 가능하고, 분산 환경에서 피처 계산을 병렬화할 수 있다는 점에서 학습 데이터 규모가 클 때 유용합니다.

파이프라인 설계에서 각 단계의 입출력을 명확히 하고 모듈화하면 나중에 수정할 때 범위를 좁힐 수 있습니다. 앞으로도 파이프라인 각 단계의 입출력을 명확히 하고 모듈화해서 수정 범위를 좁히는 방식을 유지하겠습니다. Airflow의 재실행 가능성과 Spark의 분산 처리를 함께 쓰면 ML 파이프라인 운영 효율이 높아집니다. 파이프라인 설계에서 의존성 관리와 재실행 단위를 먼저 정의하는 것이 이후 유지보수 비용을 줄이는 핵심입니다.