경험 기반 구체화
Airflow나 Kafka를 실제 AI 플랫폼에서 직접 사용한 경험은 없지만, 학교 데이터 엔지니어링 수업에서 Apache Airflow로 ETL 파이프라인을 구성하는 실습을 했습니다. Airflow의 DAG 구조는 태스크 간 의존성을 시각적으로 정의할 수 있어서, 파이프라인의 어느 단계가 실패했는지 바로 파악할 수 있습니다. AI 플랫폼에서 Airflow를 쓰면 모델 재학습 주기 자동화가 가능한데, 새 데이터가 쌓이면 자동으로 전처리·학습·배포까지 트리거하는 구조를 만들 수 있습니다. Kafka는 스트리밍 추론이 필요한 시나리오에서 유용한데, 실시간으로 발생하는 사용자 행동 데이터를 모델 서빙 서버에 지연 없이 전달하는 역할을 합니다.
두 도구의 차이는 Airflow는 배치·스케줄링, Kafka는 실시간 이벤트 스트림 처리에 적합하다는 점이라고 이해하고 있습니다.