예시 답변 1
약 90초
Airflow DAG + Great Expectations 정제 파이프라인
AI/ML 파이프라인의 데이터 수집은 Apache Airflow로 스케줄링하고, 각 소스(API·DB·S3)별 커넥터를 DAG 태스크로 분리해 장애 격리가 되도록 설계했습니다. 정제 단계에서는 Great Expectations으로 스키마 유효성, 결측치 비율, 분포 이상을 자동 검증했고, 임계값 초과 시 파이프라인을 멈추고 슬랙 알림을 보내도록 했습니다. 피처 스토어(Feast)에 정제된 데이터를 적재해 학습·서빙 환경에서 동일한 피처를 사용하도록 단일화했습니다. 이 구조로 데이터 관련 모델 품질 이슈가 분기별 8건에서 1건 이하로 줄었습니다. 파이프라인 설계 시 재현 가능성과 관찰 가능성을 최우선에 두는 것이 핵심이라는 기준이 생겼습니다.
이 결의 특징
수집을 Airflow로 스케줄링하되 소스별 커넥터를 DAG 태스크로 분리해 장애 격리를 노린 설계가 또렷합니다. 정제 단계에서 Great Expectations로 스키마·결측·분포를 자동 검증하고 임계 초과 시 파이프라인을 멈춰 알림을 보낸 대목이, 데이터 품질 이슈 분기 8건→1건을 관찰 가능성 설계의 결과로 읽히게 하는 결이 보입니다.
이 결이 통하는 자리
Feast로 정제 데이터를 적재해 학습·서빙이 동일 피처를 쓰게 한 단일화가 살아 있을 때 통합합니다. '재현 가능성과 관찰 가능성을 최우선에 둔다'는 기준이 검증 자동화로 받쳐지는 자리에서 면접관의 꼬리질문이 줄어드는 결이 보입니다.