AI 도구를 활용해 'Self-Healing' 데이터 파이프라인을 구축하는 과정에서 겪은 어려움과 이를 어떻게 극복했는지 설명해 주세요.

데이터 엔지니어링 수업 팀 프로젝트에서 모델 드리프트 감지 모듈을 파이프라인에 붙이는 작업을 맡았습니다. 가장 어려웠던 건 드리프트 기준을 무엇으로 정할지였습니다. 처음에는 예측 분포 변화만 기준으로 삼았는데, 정상 분포 안에서도 오류가 발생하는 케이스가 나왔습니다. 결국 입력 스키마 변화와 예측값 분포 모니터링을 두 채널로 분리해 각각 알림을 보내는 구조로 바꿨습니다.

두 채널 중 하나만 발화해도 사람이 확인하게 만든 것이 오탐을 줄이는 데 효과적이었습니다. AI가 판단을 대신하는 게 아니라 이상 신호를 플래그하고 사람이 최종 결정하는 방식이 운영 단계에서 더 안전한 구조였습니다. 그 경험 이후로 파이프라인 설계 초기에 실패 시 누가 어떤 신호를 받을지를 먼저 그려두는 습관이 생겼습니다.