Azure Data Factory를 활용한 데이터 파이프라인 구축 경험에 대해 구체적으로 이야기해 주세요.

Azure Data Factory를 쓰면서 파이프라인이 복잡해질수록 디버깅이 어려워지는 한계를 경험했습니다. 단순한 복사 작업은 직관적이었는데, Mapping Data Flow에서 여러 변환 단계를 연결하다 보면 중간 단계의 데이터 상태를 확인하기 어려웠습니다. 데이터 미리보기 기능이 있었지만 실제 데이터 크기에서 실행하면 속도가 느렸습니다. 오류 메시지도 어느 변환 단계에서 문제가 생겼는지 정확히 특정하기 어려운 경우가 있었습니다. 비용 관리도 신경 쓰였는데, Mapping Data Flow는 클러스터를 띄우는 비용이 발생해서 간단한 변환은 데이터 흐름보다 다른 방식이 더 경제적이라는 것을 알게 됐습니다. 스케줄 트리거를 잘못 설정하면 불필요하게 파이프라인이 자주 실행되는 경우도 있었습니다. ADF는 코드 없이 파이프라인을 구성할 수 있다는 장점이 있지만, 복잡한 변환 로직은 오히려 코드로 구현하는 것이 추적하기 쉬울 수 있다는 것을 이 경험에서 배웠습니다.