AI/ML 파이프라인 설계와 관련해, 데이터 수집과 정제 과정에서 어떤 방법론을 사용했는지 설명해줄 수 있나요?

여러 이종 소스에서 데이터를 수집하는 파이프라인을 설계할 때, 저는 수집·변환·적재 단계를 명확히 분리하는 원칙을 따릅니다. 웹 크롤링은 Playwright+BeautifulSoup으로, REST API는 httpx 비동기 클라이언트로, DB는 psycopg3으로 수집해 각각 원본 레이어에 그대로 보존했습니다. 정제는 공통 스키마로 변환 후 Pandera로 타입·범위 검증을 수행하고, 오류 행은 격리 테이블에 따로 적재해 수동 검토 대기 상태로 관리했습니다. 파이프라인 전 단계에 데이터 볼륨 모니터링을 붙여 전날 대비 50% 이상 감소 시 경보를 울리게 했습니다. 이 구조에서 데이터 품질 문제의 90%가 수집 단계에서 발생한다는 것을 통계로 확인했습니다.