출처 파악 결 → 수집 방법 결 → 정제 결 → 검증 결
다양한 출처에서 데이터를 수집·정리할 때 저는 먼저 각 출처의 특성과 신뢰도를 파악합니다. 같은 항목이라도 출처마다 형식과 갱신 주기가 달라서, 무작정 합치면 나중에 품질 문제가 생깁니다. 출처 파악 자리에서는 API 제공 여부, 정기 갱신 여부, 라이선스 조건을 먼저 확인합니다. 수집 방법 자리에서는 API가 있으면 SDK나 REST 호출을 쓰고, 없으면 HTML 파싱이나 파일 다운로드 방식을 씁니다. 각 방법마다 수집 실패 처리와 재시도 로직을 꼭 고려합니다. 정제 자리에서는 중복·결측·형식 불일치가 가장 자주 나타나는 문제입니다. 출처마다 날짜 형식이나 카테고리 이름이 달라서, 통합 전에 기준 스키마를 먼저 정의하는 것이 중요합니다. 검증 자리에서는 수집 후 행 수·범위·기대 분포를 원본 기준과 비교해서 데이터 손실이나 왜곡이 없는지 확인합니다.