입력값 범위 확인
약 90초
데이터 수집 후 기대 범위를 벗어난 값을 찾아낸 경험
졸업 프로젝트에서 공공 데이터를 수집해서 분석하는 파이프라인을 만들었습니다. 수집 후 바로 분석에 들어갔다가 결과가 이상하게 나와서 원인을 찾아보니, 특정 날짜에 값이 음수로 들어와 있었습니다. 그때부터 수집 후 최솟값·최댓값·null 개수를 먼저 확인하는 단계를 파이프라인에 추가했습니다. 이 확인 단계를 넣은 이후엔 분석에서 이상한 결과가 나오면 원인을 훨씬 빠르게 찾을 수 있었습니다. 데이터 오류 처리는 범위 이탈 값을 자동으로 버리는 방식과 경고 로그만 남기는 방식 중 고민했는데, 중요한 데이터는 버리지 말고 로그로 남겨두는 게 더 안전하다는 걸 배웠습니다. 무결성 검증이 중요한 이유는 이후 분석이나 서비스가 잘못된 데이터 위에 올라가면 결과 전체를 신뢰할 수 없기 때문입니다.
데이터 품질은 분석 시작 전에 확인하는 게 훨씬 저비용입니다. 경험을 통해 배웠습니다. 앞으로도 이 방향으로 성장하겠습니다.