Pandas로 데이터 검증한 경험
약 85초
수집된 데이터의 품질을 검증한 과정
졸업 프로젝트에서 설문 데이터 500건을 분석하는 작업을 맡았습니다. 처음에는 엑셀로 처리하려다가 행이 500개가 넘어가면서 필터 실수가 발생하여 파이썬으로 옮겼습니다. Pandas를 처음 써봤는데 결측값이 0인지 빈 문자열인지 NaN인지 구분이 되지 않았습니다. df.isna(), df.isnull()의 차이도 모르고 사용하다가 다른 결과가 나왔습니다. 공식 문서를 읽고 나서야 통일된 방식으로 결측값을 처리할 수 있었습니다.
데이터를 신뢰하기 전에 형식과 타입부터 검사해야 한다는 것을 배웠습니다. 이 경험으로 데이터 파이프라인 첫 단계에 항상 검증 코드를 넣는 습관이 생겼습니다. 그 과정이 값진 배움이었습니다.
이 결의 특징
구체적인 수치와 상황에 대한 다층적인 설명이 함께 나타나는 흔적이 있습니다.
이 결이 통하는 자리
실제 소요 시간이나 진행 단계가 구체적으로 나올 때 현실감 있는 이야기로 통하는 자리로 통합니다.