데이터 품질 문제를 발견하고 도구로 개선한 결과를 수치로 푸는 결
인턴 때 로그 데이터의 결측값이 분석 결과를 왜곡하고 있다는 걸 발견한 적이 있습니다. 당시 팀에서는 문제를 알고 있었지만 규모가 커서 손을 대지 못하고 있었습니다. 저는 먼저 어떤 필드에서 결측이 자주 나는지 빈도 분석을 돌렸고, 수집 시점의 타임아웃이 반복 원인임을 확인했습니다.
pandas로 결측 패턴을 시각화한 뒤 팀 리뷰에서 공유했고, 타임아웃 임계값을 조정하는 방향으로 수집 스크립트를 수정했습니다. 수정 후 해당 필드의 결측률이 18%에서 3% 아래로 떨어졌고, 이후 집계 리포트의 불일치 문의도 눈에 띄게 줄었습니다. 혼자 처음부터 끝까지 한 건 아니었고, 원인 분석과 개선안 제안 부분에서 주도적으로 움직였습니다. 그 경험 이후로 데이터 품질 점검은 분석 전에 먼저 하는 습관이 됐습니다.