공정 데이터 프로젝트에서 데이터 정제를 맡아 문제를 푼 경험을 1인칭으로 설명한다.
제가 학부 산학 프로그램에서 제조 공정 데이터를 다루는 프로젝트에 참여한 경험이 있습니다. 제 역할은 화려하지 않았습니다. 분석에 앞서 데이터를 정제하는 일이었습니다.
작아 보였지만, 거기서 저는 큰 문제를 만났습니다. 공정 장비마다 데이터를 기록하는 주기와 형식이 달랐고, 중간중간 빠진 값이 많았습니다. 처음에 저는 빈 값을 덮어놓고 평균으로 채웠다가, 분석 결과가 왜곡된 실패를 했습니다.
그 뒤로 저는 빠진 값이 왜 생겼는지부터 따졌습니다. 장비 점검 시간에 생긴 결측과, 센서 오류로 생긴 결측은 다르게 다뤄야 했습니다. 이렇게 데이터의 신뢰성을 먼저 확보하자, 뒤따른 분석도 단단해졌습니다. 제 역할은 작았지만, 정제가 어긋나면 그 위 모든 분석이 흔들린다는 걸 그 프로젝트에서 배웠습니다.