속도·가속도 한계 기준으로 물리적 이상값을 걸러내고 실제 경로와 비교해 오차 지표를 계산한 방식
공간정보 관련 프로젝트에서 수백만 건의 GPS 로그 데이터를 분석하는 업무를 맡았습니다. 데이터 양이 많아 전처리 단계에서 어떤 기준으로 이상값을 걸러낼지 결정하는 것이 먼저였습니다.
속도와 가속도 한계 기준을 설정해 물리적으로 불가능한 이동 기록을 걸러내고, 시간 순서가 역전된 레코드도 별도로 처리했습니다. 이후 실제 경로 데이터와 비교해 평균 편차와 최대 오차를 계산했습니다. 데이터 규모가 크다 보니 처리 속도가 중요했고, 파이썬 배치 처리 방식을 써서 시간을 줄였습니다. 다만 GPS 음영 구간에서 발생하는 오차는 알고리즘으로 보정하기 어려웠고, 데이터를 버리는 기준을 정할 때 판단이 필요했습니다. 이상값 처리 기준이 결과 품질에 직접 영향을 준다는 점을 이 경험에서 확인했습니다.