AI 비전 검사 엣지 배포 지연 최적화 결
AI 비전 검사 솔루션 운영을 처음 경험한 것은 산업 자동화 스터디에서 불량 감지 모델을 엣지 디바이스에 배포하는 실습을 통해서였습니다. 클라우드 서버가 아닌 현장 장비에 직접 모델을 올리는 방식이라 추론 속도와 모델 크기가 제약 조건이 됐습니다. 양자화와 프루닝을 적용해 모델 크기를 줄이고 추론 속도를 높이는 실험을 했는데, 정확도 손실을 최소화하면서 속도를 개선하는 지점을 찾는 것이 핵심이었습니다.
ONNX로 모델을 변환해 다양한 런타임에서 동작하게 했고, TensorRT 최적화로 특정 하드웨어에서 추론 속도를 추가로 높이는 방법도 배웠습니다. 서버 환경과 엣지 환경의 차이는 업데이트와 모니터링 방식인데, 엣지 디바이스는 네트워크가 불안정한 경우가 있어 원격 배포와 상태 모니터링 구조가 중요하다는 것을 알게 됐습니다. AI 비전 검사는 정확도보다 현장 제약 조건에서 동작하는 것이 먼저라는 결을 배웠습니다.