GPU Edge 운영이나 TensorRT INT8 교정 경험이 있다면 구체적으로 설명해 주세요.

CUDA와 TensorRT를 이용한 최적화는 학부 딥러닝 수업에서 처음 경험했습니다. 파이썬 추론 코드가 배치 처리로도 지연이 있었을 때 TensorRT로 모델을 최적화해보면서, INT8 양자화를 적용했을 때 정확도 손실이 거의 없으면서 추론 속도가 크게 개선됐습니다.

ONNX로 모델을 변환하면 프레임워크 종속성을 줄이고 다양한 추론 엔진에서 사용할 수 있다는 것을 배웠고, 변환 후 동등성 검증이 중요하다는 것도 경험했습니다. ROS 환경에서의 통합은 센서 데이터 스트림을 처리하는 노드와 추론 노드를 연결하는 방식으로 접근했습니다.

최적화 전 프로파일링으로 어느 연산이 병목인지 먼저 확인하는 것이 불필요한 최적화 시간을 줄이는 데 중요했습니다. 엣지 환경에서의 추론 최적화가 단순 속도 개선이 아닌 전체 파이프라인 설계의 문제임을 배웠습니다.