A
약 90초
딥러닝 수업에서 TensorRT INT8 양자화로 추론 속도 개선, ONNX 변환 후 동등성 검증, ROS 센서 스트림과 추론 노드 연결, 프로파일링 먼저
CUDA와 TensorRT를 이용한 최적화는 학부 딥러닝 수업에서 처음 경험했습니다. 파이썬 추론 코드가 배치 처리로도 지연이 있었을 때 TensorRT로 모델을 최적화해보면서, INT8 양자화를 적용했을 때 정확도 손실이 거의 없으면서 추론 속도가 크게 개선됐습니다.
ONNX로 모델을 변환하면 프레임워크 종속성을 줄이고 다양한 추론 엔진에서 사용할 수 있다는 것을 배웠고, 변환 후 동등성 검증이 중요하다는 것도 경험했습니다. ROS 환경에서의 통합은 센서 데이터 스트림을 처리하는 노드와 추론 노드를 연결하는 방식으로 접근했습니다.
최적화 전 프로파일링으로 어느 연산이 병목인지 먼저 확인하는 것이 불필요한 최적화 시간을 줄이는 데 중요했습니다. 엣지 환경에서의 추론 최적화가 단순 속도 개선이 아닌 전체 파이프라인 설계의 문제임을 배웠습니다.
이 결의 특징
실패에서 배운 원칙을 명확히 정리한 흔적이 있습니다. 제약 조건 속에서 대안을 찾는 사고 과정이 드러납니다.
이 결이 통하는 자리
예상 밖 상황에서도 충실한 원칙을 지키는 개발자를 찾는 자리입니다. 경험을 문서화해 팀 전체의 학습으로 만드는 리더십을 보는 자리입니다.