ML 모델의 성능 최적화를 위한 튜닝 경험에 대해 구체적으로 설명해 주세요.

ML 모델을 양산에 올릴 때 Latency 문제는 Concept Drift와 다르게 배포 시점부터 바로 나타납니다. 추론 시간이 SLA를 넘으면 실시간 처리가 필요한 시스템에서는 모델 자체를 쓸 수 없게 됩니다. 대응 방향은 크게 두 가지입니다. 모델 구조를 경량화하는 것(양자화, pruning)과 서빙 인프라를 최적화하는 것입니다. 수업에서 같은 모델을 배치 크기와 하드웨어 조건을 바꿔가며 추론 속도를 측정하는 실험을 했는데, 배치 크기 하나가 처리량(throughput)과 지연(latency) 사이의 trade-off를 결정한다는 것을 수치로 확인했습니다. 신뢰성은 모델이 예측 불가능한 입력에서 안전하게 실패하는 구조를 갖추는 것이 핵심입니다.

모델이 틀리는 것보다 틀리는 방식을 예측할 수 없는 것이 더 큰 문제입니다.