최적화 목표 결 → 기준 선택 결 → 방법 결 → 검증 결
모델 최적화에서 알고리즘을 수정하고 조정하는 기준은 어떤 제약 조건 아래서 어떤 성능을 원하는지를 먼저 명확히 하는 것에서 출발합니다. 최적화 목표 자리에서는 정확도를 최대로 올리는 것이 목표인지, 속도와 메모리를 제한하면서 정확도를 유지하는 것이 목표인지에 따라 선택하는 방법이 완전히 달라집니다. 기준 선택 자리에서는 성능 지표로 정확도만 보면 부족한 경우가 많습니다.
추론 시간·메모리 사용량·모델 크기를 함께 추적해야 실제 배포 환경에서 쓸 수 있는지를 판단할 수 있습니다. 방법 자리에서는 하이퍼파라미터 조정부터 시작해서, 필요하면 지식 증류·가지치기까지 순서대로 시도합니다. 변경 폭이 작은 것부터 시도하는 게 원인 분리에 유리합니다. 검증 자리에서는 조정 전후를 동일한 조건에서 비교해야 개선 효과가 알고리즘 변경 때문인지 다른 자리 때문인지를 구분할 수 있습니다.