대규모 트레이닝/서빙 환경에서 성능과 비용을 최적화한 사례가 있다면 공유해 주세요.

배치 처리를 최적화하면서 성능과 비용이 항상 같은 방향을 가리키지 않는 자리를 경험했습니다. 벡터화 연산으로 처리 속도를 높였는데, 메모리 사용량이 늘어나면서 비용이 더 드는 자리가 생겼습니다. 대용량 배열을 한꺼번에 메모리에 올리는 방식이 CPU는 효율적이었지만 메모리 비용이 예상보다 높아지는 자리였습니다. 청크 단위로 나눠서 처리하는 방식으로 바꾸니 처리 시간은 약간 늘었지만 메모리 사용량이 절반 이하로 줄어드는 자리가 생겼고, 클라우드 환경에서 전체 비용은 낮아졌습니다.

성능과 비용의 트레이드오프를 함께 검토하는 자리가 배치 설계의 실제 자리임을 알게 됐고, 최적화 방향을 선택할 때 성능 지표와 비용 지표를 함께 보는 결이 그때 생겼습니다. 그 결이 이후 배치 설계에서 성능·비용 트레이드오프 분석을 먼저 두는 자리로 이어졌습니다.