예시 답변 1
약 80초
통신 오버헤드 최소화·수렴 안정성·실험 경험 기반 중심으로 푸는 결
대규모 분산 학습에서 가장 중요하게 고려하는 건 통신 오버헤드와 수렴 안정성입니다. 여러 GPU에 나눠 학습할 때, 그래디언트를 모으고 배포하는 과정에서 생기는 통신 비용이 학습 속도의 병목이 되는 경우가 자주 생깁니다. 학부 졸업논문에서 분산 학습 실험을 했을 때, AllReduce 방식이 ParameterServer 방식보다 노드 수가 늘어도 오버헤드가 완만하게 증가한다는 걸 확인했습니다. 학습 알고리즘 측면에서는 배치 크기가 커질 때 linear scaling rule을 적용하지 않으면 학습이 불안정해지는 것도 경험했습니다. 효율을 높이기 위해 mixed precision 학습이나 그래디언트 압축 같은 기법을 병행하는 것도 실용적이라고 봅니다.
이 결의 특징
AllReduce 방식이 ParameterServer보다 노드가 늘어도 오버헤드가 완만하다는 실험 확인이 흔적으로 남습니다. linear scaling rule 미적용 시 불안정해진다는 관찰이 결을 완성합니다.
이 결이 통하는 자리
통신 오버헤드와 수렴 안정성이라는 두 축이 실험 근거와 함께 제시될 때 통합니다. mixed precision·그래디언트 압축 같은 구체 기법이 이어지는 자리에서 면접관이 실전 감각을 읽는 결이 보입니다.