분산 GPU 구현 경험이 있다면, 어떤 ML 알고리즘을 사용했는지 설명해 줄 수 있나요?

단일 GPU에서 잘 돌아가는 학습 코드를 처음으로 멀티 GPU 분산 학습으로 전환하는 작업을 맡게 됐어요. 분산 학습 라이브러리를 추가하면 되는 줄 알았는데, 배치 크기 스케일링, 학습률 조정, 그래디언트 동기화 방식이 전부 다시 고려돼야 했습니다.

분산 학습은 단순히 GPU 수를 늘리는 것이 아니라 배치 크기와 학습률의 관계, 그래디언트 집계 방식, 통신 병목을 새로 설계해야 하는 독립적인 엔지니어링 문제라는 걸 그 경험에서 배웠어요. GPU 수가 2배라고 학습 속도가 2배가 되지 않는 이유를 이해했을 때 분산 학습이 어떤 문제를 푸는 기술인지 처음 제대로 알았습니다.

지금은 분산 학습 전환 전에 통신 오버헤드 프로파일링을 먼저 하고, 병목이 컴퓨팅인지 통신인지를 확인하는 단계를 씁니다. GPU를 늘리기 전에 지금의 병목이 무엇인지를 아는 것이 먼저라는 원칙이 그 경험에서 나왔습니다.