GPU 운영 효율화를 위해 어떤 자동화 도구나 방법을 활용해 본 경험이 있는지 구체적으로 이야기해 주세요.

GPU 효율화를 위해 DataLoader의 num_workers를 무작정 높게 설정했다가 오히려 I/O 병목이 심해진 경험이 있습니다. CPU 코어 수를 초과하는 값으로 설정하면서 컨텍스트 스위칭이 늘어나고 공유 메모리 경합이 발생했고, GPU 대기 시간이 줄기는커녕 늘었습니다. 원인을 파악하기 위해 torch.utils.bottleneck을 돌려 DataLoader가 병목 구간이라는 것을 확인했고, 값을 CPU 코어의 절반 수준으로 낮췄습니다. prefetch_factor를 함께 조정하자 데이터 로딩이 GPU 연산과 겹치면서 처리 시간이 줄었습니다.

설정값을 높이는 것이 항상 성능 향상을 의미하지 않는다는 것, 병목 측정 없이 튜닝하면 역효과가 난다는 것을 그때 배웠습니다. 이 경험이 이후 GPU 환경 튜닝 시 프로파일링을 먼저 하는 기준이 됩니다. GPU 효율화는 설정 조정보다 병목 구간 정확히 찾는 것이 먼저라는 원칙을 지킵니다.