GPU 성능 최적화 및 워크로드 분석을 수행할 때 어떤 접근 방식을 사용하셨나요?

GPU 성능 최적화 작업에서 직접 커널 코드를 짜면서 배운 것은 처음 작성한 코드와 최적화된 코드가 크게 다르다는 것이었습니다. 처음에는 기능이 맞게 작동하도록 짰는데, 프로파일러로 측정하니 메모리 접근 패턴이 비효율적이라는 것을 알게 됐습니다. 인접한 스레드가 메모리의 인접한 위치를 접근해야 캐시가 효율적으로 동작하는데, 처음 짠 코드에서는 스레드 인덱스와 메모리 접근 패턴이 맞지 않아 지연이 컸습니다. 접근 패턴을 맞추도록 데이터 배치를 바꾸니 속도가 개선됐는데, 이 최적화를 이해하고 적용하는 데 직접 작성하고 측정해본 경험이 가장 도움이 됐습니다. 최적화 효과가 예상보다 크지 않은 경우도 있었는데, 프로파일러로 확인하니 그 구간이 전체 실행 시간에서 차지하는 비중이 작아서였습니다. GPU 성능 최적화는 병목이 어디 있는지 먼저 측정하지 않으면 효과 없는 곳에 시간을 쓰게 된다는 것을 이 경험에서 배웠습니다.