HBM(High Bandwidth Memory)이 일반 DRAM 대비 가지는 구조적 특징과 AI 가속기에서 중요한 이유를 설명해주세요.

고대역폭 메모리가 일반 디램과 다른 핵심은 칩을 옆으로 펴는 대신 위로 여러 층 쌓고, 그 사이를 아주 많은 통로로 한꺼번에 잇는다는 점이라고 이해하고 있습니다. 일반 디램은 데이터가 드나드는 길의 폭이 상대적으로 좁은데, 쌓아서 통로를 크게 늘리면 한 번에 옮기는 데이터 양이 훨씬 많아집니다. 그게 높은 대역폭의 이유입니다. 인공지능 가속기에서 이게 중요한 건, 그 연산이 적은 계산을 어렵게 하는 게 아니라, 엄청난 양의 데이터를 빠르게 들이고 내보내야 하는 일이기 때문입니다. 연산 장치가 아무리 빨라도 데이터가 제때 못 들어오면 놀게 되는데, 넓은 통로가 그 병목을 줄여 줍니다. 다만 그 대가도 있습니다.

쌓는 구조라 만들기가 어렵고 비싸며, 열이 안에 갇혀 발열 관리가 까다롭습니다. 즉 대역폭을 얻은 대신 공정 난도와 비용을 떠안은 구조입니다. 특징만 외우기보다, 왜 넓고 그게 왜 가속기에 맞는지가 핵심입니다. 핵심은, 결과가 아니라 쌓아 넓게 잇는 구조의 이점과 가속기 연결, 대가를 함께 짚는다는 점입니다.