온디바이스 머신러닝(ML) 기술이 SoC 아키텍처에 미치는 영향에 대해 설명해 주세요.

학부 SoC 설계 수업에서 ML 가속기 아키텍처를 분석하는 과제를 했습니다. NPU 설계에서 TOPS 수치보다 메모리 대역폭이 성능을 먼저 제한하는 경우가 있다는 걸 그때 발견했습니다. 연산량(TOPS)이 높아도 가중치를 메모리에서 읽는 속도가 느리면 연산 유닛이 대기하게 됩니다. 두 NPU 아키텍처를 비교해보니 한 쪽은 온칩 SRAM을 크게 두어 이 문제를 완화했습니다.

메모리 대역폭 제약을 해소하는 방식이 아키텍처 차이를 만든다는 걸 이 분석에서 배웠습니다. NPU 성능은 연산 속도와 메모리 공급 속도 중 느린 쪽이 결정합니다. 이 경험에서 온디바이스 ML은 연산 최적화만큼 메모리 접근 최적화가 같이 설계돼야 한다는 걸 알았습니다.