美光日前宣布其8層堆疊HBM3E記憶體已量產，並將在2024年第二季搭配NVIDIA H200 GPU出貨；在GTC 2024活動，美光展示一系列記憶體與儲存解決方案，挹注自雲端至邊際的AI應用。同時競爭對手三星、Hynix也同樣在會場展示HBM3E記憶體。
▲美光預計在2024年再推出12層36GB HMB3E記憶體
美光展示的解決方案包括：1、8層堆疊24GB HBM3E解決方案與後續12層36GB HBM3E解決方案。2、使用單片晶粒具低延遲與低功耗優勢的DDR5 RDIMM記憶體。3、支援NVIDIA Grace CPU的LPDDR5X記憶體解決方案與LPCAMM2模組。4、可在3D Medical Imaging標準Unet3D支援17顆GPU的美光6000系列SSD，同時美光6000系列SSD相較競品可提升48%AI資料湖載入速度。5、以實驗室測試結果展現美光技術改善如大型語言模型LLM、電腦繪圖、圖像神經網路GNN等AI訓練與推論過程。6、可提供AI與記憶體工作負載所需的容量、頻寬、彈性的CXL記憶體模組，並攜手MemVerge與美超微展示CXL模組如何提高GPU使用率。
