NVIDIA 已經在 Computex 2023 期間公布首款混合 CPU 與 GPU 的 NVIDIA GH200 Grace Hopper Superchip 開始量產，並預計在 2023 年末推出；或許是受到 AMD 也將推出第一款資料中心級 APU 產品 Instinct MI300A 的影響，在 SIGGRAPH 2023 主題演講， NVIDIA 再宣布將推出採用 HBM3e 記憶體版本的 NVIDIA GH200 Grace Hopper Superchip ，不僅將 GPU 記憶體頻寬提高到 5TB/s ，同時相較先前公布的 GH200 配有 96GB 的 HBM3 記憶體， HBM3e 版的 GH200 則達到 141GB ，使整張 HBM3e 版 GH200 達到 611GB 總記憶體。另外 NVIDIA 也公布透過 NVLink 連接的雙 GH200 系統。
搭載 HBM3e 記憶體的 GH200 預計在 2024 年第二季推出
▲ HBM3e 記憶體帶來 1.5 倍的頻寬與 1.7 倍的容量，透過 NVLink 串接兩張 GH200 後比起原版高出 3.5 倍記憶體容量與 3 倍頻寬
藉由升級至 HBM3e 記憶體，相較原本 NVIDIA H100 搭配的 HBM3 記憶體提高了 1.7 倍的容量與 1.5 倍的傳輸頻寬，記憶體容量的增加，也有助於進行更大型的模型如大型語言模型或生成式 AI 的訓練與推論；另外全新的 NVLink dual-GH200 系統則是利用 NVLink 使兩張採用 MGX 介面的 GH200 SuperChip 連接，等同具備 144 核心 CPU 與 8PFLOPS 算力的 Hopper GPU ，總共 282GB 的 HBM3e 高速記憶體頻寬也因此提升至 10TB/s ，綜合記憶體容量則高達 1.2TB 以上，較原本單一 HBM3 記憶體的 GH200 伺服器提升 3.5 倍 GPU 記憶體容量與 3 倍 GPU 記憶體頻寬。
