雖然傳統LPDDR記憶體多採用直接焊接在系統PCB的方式,然而隨著包括可維護性、可升級性等需求,LPDDR在市場也產生模組化的需求,是故如筆電領域已有像是LPCAMM2等已被JEDEC標準化的新式記憶體模組;不過畢竟消費市場與伺服器、工作站的需求不同,美光宣布與NVIDIA共同合作,開發基於LPDDR5X記憶體的資料中心級記憶體模組SOCAMM,相對傳統DDR5記憶體模組尺寸更小、頻寬更高且能源效率更出色,當前SOCAMM已經導入NVIDIA最新一代的GB300 Grace Blackwell Ultra Superchip解決方案。
為AI資料中心規劃的小型、高性能、高可靠記憶體模組SOCAMM
▲SOCAMM是為資料中心所規劃的記憶體模組,以低功耗的LPDDR5X提供高能源效率、可靠且模組化的設計
SOCAMM是以資料中心需求開發的記憶體模組,旨在為資料中心導入能源效率更高的LPDDR5X記憶體的同時,也能提供不占空間與可維護性、可擴充性等特質,同時也是目前速度最快、體積最小、功耗最低、容量最高的模組化記憶體解決方案,在僅14x90mm的傳統RDIMM的1/3尺寸,可提供最高128GB的記憶體容量,同時相對RDIMM頻寬高出2.5倍,同時僅有標準DDR5的1/3能耗。
SOCAMM使用美光16層4通道315b LPDDR5X堆疊記憶體,並具備6,400Mbps的傳輸性能,同時因應資料中心需求增強模組的可靠性,支援強化錯誤修正,能夠為AI模型訓練速度提供加速,此外其設計型態也有助採用液冷伺服器設計。根據美光的說法,SOCAMM是與NVIDIA共同合作的設計,現階段為專屬設計,但也積極爭取標準化的可能性,不過由於SOCAMM是專為伺服器所設計,目前沒有使用在資料中心以外的規劃,消費市場仍將著重做LPCAMM2模組的發展。
更高密度、更省電的HBM3E 12H 36GB
▲美光HBM3E 36GB不僅提高記憶體密度,相較競品24GB產品還減少20%的能耗
此外,美光也再次領先成為NVIDIA Blackwell Ultra的HBM記憶體供應商,全新的HBM3E 12H 36GB在與HBM3E 8H 24GB相同的立方體外型提供高出50%的容量,同時相對競爭對手的HBM3E 8H 24GB記憶體模組,還有20%的能耗降低;美光同時宣布將持續在下一代的HBM4記憶體創新,預期HBM4解決方案將較現行HBM3E提升超過50%效能。