產業消息 nvidia 美光 記憶體 推論加速器 生成式AI LLM HBM3e H200 美光8層堆疊24GB HBM3e記憶體正式量產，NVIDIA H200 Tensor Core GPU率先採用 美光Micron宣布兼具高效能、大容量且更節能的HBM3e記憶體已正式量產，同時NVIDIA H200 Tensor Core GPU為首款宣布採用美光8層堆疊的24GB HBM3e解決方案的產品，並於2024年第二季出貨。同時美光預計於2024年3月還將推出12層堆疊36GB HBM3e記憶體樣品，並成為NVIDIA GTC大會贊助夥伴，屆時將分享更多美光AI記憶體產品組合與藍圖。 ▲於2023年11月公布的NVIDIA H200 Tensor Core GPU將是美光HBM3e的先行導入產品 HBM記憶體是當前高效能運算、AI應用、資料中心等不可或缺的記憶體技術，美光新一代HBM3e記憶體 Chevelle.fu 1 年前
產業消息 nvidia amazon AI aws Grace Hopper SuperChip 大型語言模型 生成式AI LLM GH200 H200 亞馬遜AWS率先導入NVIDIA Grace Hopper Superchip與Ultra Cluster可擴展雲端超級電腦，為生成式AI提供強大的雲運算基礎架構、軟體與服務 Amazon Web Service/AWS於自家年度活動AWS re:Invent大會宣布攜手NVIDIA導入多項NVIDIA的創新硬體、技術與服務，率先成為首家導入NVIDIA Grace Hopper Superchip與Ultra Cluster可擴展雲端超級電腦的雲服務商，為機器學習與當前火熱的生成式AI提供自硬體、軟體到軟體的全方位解決方案。 AWS宣布將是第一家提供NVIDIA Grace Hopper Superchip的雲端服務商，以達32個節點構成單一個NVIDIA GH200 NVL32執行個體，將高達32個Grace Hopper Superchip成為一個具備20TB Chevelle.fu 1 年前
產業消息 nvidia NVIDIA Hopper HBM3e H200 NVIDIA公佈NVIDIA H200 Tensor Core GPU，搭載頻寬快2.4倍、容量翻倍的HBM3e記憶體 NVIDIA在SC24大會宣布NVIDIA H100的強化版本NVIDIA H200 Tensor Core GPU，核心架構仍基於Hopper，主要在於提升記憶體的頻寬與容量，採用具備4.8TB/s頻寬、141GB的HBM3e記憶體，藉此提升整體算力；NVIDIA H200設計與NVIDIA H100具相容性，系統業者可沿用NVIDIA H100系統設計置換NVIDIA H200。 伺服器製造商與雲端服務業者預計於2024年第二季推出NVIDIA H200的系統與服務 ▲H200的晶片仍為H100，主要差異在於採用更大容量、更高頻寬的HBM3e記憶體 NVIDIA H200是首款配置HBM3 Chevelle.fu 1 年前
