以能源效率見長的 Arm 自 2018 年公布針對基礎設施的 Arm Neoverse ,在極短的時間已經獲得全球各大雲服務、 5G 、高效能運算與邊際運算所採納, Arm 今日也再度針對 Neoverse 公布全新的產品藍圖,其中包括獲得 NVIDIA 導入新一代資料中心與超算核心 NVIDIA Grace 、代號 Demeter 的 Neoverse ,並預告下一代的 Neoverse N 系列、 Neoverse E 系列的產品特色,並強調每年皆會公布新架構,加速業界創新的速度。
▲ Arm Neoverse 分為三大系列架構,滿足不同應用需求
Arm Neoverse 秉持 Arm 因應不同的應用需求提供合宜架構的初衷,當前分為三大產品線:針對單執行緒等 HPC 級傳統運算負載的 Neoverse V 系列,針對高能源效率與高傳輸量的 Neoverse N ,以及針對數據層處理的 DPU 、邊際運算與加速器的 Neoverse E 系列;借助因應不同加速基礎設施提供合宜的解決方案,能夠有效率降低工作負載、滿足現代多元的運算需求,迅速使 Neoverse 在業界獲得採用。
Arm Neoverse V2 不僅單執行緒提升也強化 AI 效能
▲ Neoverse V2 不僅提升基礎效能,也加大快取與強化對 AI 的支援
▲ Neoverse 不僅具備 512MB 系統快取,更藉 CMN mesh 實現 4TB/s 的記憶體頻寬
代號 Demeter 的 Neoverse V2 是 Neoverse 系列新一代高效能架構,採用新一代 V 系列內核與 Arm CMN-700 網狀互聯架構,單核心的 L2 快取自上一代的 1MB 提升到 2MB ,同時因應當前 AI 運算需求,在架構中導入 SVE2 指令集 4x128b 的引擎,支援 BF16 ,與具備 Int8 向量乘法器;同時借助 CMN-700 ,使記憶體快取提升 4 倍、達到 512MB 與 4TB/s 的頻寬;另外針對新一代通道,可支援 DDR5 與 PCIe 5.0 等通道的支援,同時還可支援 Multi-DIE 使單晶片核心數量得以擴充,並加入 Armv9 架構的新一代安全性功能,屆時 NVIDIA 的 Grace CPU SuperChip 與 Grace Hopper Superchip 也將活用這些特性;同時, Arm 也強調 Neoverse V2 也為小晶片架構做好準備, CMN-700 可支援 2.5D 設計,並著手準備支援 3D 設計。
Arm Neoverse N 與 Neoverse E 系列將持續更新因應基礎設施創新
▲ 2023 年 Neoverse 三大架構也將進一步升級
Arm 也預計在 2023 年推出 Arm Neoverse N 與 Neoverse E 系列的下一代產品,其中新一代 Neoverse N 將持續提升效能與能源效率,包括增加解決方案的可配置性,將有顯著超越現行 Neoverse N2 的表現;新一代的 Neoverse E 則將持續針對 5G RAN 、邊際運算與加速器控制平面的數據層處理器(包括 DPU )強化,將 Cortex-A510 CPU 、 CMN-700 與 N2 系統底板結合,使條件相對受限的應用項目使用如可擴充核心數範圍、 SystemReady 相容性與 PCIe 、 CXL 、 IO 與介面等最佳化雲端技術。
Arm Neoverse 發展至今的回顧
回顧當前 Arm Neoverse 在產業的發展,超算領域方面已獲得肯定。由合作夥伴富士通所開發的 Fujitsu A64FX 可說是 Neoverse 的基石,除了成為第一個總記憶體頻寬超過 1TB/s 的 CPU ,採用 A64FX 的超算系統富岳也多次成為 TOP 500 效能榜首; Ampere Altra Max 則是全球首個單一晶片具備高達 128 CPU 核心的單晶片 CPU ; AWS Gravition3 則是率先導入 PCIe 5.0 與 DDR5 的 CPU , Alibeba Yitian 710 則是首款在 SPEC CPU 2017 突破 500 分的 CPU ;而 NXP Layerscape 則使用 8 核心搭配 8TB 快取,達到 100 Gb/s 的網路頻寬、安全加密與 PCI 擴充;至於即將在 2023 年問世的 NVIDIA 的 Grace 則進一步藉由 Arm Neoverse V2 建構達 144 核與每秒 1TB 記憶體頻寬,輔以節能的 LPDDR5 進軍 AI HPC 應用,同時 Ampere 下一代高核心 CPU 與 AWS Gravition 也蓄勢待發。
借助 Arm 架構低功耗與高傳輸量特性, Arm Neoverse 架構也在 5G RAN 、無線基礎設施具備領先的效能,同時由 Arm 的合作夥伴針對小型蜂巢式基地台、大型蜂巢式基地台與專屬網路等應用領域與使用情境進行產品客製化;同時 Arm 與 Dish Wireless 、 Google Cloud 、 Marvell 、 NXP 、 Vodafone 等夥伴,借助 Arm 5G 解決方案實驗室加速 Arm 架構端對端的 5G 網路發展;同時,包括基於 Ampere Altra 的 HPE Proliant第 11 代平台、 VMware 的 Project Monterey 、 RedHat 的 OpenShift 支援 Arm 架構、 SAP HANA 平台的雲基礎設施轉向 Arm 架構的 AWS Gravition 等計畫, Arm Neoverse 已逐步跨入傳統企業應用。
▲ Neoverse 系列架構是滿足自邊際運算、 5G RAN 、雲端到超算的產品系列,借助逐年更新加速產業創新
然而光有出色的硬體只是基礎,逐步完善的生態鏈更是使 Arm Neoverse 能夠打破過往由 x86 架構獨佔情況的關鍵, Arm 借助與雲端合作夥伴針對雲原生軟體基礎設施、框架與工作負載支援與最佳化,如廣泛被採用的 kubernetes 、 Istio 以及多項持續整合/持續交付( CI/CD )工具貢獻,使 Arm 架構得以原生支援這些產業應用需求;同時由 Arm 與開源社群做出的開發人員合作,由 Arm 長期投入與主導完整解決方案的最佳化,使包括 TensorFlow 一類的機器學習框架、與如開源資料庫、大數據、分析作業與影音處理的雲軟體工作負載。
Arm Neoverse 雖在資料中心與超算屬生面孔,但借助 Arm 架構自行動運算領域逐步擴展的架構與效能,同時結合業界領導者與開放社群合作等方式,使得 Arm 架構累積自系統到應用程式、框架等資源,奠定 Arm 良好的基礎;並藉由 Neoverse 計畫,使 Arm 因應不同的應用類型提供自單執行緒高性能或著重資料吞吐等合宜的架構,再由合作夥伴進行差異化設計,位不同規模與應用開發出差異化的 CPU SoC ,並透過逐年更新的架構設計加速創新。