NVIDIA 近期積極布局整合 AI 技術的邊際運算技術,在今年 Computex 與甫在上個月結束的 MWC LA 分別宣布 NVIDIA EGX 概念與平台,現在又在 GTC D.C. 除了介紹 AI 平台的測試基準 MLPERF INFERENCE 0.5 ,也一併宣布強調低功耗、高 AI 性能的邊際運算單板電腦 Jetson Xavier NX ,標榜有著媲美 Jetson AGX Xavier 的 AI 性能,但功耗大舉減少到 15W ,並與 Jetson Nano 同為名片尺寸; Jetson Xavier NX 將以 399 美金的價格問世。
▲ MLPERF INFERENCE 0.5 是由多家領導廠商針對當前 AI 硬體性能評估的測試基準
▲ NVIDIA 的圖靈 GPU 仍是當前領先性的 AI 運算平台
▲ Xavier 平台不僅性能強大,亦對廣泛的 AI 運算有極佳的相容性
MLPERF INFERENCE 0.5 是由多家業界領導廠商所共同建立的測試基準,將當前用於測試 AI 性能的演算法整合出一套測試基準,並針對基礎設施、行動/嵌入式平台提供測試項,藉此做為評估 AI 性能的指標,雖然 AI 技術仍有多元的發展方向,不過此套演算技術則由多家 AI 業界相關的軟、硬體廠商共同打造,是具公信力的 AI 測試標準。
▲ Jetson Xavier NX 的性能並不遜於 Jetson AGX Xavier
Jetson Xavier NX 主板僅有 70x45mm 大小,採用 NVIDIA Xavier AI 晶片,具備 384 個 CUDA 核心與 48 個 Tensor Core 與兩個 NVDLA 推論加速器,相容所有 CUDA-X AI 模型,雖然小巧而省電,不過在 AI 測試項目則依舊發揮 6TFLOPS FP16 與 21TOPS INT8 的性能。
▲ Jetson Xavier 為 6 核心、 384 個 CUDA Core 的 Volta 平台
▲有 10W 與 15W 兩種 TDP 設定
▲ Jetson Xavier NX 是針對小巧但需要高度 AI 運算的設備所規劃
基本上, Jetson Xavier NX 可說是 Jetson AGX Xavier 的低功耗版本,採用基於 Armv8 指令集的 6 核心 Carmel 自製 CPU 架構搭配 Volta 世代的 384 核 GPU 與兩個 NVDLA 加速器,編碼與解碼也個別縮減為各兩路 4K @ 60 H.265 ,也因為低功耗化,模組得以更為低溫與小巧,鎖定的市場包括無人機、高解析度影像感測器、影像分析與嵌入式裝置等需要密集 AI 運算的影像與分析相關硬體。
此外針對不同的運算性能需求, Jetson Xavier NX 也提供 10W TDP 與 15W TDP 兩種設定,差異在於 CPU 、 GPU 時脈以及記憶體頻寬,可依照裝置功耗與散熱層級選擇合宜的版本。