於 3 年前推出的 NVIDIA A100 是當前 AI 產業的性能基準指標，其它品牌的 AI 加速產品皆將 NVIDIA A100 視為比較目標，然而至今為止， NVIDIA A100 仍在作為 AI 業界公認標準的 MLPerf 測試項的訓練與推論有著不可動搖的表現；然而現在 AI 產業又要頭痛了，因為 NVIDIA 公布新一代產品 NVIDIA H100 與 NVIDIA L4 在 MLPerf 的表現，將推論性能提升至全新的水準，樹立全新的性能高牆，同時即便是結合最新生成式 AI 趨勢的 MLPerf 3.0 ， NVIDIA AI 產品依舊具備壓倒性的領先。
▲相較去年 9 月初次亮相， NVIDIA H100 藉由軟體更新再度獲得飛躍性的效能提升
相較 3 年前 NVIDIA 公布 NVIDIA A100 時， AI 產業有著劇烈的變化，從主流的電腦視覺轉化到以語言為基礎的生成式 AI ，而 Hopper 架構也正是因應 AI 產業變化所策劃的產物，透過針對擁有 Transformer 引擎的 GPT 進行最佳化，在最新的 MLPerf 3.0 測試項目中， Hopper 架構帶來領先 Ampere 架構達 4 倍的效能，但同時又具備更出色的能源效率；同時 NVIDIA 的客戶正積極大規模導入 Hopper 架構，借助 NVIDIA NVLink 與 InfiniBand 串接龐大的 Hopper GPU ，建構如同單一大型 GPU 的結構，藉此用於訓練大型語言模型。
新一代的 NVIDIA H100 的表現自然需超越 3 年前的 NVIDIA A100 ，然而具體提升了多少才是重點；雖然 NVIDIA H100 已在 2022 年 9 月公布初步的 MLPerf 測試數據，不過透過軟體的持續更新，此次公布的 DGX H100 系統的 MLPerf 的推論效能大舉提升 54% ，同時在一了保健領域的 MLPerf 3D-Unet 的醫學圖像分割亦有 31% 的效能增長。
藉由具備 Transformer 與最佳化， H100 GPU 的 BERT 大型語言模型( LLM )訓練有著出色的表現，而基於 Transformer 的大型語言模型 BERT 是當前作為生成式 AI 的重要基礎；透過 LLM 理解文字與語言，使得生成式 AI 能快速建立文本、圖像、 3D 模型，借助自新創企業與雲服務進行創新，當前最熱門的 ChatGPT 亦同樣使用 Transformer 模型為基礎。
▲鎖定基礎設施的 L4 GPU 相較上一代的 T4 GPU 具備 3 倍的效能
在 GTC 2023 所公布的 L4 GPU 也首次公布 MLPerf 的測試成績，展現相較 T4 GPU 高達 3 倍的效能，且借助 GPU 加速運算， NVIDIA L4 GPU 能執行所有的 MLPerf 工作負載，同時借助支援關鍵的 FP8 格式，能省卻 INT8 轉換 FP8 的過程，大幅提升 BERT 模型的執行表現。此外 NVIDIA L4 GPU 不僅是出色的推論加速器，也是一款強大的圖像產品，相較 T4 具備 10 倍以上的圖像解碼、以及 3.2 倍以上的影片處理速度，還有 4 倍以上的圖形與即時渲染效能。
另外，資料中心的網路架構也是相當重要的， NVIDIA 亦藉由收購 Mellanox 取得資料中心關鍵的網路架構技術，同時目前企業使用者也常透過雲端執行 AI 並將資料儲存到企業防火牆後的模式， MLPerf 的測試項也模擬此情境提供網路劃分基準測試；藉由 NVIDIA Quantum Infiniband 網路、 NVIDIA ConnectX SmartNIC 與 NVIDIA GPUDirect 軟體，在此測試的 BERT 項目中，遠端 NVIDIA DGX A100 實現原生系統 96% 的效能，主要的效能是由於等待 GPU 工作而產生，在僅由 GPU 處理的 ResNet-50 電腦視覺測試則達到 100% 最佳效果。
▲ Jetson AGX Orin 相較一年前再度提升 63% 能效與 81% 性能
作為針對供電有限環境的 Jetson AGX Orin ，藉由歷經一年的軟體持續最佳化，今年的 MLPerf 成績也再度提升，在能效提升 63% 、性能提升 81% ，顯見可在低功耗、甚至由電池驅動的系統進行人工智慧推論；而初次亮相的 Jetson Orin NX 16G 小型低公耗模組，在效能的表現相較前一代 Jetson Xavier NX 高出 3.2 倍。
雖然多家 AI 硬體競爭對手逐步在數據上試圖扳倒 NVIDIA ，然而 NVIDIA 不僅只是具備跑分亮眼的硬體，同時還有持續精進的軟體與龐大的生態系支持，對於各項 AI 應用的相容性、在產品生命週期由軟體持續帶來的效能提升，以及各家雲服務商的持續採用，是使 NVIDIA 當前能持續其 AI 領域霸業的關鍵。
