雖然 NVIDIA 在 GTC 大會公布全新一代加速器 NVIDIA H100 ，性能聲稱比起目前 NVIDIA A100 有飛躍性的提升，但這不代表 NVIDIA 推出新硬體後就不再服務舊世代架構的用戶， NVIDIA 今日公布全新的 MLPerf v2.0 推論性能結果，借助在軟體不斷的革新，相較去年公布的結果，使 NVIDIA A100 的效能提升達 50% ；此外也隨著新一代嵌入式超算平台 Jetson AGX Orin 的問世， Jetson AGX Orin 借助全新硬體架構奪下邊際運算系統的效能王者頭銜。
▲借助軟體持續精進， NVIDIA A100 相較去年表現最高提升達 50%
MLPerf 是當前 AI 產業龍頭共同提倡的公正 AI 效能評測基準，借助多項業界主流的 AI 工作負載與情境作為性能評估基準，藉此得到能夠量化的效能解果，除了 AI 超算系統評測外，亦針對邊際運算系統進行測試，而 NVIDIA 與合作夥伴的系統也屢屢在此系列評測結果拿下優異的成績，其中最驚人的莫過於 2020 年所發表的 NVIDIA A100 加速器相較去年公布的結果仍有最高 50% 的效能提升，其中的關鍵在於 NVIDIA 與夥伴持續針對軟體調整，也顯見 AI 技術是需要軟硬體相輔相成才能達到最佳結果，縱使面對高通 Qualcomm AI 100 加速器也顯見性能表現的優勢，不過在能耗效能比比較則互有高低。
▲ NVIDIA A100 所具備的 MIG 技術能使單一 GPU 同時執行達 7 個實例
此外， NVIDIA A100 具備的 MIG 技術能使系統具備更高的效益，透過 MIG 技術，能在單一 A100 執行 7 個 AI 實例，如此一來能使硬體更有效的發揮，並使系統在單一時間進行更多元的應用。
▲ Jetson AGX Orin 具備出色的單晶片性能
▲ Jetson Orin 對比 Xavier 提升幅度相當大
▲比起高通解決方案， Jetson AGX Orin 在邊際運算表現領先
▲比起競爭對手，具 NVIDIA 解決方案的邊際 AI 伺服器效能更為出色
除了資料中心外， NVIDIA Jetson AGX Orin 與 NVIDIA A100 PCie 亦在邊際運算展現壓倒性的性能表現，以邊際單晶片效能遠高於基於高通 Snapdragon 865 搭配 Cloud AI 100 DM.2 的高通方案，以邊際 AI 伺服器無論是 NVIDIA A30 或是 NVIDIA A100 PCIe 也展現持續領先的性能，更遑論高通 Qualcomm AI 100 解決方案無法執行部分的測試項目，在主流 AI 應用支援的廣度 NVIDIA 的各式解決方案也仍有顯著的領先優勢。
