截至 MLCommons AI 推出 MLPerf 推論測試以來， NVIDIA 產品組合始終具備最高的效能與最完整的測試項執行能力，不過 Intel 也逐步完善其產品組合，並在 2023 年也能夠與 NVIDIA 產品一樣具備完整的測試項執行能力，同時 Habana Gaudi2 也展現出比 NVIDIA 上一代 NVIDIA A100 更具優勢的效能；在 2023 年 9 月所公布的最新 MLPerf 成績當中， Intel 產品組合也成功執行新加入的 60 億個參數的 GPT-J 大型語言模型測試，Intel 強調包括 Habana Gaudi 、第 4 代 Xeon Scalable 與 Intel Xeon Max 的產品組合在廣泛 AI 領域具出色的性價比。
Intel 強調在 2023 年 6 月的 MLCommons AI 訓練與 Hugging Face 基礎效能基準測試已經驗證 Gaudi2 於先進視覺語言模型的效能優勢，在 2023 年 9 月公布的最新推論測試結果則進一步顯示 Intel 當前已可滿足 AI 產業領域運算需求，並提供可替代同類型競品的可行方案。
▲ Habana Gaudi2 緊咬作為 NVIDIA A100 與 NVDIIA H100 的最佳高性價比替代方案
在 Habana Gaudi2 提供的測試結果， Gaudi2 在具備大量參數的 GPT-J 具有出色的效能競爭力，在 Gaudi2 在 GPT-J-99 與 GPT-J-99.9 的伺服器查詢（query）和離線樣本推論效能，分別為每秒 78.58 個查詢和每秒 84.08 個樣本，相較 NVIDIA A100 在伺服器與離線分別高出 2.4 倍與 2 倍效能，同時使用 FP8 的準確度高達 99.9% 。此外 Intel 也強調 Gaudi2 約每 6 週至 8 週釋出一次軟體更新，持續提升在 AI 應用的效能。
▲ Intel 透過在 Xeon CPU 內建加速架構以及 OpenVINO 生態系能執行多項 AI 應用
Intel 的 Xeon 平台也因應新一代的 AI 需求在架構設計強化， Intel 所提交的第 4 代 Xeon Scalable 是目前唯一一家使用業界標準深度學習生態系軟體提交 CPU 測試成績的供應商，並提交視覺、語言處理、語音與音訊翻譯甚至在更大的 DLRM v2 推薦系統與 GPT-J 模型等 7 項結果。第 4 代 Xeon Scalable 在進行 GPT-J 100 字摘要時，在離線模式下每秒可總結兩個段落，即時伺服器模式則在每秒總結一個段落；此外 Intel 也首次提交 Intel Xeon CPU Max 的 MLPerf 成績，借助高達 64GB 的 HBM 記憶體，也是目前唯一可達到 99.9% 精度的 CPU 產品。
