NVIDIA以長期投入的獨占Cuda加速技術搭配開源軟體環境最終在對的時間開花結果，成為當前引領AI產業的龍頭，不過包括AMD、Intel與諸多新創競爭對手勢必會希望打破僵局，尤其對過往長期獨霸運算產業的Intel而言，勢必希望能夠重振雄風奪回產業領導地位；Intel在Vision 2024大會公布第三世代的Intel Gaudi AI加速器，劍指NVIDIA Hopper架構(對，比較對象不是下一代的Blackwell)，強調在性能全面領先NVIDIA H100以外，更提供產業多元且開放的選擇。
Gaudi 3預計在2024年第二季向OEM交付通用基板與開放加速器模型(OAM)的業界標準配置，包括Dell、慧與HPE、聯想、美超微等OEM預計於2024年第三季推出搭載Gaudi 3的系統，而Gaudi PCIe附加卡預計2024年第四季推出。
▲Intel Gaudi 3的目標鎖定NVIDIA H100，強調高性價比與提供不同且開放的選擇
Intel將NVIDIA H100做為比較對象，表示Gaudi在Llama 2的7B與13B參數、GPT-3 175B參數模型訓練快50%，與Llama 7B、70B參數與Falcon 180B參數模型的推論吞吐提升50%、能源效率提升40%，並於較長的輸出入序列據更大的推論效能優勢；對比競爭對手記憶體升級版的NVIDIA H200，則Llama 7B、70B參數與Falcon 180B參數模型的推論速度提高30%。
Intel強調Gaudi 3 AI加速器延續Gaudi 2的效能與可擴充性，並透括開源社群軟體與符合業界標準的乙太網路提供可靈活擴充系統的「新選擇」，強調是回應客戶與市場對於提供更多選擇的需求，將以高性價比、系統可擴充性與時間成本優勢為賣點。
Gaudi 3 AI加速器採用5nm製程(沒意外來自台積電，畢竟Intel晶圓代工不會掛上「奈米」)，並允許同時啟動包括矩陣乘法引擎(MME)、張量處理器核心(TPC)、網路介面卡(NIC)等引擎提升速度，實現高速、高效能的深度學習運算與規模擴充。
Gaudi 3包括以下特色：
AI專用運算引擎：Gaudi 3具備專屬異構運算引擎，由64個AI自訂與可編程TPC與8個MME組成，每個MME可執行64,000個平行運算，善於處理複雜的矩陣運算，同時支援包括FP8、BF16等資料類型。
適用於大型語言模型的大容量高速記憶體：Gaudi 3配有高達128GB的HBMe 2記憶體、3.7TB記憶體頻寬與96MB的on-board靜態隨機存取記憶體，能夠因應與處理大型生成式AI資料級，並適用於新一代大型語言模型LLM與多模態模型
為企業提供生成式AI的高校系統擴充：每個Gaudi 3整合24個200GB乙太網路連接埠，透過開放標準網路提供高效擴充，並免受於專有網路架構供應商限制，可實現單一節點至上千結點的擴充，滿足生成式AI模型的廣泛需求。
開放軟體生態提升開發人員生產力：Intel Gaudi軟體可整合PyTorch框架，並提供基於Hagging Face社群的最佳化模型，兩者皆為生成式AI產業最常用的AI框架，使開發者可在高度抽象層進行操作，並可在不同硬體類型轉移模型。
提供PCIe組態？Gaudi 3提供全新的Gaudi 3高速PCIe附加卡，專為實現高效率與低能耗需求設計，適用於微調、推論與檢索增強生成(RAG)等應用，採用600W全高封裝以及與標準Gaudi 3相同的3.7TB頻寬128GB記憶體。
