雖然高通Qualcomm在當今的AI大戰的重心放在擅長的邊際裝置側，不過在SC23活動期間，高通公布了一款可程式化的雲端AI推論加速器新品Qualcomm Cloud AI 100 Ultra，作為因應當前生成式AI與大型語言模型(LLM)世代的需求，強調較前一代產品性能提升4倍，並可透過Qualcomm AI Stack 和Cloud AI SDK連接多個Qualcomm Cloud AI 100 Ultra擴大推論能力。
▲Qualcomm Cloud AI 100 Ultra是一款鎖定推論使用的加速卡
Qualcomm Cloud AI 100 Ultra是一款具可程式化特質的AI加速器，強調透過Qualcomm AI Stack工具進行移植與最佳化，能夠執行來自任何硬體訓練的模型；同時配有高達128GB LPDDR4x大容量記憶體，單卡150W能耗可支援1,000億個參數的模型、雙卡並聯則可達1,750億個參數模型。高通強調在雲端與企業應用，相較競品，在包括大型語言模型、自然語言處理與電腦視覺等生成式AI應用的每TCO美金效能高出2到5倍。
