高通在MWC 2024的其中一項重點就是展現高通Snapdrgaon平台在包括下一代PC、智慧手機、軟體定義車輛、XR與物連網領域的大規模設備AI商業化,加速AI無所不在的世界,其中新世代的Snapdragon 8 Gen 3與Snapdragon X Elite平台更雙雙為智慧手機、PC奠定執行強大裝置端AI的基礎;高通強調透過在多個平台開放的Qualcomm AI Hub資源,能加速開發者為使用高通平台的終端導入AI功能,同時高通也展示旗下Qualcomm AI Reaseach於Android手機、Windows PC執行大型多模態模型與大型視覺模型的研究成果。
高通合作夥伴如小米、OPPO、榮耀等也在MWC展示基於Snapdraon 8 Gen 3的AI應用;同時高通也提供包括Snapdragon Digital Chassis、消費級物連網、結合AI的5G平台、5G AI基礎設施的技術展示。
為開發者提供預先最佳化的AI模型與生成式AI的Snapdrgaon AI Hub
▲Qualcomm AI Hub提供75種以上最佳化的AI模型,並透過AIE異構運算提升4倍推論性能
高通能夠與開發者在多項Snapdragon裝置大規模導入AI的關鍵,即是高通透過Qualcomm AI Hub提供預先優惠的AI模型資料庫,包含超過75項流行的AI與生成式AI模型,諸如Whisper、ControlNet、Stable Diffusion和Baichuan 7B等,在資料庫中的模型已針對各Snapdragon平台與終端的執行性能等條件預先最佳化,確保能使用較少的記憶體與更少的運算量執行。
同時這些預先最佳化的模型也針對高通的Snapdragon AI Engine(AIE)的硬體架構、包括NPU、CPU與GPU進行硬體加速,使推論時間較非異構執行提升4倍,開發者可藉此縮減開發時間,同時解放Snapdrgaon平台的潛力,借助裝置端執行AI,能夠提供即時性、可靠性、隱私、個人化與低成本的優勢;此外高通除了Qualcomm AI Hub外,也在GitHub、Hugging Face等平台提供這修最佳化的模型,使開發者ˋ可從多元管道取得資源。
高通AI Research在Android與Windows PC分別展示70億以上參數的多模態AI模型
▲高通在Android手機、Windows PC展示包括70億個參數的多模態模型、LoRA以及首個在Wondows PC執行結合聲音的的70億參數大型語言模型
▲高通展示在Android手機執行結合大型語言模型與大型視覺模型的多模態模型
雖然現在多家平台都強調其應用處理器能夠執行大型AI模型,不過能夠拿出實證以及支援才是重點;高通此次在MWC由旗下Qualcomm AI Research展示多項AI在終端的實證執行;其中高通於Android執行結合大型語言模型與視覺模型的大型多模態模型LLaVA,具備70億個以上參數,可輸入文字、圖像,透過AI助理進行多輪的相互對話,借助多模態模型,能夠識別與討論複雜的影像、物件與場景,同時借住在裝置端執行增強個人隱私、可靠性、個人化與降低成本。
▲LoRA將可應用於視覺的自訂藝術風格,也能使用在大型模型、個人化助理與增強語言翻譯
此外Qualcomm AI Research也在Android手機首度執行LoRA,透過LoRA執行穩定擴散,使用者可根據個人或藝術風格喜好創作高品質的自訂影像;藉由LoRA可降低訓練參數的數量,並提升裝置端產生AI使用案例的效率、可擴展性與自訂;LoRA除了能用於提供視覺化模型的不同藝術風格,還可廣泛應用在如大型語言模型、個人化助理與強化的語言翻譯等AI應用。
▲高通透過Snapdragon X Elite執行結合音訊的大型語言模型,可輸入文字或音訊產生相關的多輪對話
高通也在Windows PC裝置展示全球第1個結合聲音的70億參數以上的LLM大型語言模型,該大型語言模型能透過文字與聲音(如音樂、交通聲音),並產生多輪關於音訊的對話。