Snapdragon Summit 2023 :高通 Snapdragon 8 Gen 3 的 AI 足以執行 100 億參數 AI 模型,單機即可處理 Pixel 8 Pro 需上傳雲端的夜間影片增強

2023.10.25 03:00AM
照片中提到了Snapdragon、8 Gen 3、江,包含了小工具、產品設計、牌、產品、設計

高通於在夏威夷茂宜島舉辦的 Snapdragon Summit 2023 活動的重頭戲之一,即是作為 2022 年底與 2023 年度旗艦手機平台的 Snapdragon 8 Gen 3 ,此次除了以 1 個 Prime Core 搭配 5 個性能核及 2 個節能核的新 CPU 架構、大幅強化的 Adreno GPU 構成的基礎效能再度提高以外,更著重因應生成式 AI 的處理能力,高通強調 Snapdragon 8 Gen 3 足以處理達 100 一個參數以上的大型語言 AI 模型,並且可在一秒產生 15 個詞元,能夠在單機執行生成式 AI 以及 Google Pixel 8 Pro 需透過雲端才能處理的夜間影片增強功能。

▲搭載 Snapdragon 8 Gen 3 的 Xiaomi 14 系列將於全球發表

▲與徠卡共同開發的 Xiaomi 14 中國版本將在台灣時間 10 月 26 日晚間九點進行發表

搭載 Snapdragon 8 Gen 3 的旗艦智慧手機將很快於發表後陸續推出,小米總裁盧偉冰在 Snapdragon Summit 預告

為大型語言與生成式 AI 而生的硬體架構設計

▲ Snapdragon 8 Gen 3 最大的架構提升在於 NPU 效能

▲ Snapdragon 8 Gen 3 可每秒產生達 15 個詞元,並可執行達 100 億參數以上的語言模型

▲ Snapdragon 8 Gen 3 可在單機執行基於 Meta Llama 2 的大型語言模型

▲相較上一代性能提高 98% 、同時省電 40% ,除了架構的提升以外也包括加入對 Int4 的支援 

高通在公布 Snapdragon 8 Gen 3 前已經宣布攜手 Meta 針對 Llama 大型語言模型 LLM 在行動裝置的執行進行最佳化, Snapdragon8 Gen 3 在硬體加速設計相較 Snapdragon 8 Gen 2 大幅提升,包括微架構的生及與具備兩倍的記憶體頻寬,並搭配更快速的 LPDDR5x 記憶體,實現較前一代 98% 的效能提升,但同時還減少 40% 的能耗,其中的關鍵就是導入更具效率與效益的 Int4 的支援,在單機執行生成式 AI 僅需 1 秒,對比 Snapdragon 8 Gen 2 的 15 秒可說大幅提升。

▲高通的 AIE 引擎是結合 CPU 、 GPU 、 NPU 、 Sesing Hub 等的異構協作運算

▲ Sensing 也整合節能設計的 AI 加速架構,能夠提供基於 AI 的全時感知與增強

高通持續以來都相當強調 SoC 級的異構運算實現高性能、高效率兼具的運算,在 AI 領域也透過異構的方式實現;當前高通的 AI Engine ( AIE )不僅使用 CPU 、 GPU ,也加入 NPU 與納入 Sensing Hub ;其中 Snapdragon 8 Gen 3 的 Sensing Hub 不僅提供設備常時感知( Always Sensing )的能力,其架構中低功耗的 NPU 架構相較前一代記憶體提高 30% 容量,並與 NPU 區塊的架構同樣支援 INT4 ,相較前一代架構提升 3.5 倍效能,結合 2 個同樣俱全時感知的 ISP ,為設備的感知應用結合 AI ,能夠用於智慧語音喚醒、智慧天線、安全辨識等應用。

▲高通強調透過 Qualcomm AI Stack Models 計畫協助開發者以預訓練的模型加速導入 AI 應用

▲增強對於 PyTorch 的支持

此外,高通也進一步強化開發者導入 AIE 技術的支援,透過 Qualcomm AI Stack Models 計畫與 Hugging Face 平台釋出 20 款預訓練的模型,使開發者能藉由這些模型進行客製化;同時也強化 PyTorch 的支援,使開發者利用 PyTorch 為 Snapdragon 平台開發 AI 應用時更容易取得完整的 AIE 資源。

Snapdragon Sight 結合 12 層語意分割與生成式 AI 創造全新增強拍照體驗,單機即可將昏暗影片增強至明亮的彩色短片

▲ Snapdragon Sight 進一步強化語意切割層數,並結合生成式 AI 創造增強拍照體驗

▲ Cognitive ISP 進一步使語意切割分層自上一代 8 層提升到 12 層

▲藉由更多分層,能使影像的細節與增強功能

基於數位演算與增強的軟體定義拍照是現在各家旗艦手機的主打項目, Snapdragon 8 Gen 3 的 Snapdragon Sight 影像功能也再進一步於語意分割進行強化,同時亦結合 Qualcomm AIE 強大的 AI 功能與生成式 AI 接軌; Snapdragon 8 Gen 3 的 Cognitive 3 核心 ISP 進一步將語意切割的層數自 8 層提升到 12 層,意味著可以將照片進行更多的註記,再結合依據物體與場景的影像增強,使照片更為細膩、逼真,並可結合生成式 AI 增強照片。

▲透過導入 C2PA 格式,確保生成式 AI 產生的照片可被辨識

▲攜手杜比導入 Dolby HDR 照片格式

此外,高通亦與軟體公司攜手將 Snapdragon 8 Gen 3 強大的 AI 性能再影像領域與生成式 AI 結合, Snapdragon 8 Gen 3 不僅可在後製階段消除靜態照片中的多餘物件,透過與 ArcSoft 的合作,還能在後製處理階段消除 4K 30P 短片中不必要的物件。同時,高通在影像與生成式 AI 的結合也不忘社會責任,在照片中利用 C2PA 格式加入注記,使透過生成式 AI 產生的圖像能夠被辨識,使其不致被誤用與濫用。另外 Snapdragon 8 Gen 3 也能夠進行雙鏡頭的即時去背合成,以及與 Dolby 合作導入 Dolby HDR 格式的照片拍攝。

Snapdrgaon 8 Gen 3 採用 1+(3+2)+2 的 8 核 Kryo CPU 與支援新一代補幀技術、可執行 Unreal Engine 5 光追展示的 Adreno GPU

▲ Snapdragon 8 Gen 3 可達 240fps 更新率、具備 Adreno Frame Motion Engine 2.0

▲ Prime Core 達 3.3GHz 時脈,性能核與節能核加一減一

作為理論上最後一代採用 Arm 公版半客製化微架構產物, Snapdragon 8 Gen 3 的 Adreno CPU 群可篤定是以 Cortex-X4 作為 Prime Core 、 Cortex-A720 作為效能核、 Cortex-A520 作為節能核的配置;或許由於 Cortex-A520 效能進一步提升、日常多工負載日益吃重, Snapdragon 8 Gen 3 雖維持單核 Prime Core ,但增加一核效能核、減少一核節能核,使其成為 3.3 GHz Prime Core + 3 核 3.3GHz 性能核 + 2 核 3.0GHz 性能核 + 2 核節能核組核,效能核採用兩組時脈設定以及達 6 核心也是拜新一代 DynamIQ 的 DSU-120 所賜,將性能核分為兩組時脈應該也是考慮到能耗平衡與多工需求。

▲ Snapdragon 8 Gen 3 的 Adreno GPU 性能提高 25% 、能耗也降低 25%

▲透過 Adreno Frame Motion Engine 2.0 可將幀率提高一倍

▲結合硬體光線追蹤能執行 Unreal Engine 的 Luman 即時光線追蹤展示

除了 CPU 的提升, Snapdragon 8 Gen 3 的 Adreno GPU 也在效能有所突破,基礎性能較 Snapdragon 8 Gen 2 的 Adreno 提升 25% 、能耗減少 25% 以外,亦支援 240Hz 螢幕更新率與 1Hz 節能螢幕更新模式,同時還可透過稱為 Adreno Frame Motion Engine 2.0 ( AFME 2.0 )的幀率生成技術提高一倍幀率,同時其運算與即時光線追蹤效能也足以執行 Unreal Engine 5 的即時光線追蹤展示 Luman 。

▲ Snapdragon 8 Gen 3 特色規格

▲搭載 Snapdragon X75 5G 平台、 Wi-Fi 7 與藍牙 5.4

Snapdragon 8 Gen 3 具備 1+ 5 + 2 的 Qualcomm Kryo CPU 核心,搭配支援即時光線追蹤、 Super Game Resolution 、 Snapdragon Frame Motion Engine 2.0 的 Adreno GPU ,可輸出 4K 60Hz 或 QHD+ 144Hz 的裝置螢幕,並支援 1-240Hz 可變更新率,記憶體可搭配最高 24GB 的 LPDDR5x 4,800MT/s ,其 Cognitive GPU 為 3 核心 18-bits ,單鏡頭最高 200MP (零延遲快門為 108MP @ 30fps  ),最高可搭配 3 個 36MP @ 30fps 鏡頭的零延遲快門或 64MP + 36MP @30fps 雙鏡頭零延遲快門,短片則支援 8K 30fps 、 4K 120Hz 。此外高通 AIE 採用異構,支援 INT8+INT16 等高精度與 INT4 、 INT8 、 INT16 與 FP16 等低精度,此外 Qualcomm Sensing Hub 則整合 INT4 的低功耗 AI 架構; 5G 平台採用高通 Snapdragon X75 ,達最高 10Gbps 下載、 3.5Gbps 上傳,並搭配具 Wi-Fi 7 與藍牙 5.4 的 Snapdragon Fast Connect 7800 , USB 則提供 USB 3.1 Gen 2 與高通 QC 5 快速充電技術。