高通 Snapdragon 8 Gen 3 主打的重要特色是足以在手機執行 100 億以上參數的大型語言模型 LLM 的 AI 運算效能,不過若對 AI 有一定的理解,可能會優先質疑是否手機需要搭載龐大容量的記憶體才足提供執行 100 億參數所需的容量;在跟高通的工作人員詢問後,若是要在 Snapdrgaon 8 Gen 3 執行像是 70 億個參數的 Llama 2 模型,其實 8GB 容量的標準規格旗艦手機理論上就綽綽有餘了,其中的關鍵就是 Snapdragon 8 Gen 3 支援精度媲美 INT8 的 INT4 ,以及與 AI 產業夥伴針對 INT4 進行最佳化。
▲榮耀 Honor 在介紹採用混合 AI 的原因時,提及裝置端適合執行 20 億到 100 億參數的模型,更大的模型則仍偏向採用雲端
依照目前主流的 AI 模型所使用的 INT8 ,若要執行 70 億個參數的模型,將會需要達 7GB 的記憶體( RAM ),若還要加上手機本身背景執行可能搭配 8GB 記憶體的手機會面臨記憶體不足導致程式被關閉的窘境;但轉換成 INT4 精度後就僅需要約 3.5GB 的一半記憶體,只要手機系統的最佳化不要太差,理論上 8GB 的手機就綽綽有餘,不過若要執行更大參數的模型,就需要搭配更大容量的記憶體,是故高通的 Snapdragon 8 Gen 3 參考設計搭載達 24GB RAM ,就能執行如 100 億個參數等更龐大的語言模型;所以此次如小米、榮耀等第一波公布 Snapdragon 8 Gen 3 手機的品牌,多半是強調採用 60 億參數左右的模型,應該也是考慮到偏向入門的機型記憶體仍會是 8GB 的情況。
Snapdragon 8 Gen 3 的 AI 增強影像應用展示
▲右邊螢幕是一般手機夜間錄影的情況,左邊是透過 Snpdargon 8 Gen 3 的 AI 將暗處提升到彩色且明亮
▲利用生成式 AI 補齊原本不存在的背景
▲約 12 秒左右的時間可以完成一張圖片
▲不過對於人物還是會出現一些奇怪的情況,這是原始圖片
▲ AI 生成的額外場景把原本的拳頭變成砂鍋大的拳頭了...
在應用展示區,高通也透過 Snapdragon 8 Gen 3 參考設計執行幾項影像相關的應用;其中一項是透過 AI 技術即時把昏暗的影片增強至明亮的彩色照片,這也是先前 Google 推出 Pixel 8 Pro 時需要透過上傳到雲端才能使用的技術,然而 Snapdragon 8 Gen 3 的性能就足以在裝置端進行處理;另一個應用則是透過將照片縮小至最多 1/4 面積大小後,再由生成式 AI 把原本不存在的圖片以外的影像補齊,整個處理程序約 10 秒左右,對於無機物的影像生成令人印象深刻,不過若牽涉到人物就會出現比較荒謬的情形,如同行的友人刻意拍一張遮住一半身體的照片,結果把畫面中的左手變成他人的手。
▲透過生成式 AI 改變原本照片的樣子,處理速度僅耗費 1 秒
▲透過 C2PA 敘述可以看到圖片是藉由生成式 AI 而非使用者直接拍攝,確保生成式 AI 不被濫用
此外,高通也藉由生成式 AI 的照片轉化功能介紹確保生成式 AI 產生的圖像不被濫用的 C2PA ,高通利用生成式 AI 將拍攝的照片透過語音敘述進行內容轉化,有些轉化過的照片看起來相當逼真,但可藉由添加 C2PA 敘述的方式,在敘述檔看到圖片實際是由生成式 AI 進行增強而非真實照片。