雖然基於軟體的影片編解碼器在當今重視效率的時代已非主流，不過一但有全新的影片編碼格式，初期仍得仰賴軟體方式進行解碼，而高通認為現在內容資訊爆炸的時代會使得影片編碼格式快速推陳出新，未來新解碼器可能可透過下載持續更新，或許透過 AI 的輔助進行內容解碼會是個可行的方式，其 Qualcomm AI Research 即在 Snapdragon 888 展示基於軟體式的 AI 影片解碼器，完成 1,280 x 704 30fps 的即時影片解碼。
為何高通會展示目前認為效率相對低落的軟體影片解碼器？高通假設未來的影片編解碼器將有以下特色：對編碼比特率與感知品質指標的直接最佳化、簡化的編碼開發流程、基於大規模並行的本質、具高執行效率與更新已佈署硬體的能力、可下載的編解碼器更新等等；固定功能的硬體式編解碼器雖然具有良好的執行效率，但就無法滿足高通預期未來影片編解碼器所需的彈性。
▲高通認為透過 AI 方式能夠兼具高執行效率、高品質與軟體解碼的彈性
高通認為，藉由 AI 神經網路作為基礎，就有可能滿足上述未來影片編解碼器所需的特質；簡單的說高通認為可以寫出一套基於 AI 的編解碼邏輯，透過當前日益普及的 AI 加速架構去執行，實現比傳統軟體編解碼更高的效率，高通研究機構也在近幾年的研究當中發現基於 AI 神經網路的軟體式影片編解碼器的潛能。
不過高通也發現，由於實驗室使用的硬體架構是採用具備浮點運算功能的高階 GPU ，除了硬體規模遠大於行動設備，這些 AI 影音編碼器的 AI 模型也未以效率為優先考量，導致雖在 PC 型態的系統能夠順利執行基於軟體的 AI 影片編解碼，但難以在行動設備實現相同的行為。
Qualcomm AI Research 則是以能夠在行動設備執行作為前提，將高通多年在節能 AI 的專業技術應用在影片編解碼，採用高通創新中心的 AI 模型節能工具( AIMET )，將 AI 網路架構重新編寫並簡化架構，降低模型執行的複雜性，使行動設備的 AI 硬體也能夠有效執行這樣的即時解碼模型。
高通透過一台搭載 Snapdragon 888 平台的市售版手機進行展演，以 Snapdragon 888 的 CPU 搭配第 6 代 AIE 引擎進行即時解碼，實現接近 HD 解析度的 1,280 x 704 影片的即時解碼。
另外，高通也一併宣布 AIMET 的進展， AIMET 是由高通創新中心( QuIC )在 2020 年 5 月於 GitHub 發表的開源項目，為 Qualcomm AI Research 的研究成果，指在透過一個簡單的函式庫 Plug-In ，以先進的量化與壓縮技術提升 AI 模型的執行效率，使其在行動裝置或是較簡化的硬體得以順暢執行，而在 2021 年 1 月， QuIC 再度以 AIMET Model Zoo 的方式於 GitHub 貢獻一系列針對 8bit 推論最佳化的預先訓練 AI 模型，同時還提供將主流的 FP32 以低耗損轉化為 INT8 模型的方式。而高通此次宣布在 AIMET 導入 AdaRound ，使其可以在極低耗損實現 4bit 量化處理，同時也支援循環神經網路 RNN 的量化，提供針對如語音辨識等時間動態行為神經網路的支援。
4 則回應