近期在人工智慧發展，業界除了持續藉由新硬體提升性能、新算法提升效率外，另一項議題就是 AI 也需要從雲端轉移到終端，而在高通 Snapdragon 技術大會上，也由 Google 、微軟與高通的代表 Pete Warden 、Marc Tremblay 與 Gary Brotman 三人暢談為何 AI 技術需要從雲轉移到終端。
AI 暫時還不會將所有工作轉移到終端
在目前 AI 技術應用，多是由雲平台架構與大量的伺服器同時進行學習與推理，再透過網路技術傳送到終端裝置；然而在終端裝置性能提升後，現在新一代終端裝置的運算核心也具備一定程度的 AI 運算能力，不過以工作劃分與需求來說，雲平台依舊是最主要的資料蒐集以及模型訓練的場所，因為唯有雲平台才具備充裕的儲存與學習所需的算力，然而終端裝置則扮演著進行數據蒐集與推理的新角色。
終端裝置負責推理，一方面除了硬體效能足夠以外，也是因為許不少可能的應用會牽涉到即時性以及個人隱私，然而若透過雲平台進行推理，就會遇到網路穩定度以及資料上傳的情況，然而若在雲端平台預先將 AI 模型進行訓練，就可將 AI 模型導入終端，使終端能夠藉此進行推理。
在終端進行建立學習模型，有可能嗎？
如果考慮到隱私問題，或許能在終端設備進行模型訓練會是最佳的選擇，然而在現階段的學習框架還有些難處，但依照學習的複雜度，也不是毫無可能，如果只是簡單的區分單一物體與其它物體，那是有可能的，例如訓練手機從家中的愛貓與其它野貓照片中分辨哪些是愛貓照片，這樣的模型建立在現在是有機會達到的。
此外，有一項比較前瞻的想法則是將已經訓練完的模型拆解，僅針對變動較多或是個人化的部分進行培訓，這樣一來可降低培訓模型所需的硬體資源與時間，且可利用較低的資源達成培訓 AI 模型的目的，不過這樣的想法目前也還在測試中。
軟、硬體雙管齊下使終端 AI 得以落實
雖然現在高階行動運算平台已經具有相當強大的運算力，不過提升基本運算力只是其中一個手段，且還要考慮到功耗，但以現在半導體製程的發展速度，半衰期已經變慢，光是期待終端運算力提升是不夠的，也需從框架進行變革。
例如 Google 就針對行動運算平台推出 TensorFlow Lite 框架，精簡原本的 TensorFlow 框架，可藉由行動裝置內的 DSP 甚至 IoT 裝置都能執行，此外將浮點運算網路變成 8bit 網路，並縮減網路規模大小縮減，由原本 200MB 縮小到 1MB ，讓電力有限的行動裝置也能輕鬆執行。
至於微軟現在也在為實現端末 AI 進行實驗，他們希望能將 AI 的模型培訓做到即時化，犧牲精度的方式提升運算效率，先求有量再求品質，微軟現在也積極的測試這樣做法的可行性，希望為運算效能有限的終端帶來學習能力。
