Google宣布擴大Gemini Live功能的應用範圍,率先為自家的Pixel 9系列與合作密切的三星的Galaxy S25系列導入Gemini Live With Camera,只要是兩系列旗艦機用戶並訂閱Gemini Advanced,將Gemini更新到最新版本後,即可使用手機的鏡頭或是螢幕畫面與Gemini展開全新互動方式。
▲Gemini Live With Camera可說是Project Astra具體實現的第一步
Gemini Live With Camera可說是2024年Google IO大會演示的Project Astra的延伸,利用手機鏡頭、螢幕結合Gemini進行即時互動,同時也結合現階段Gemini Live技術可支援超過45種語言。Gemini Live With Camera不僅只是利用鏡頭幫助使用者辨識眼前的物件、算式、翻譯而已,因為這些基本的功能Google助理與Google翻譯早就做得到,結合基於大型語言模型的Gemini Live還能進行更多有創造力的互動方式。
Google也舉了幾項應用,例如拍攝紊亂的房間、起居室,可以詢問Gemini Live該如何整理、分類與利用、那些物件可能可以考慮丟棄;或是當眼前的唱機故障、水龍頭壞掉,也可透過Gemini Live尋求問題的可能原因與修復方式。當在琳瑯滿目的線上購物看到一件喜歡的衣服,也能透過Gemini Live協助穿搭風格,甚至可進一步拍攝自己的衣櫃,讓Gemini幫忙搭配出具有個人風格的穿著。當覺得自己設計的網站、藝術圖像似乎還有改進的空間,把螢幕畫面分享給Gemini Live,即可獲得寶貴的建議與回饋,自排版、選色到細節的微調進一步使作品更完善。