Gemini是Google作為Google Assisit個人助理的下一階段,不過Google對於AI驅動技術的願景當然不僅於此;Google在Google IO 2024透過一段短片展示稱為Project Astra的AI助理願景,利用Gemini多模態模型為基礎,並分別智慧手機、智慧眼鏡展示人與Project Astra互動的新方式。
▲透過鏡頭影像找到附近發出聲音的裝置
▲利用文字辨識方式將眼前螢幕的程式碼轉化為文字後分辨使用的程式語言
▲幫助用戶找到自己遺落(但Project Astra眼角餘光曾掃到)的眼鏡
▲分辨黑板上的問題提供適合的答案
▲發揮創意幫眼前的景象下註解
在短片中,Project Astra透過裝置的鏡頭與麥克風探索世界以及與使用者會度,無論是幫助使用者找出發出聲音的設備,分辨眼前使用的程式語言,從窗外的街景分辨身處何處,找到近在眼前卻一時想不起放在哪的眼鏡,分辨黑板上的難題並提供解決問題的建議,或是發揮創意幫眼晴的景物下詮釋。
嚴格來說Project Astra較像是把Gemini所能辦到的AI助理應用以更自然的沉浸式人機介面呈現,裝置的鏡頭即是用戶與Gemini的視覺,自然語言則是用戶與Gemini溝通的手段,Project Astra如同一位博學且隨伺在旁的家庭教師,幫助用戶探索、解決所有看見的各式疑難雜症。