Google宣布將推出由Gemini驅動的Ask with Video即時影像與語音搜尋方式,Ask with Video是透過手機的視訊鏡頭拍攝即時影像結合麥克風收錄的自然語言的新搜尋方式,發揮Gemini多模態特性,針對即時影像逐幀分析與理解自然語言,提供不同於傳統文字敘述或以圖搜圖的新搜尋方式。
▲Ask with Video是Gemini多模態的應用,可一方面將即時影像逐幀拆解元素、理解自然語言發問並分析問題
▲透過理解唱臂可能的故障成因後提供可能的解決辦法,同時也在拍攝到產品品牌之餘提供產品官網
Google以一台唱臂故障的鐵三角黑膠唱機為例,透過手機拍攝唱臂故障的情形,並詢問該如何修復,Ask with Video利用辨識影片中唱臂的晃動狀況分析是哪種故障情況,除了提供故障排除的建議以外,還可透過影片拍到的裝置品牌,一併提供產品官網的連結。