NVIDIA ChatRTX添加更多AI模型的支援與功能,現在支援Google Gemma還能以自然語言的語音發問

2024.05.02 12:02PM
照片中提到了RTX 4090、NVIDIA.,跟英偉達有關,包含了黃仁勳 RTX 4090、黃健森、顯示卡、英偉達 GTC

NVIDIA日前宣布基於檢索增強生成的NVIDIA TensorRT-LLM與NVIDIA RTX加速技術的ChatRTX功能,使具備RTX技術的Windows PC與工作站可透過ChatRTX在裝置端安全且快速的使用聊天機器人應用,並提供筆記與檔案的查詢;NVIDIA更新ChatRTX功能,提供對更多AI模型的支援與新功能,其中加入由Google最新釋出的開放模型Gemma,還有包括基於通用語言框架的開放式聰英雙語大型語言模型ChatGLM3,同時還支援語音查詢。

下載NVIDIA ChatRTX:NVIDIA ChatRTX

▲ChatRTX支援更多類型的模型,且可支援自然語言的語音輸入

透過支援OpenAI的CLIP(Contrastive Language-Image Pre-training,對比語言和影像預訓練)技術,使用者還能與影像資料進行互動。經過訓練和細化後的CLIP神經網路可自自然語言監督學習視覺概念,使CLIP可辨識在影像集「看到」的東西,而支援ChatRTX借助支援CLIP,能透過單字、術語與短語,在不須複雜的詮釋資料標記下即可與裝置本機端的相片、影像互動。

此外新版本還允許用戶利用自己的聲音與資料聊天,藉由添對基於AI處理口語資料的Whisper自動語音識別系統,ChatRTX可將語音轉化為可理解的資訊,再以文字回應。