產業消息 ul OpenVINO TensorRT Stable Diffusion 生成式AI DirectML UL推出Procyon AI Image Generation測試基準，可對應傳統CPU+GPU與新一代AI加速器的生成式AI性能進行比較 AI是當前的熱門話題，尤其2024年PC產業更積極地把生成式AI視為重要的變革，作為PC與手機測試基準軟體供應商的UL繼在2023年推出針對推論的Procyon AI Inference Benchmarks後，再宣布針對圖像生成式AI的Procyon AI Image Generation，呼應當前生成式AI的影像生成應用需求；UL強調Procyon AI Image Generation提供具一致性、精準且容易理解的工作負載分析，同時支援傳統CPU、GPU的組合與新一代具備獨立AI加速器的硬體，同時能將兩者方式進行比較。 ▲Procyon AI Image Generation可對應多種加 Chevelle.fu 1 年前
產業消息 nvidia TensorRT Stable Diffusion 生成式AI LLaMA TensorRT-LLM TensorRT-LLM 將提供 Windows 平台版本，助力生成式 AI 於 PC 提升 4 倍效能並支援 Llama 2 與 Code Llama 等新式 LLM NVIDIA 宣布原本供資料中心使用的 TensorRT-LLM 將登陸 Windows 平台，使生成式 AI 於具備 RTX 硬體的 PC 提升 4 倍的效能， TensorRT 能為如 Llama 2 、 Code Llama 等新一代代行語言模型加速推論效能； NVIDIA 也同步推出協助開發者加速 LLM 執行的工具，包括使自訂模型可相容 TensorRT-LLM 的腳本、 TensorRT 最佳化的開源模型與展示 LLM 反應速度與品質的開發人員參考專案。此外， TensorRT 加速技術可用於 Automic 1111 發布的熱門 Web UI 的 Stable Diffusion Chevelle.fu 1 年前
產業消息 廣告 nvidia AI 醫療 語意分析 機器視覺 TensorRT NVIDIA Ampere BERT NVIDIA 發表能縮減一半語言推論時間的 TensorRT 8 AI 套件，能提升對話式 AI 、推薦系統效益 NVIDIA 宣布新一代的 AI 軟體套件 TensorRT 8 ，強調能夠使語言推論時間縮減一半，對於應用在搜尋引擎、廣告推薦、聊天機器人等帶來顯著的效益。TensorRT 8 針對語言相關應用進行最佳化，可在 1.2ms 執行龐大的 BERT-Large ，不須屈就性能縮減模型規模導致準確率下降。 ▲藉由 Ampere 的結構化稀疏技術、量化感知訓練使 TensorRT 8 具更高的推論性能 TensorRT 8 得以大幅提升推論性能，除了軟體持續精進以外，更重要的是發揮 Ampere 架構兩項關鍵技術，其一是藉由結構化稀疏減少運算操作並提高效率，另一項關鍵是能夠以 INT8 精度執行卻不 Chevelle.fu 3 年前
產業消息 nvidia AI Turing TensorRT 藉 Turing 架構與 TensorRT 軟體支援掀起服務業的 AI 革新， NVIDIA 推出 Tesla T4 加速器 NVIDIA 的 Tesla V100 加速器的 Volta 架構憑藉 CUDA Core 與 RT Core ，在科學運算、超級運算與大規模 AI 推論引發革命，以更少的體積、更少的能耗發揮更強的運算力，而新一代的 Turing 圖靈 GPU 架構也延續 Volta 整合 RT Core 的特性，為新一代的 GPU 挹注 AI 能力，在接連推出針對繪圖的 Quadro RTX 以及消費娛樂的 GeForce RTX 20 GPU 後， NVIDIA 也基於 Turing 圖靈 GPU 架構發表 Tesla T4 加速器，鎖定服務業對於包括語音、影像與圖像等領域對 AI 的迫切需求，搭配全新的 Chevelle.fu 6 年前
