產業消息 nvidia gpu python H100 大型語言模型 LLM NVIDIA TensorRT-LLM NVIDIA 以開源的 TensorRT-LLM 強化 NVIDIA H100 GPU 的大型語言推論性能，具經最佳化調整內核、前處理與後處理步驟及多 GPU 、多節點通訊基元 NVIDIA 能在 AI 領域持續引領風騷，不僅只是靠出色的硬體以及在對的時間推出合宜的產品，更重要的是長期在軟體與社群耕耘，並持續與產業夥伴開發各式工具降低進入 AI 領域的門檻； NVIDIA 於 2023 年 9 月宣布將在未來幾週公布開源的 NVIDIA TensorRT-LLM 軟體，強調將使開發者不須深厚的 C++ 或 NVIDIA CUDA 即可嘗試新的大型模型，並提供峰值效能與快速自訂功能。 NVIDIA TensorRT-LLM 已開放早期適用，預計在不久後整合至隸屬 NVIDIA AI Enterprise 的 NVIDA NeMo 框架。TensorRT for Larg Chevelle.fu 1 年前
