大型語言模型全攻略 / 第2頁 (150041) - Cool3c

最新 | 熱門

NVIDIA為NVIDIA NeMo Guardrails導入三項NIM微服務，確保AI代理高效率、正確且安全

現在許多大型企業正透過AI代理建構「知識機器人」，將公司的海量資料庫利用生；NVIDIA宣布針對AI代理提供具安全保障的三項NIM微服務，為NVIDIA NeMo Guardrails軟體工具提供安全性、準確性與可擴擴性。包括Amdocs、Cerence AI、Lowe’s等大型企業皆導入NVIDIA NeMo Guardrails作為內部服務AI功能的防護機制。具備三項新NIM微服務的NVIDIA NeMo Guardrails，以及用於檢測AI可靠與越獄保護力的NVIDIA Garak工具包已開放開發者與企業使用，開發者限在可透過NVIDIA NeMo Guardrails在

Chevelle.fu

CES 2025：AMD推出採用統一記憶體架構並整合高性能CPU與獨顯級GPU的Ryzen AI MAX行動平台

AMD在CES 2025最大的亮點莫過於在行動平台推出全新的產品線Ryzen AI Max系列，此系列不同於一般行動處理器搭配夠用的GPU，而是採用達到與入門獨立顯示卡效能近似的高性能整合GPU，同時搭配統一記憶體架構，使Ryzen AI Max足以執行高階獨立顯示卡也無法執行的大型語言模型與混合模型。 ▲HP放眼工作站產品，華碩則用於輕薄電競筆電 Ryzen AI MAX鎖定高階電競筆電與行動工作站、微型工作站產品，同時提供商用的PRO版本，強調能以更具效率、節能的方式執行各式的遊戲與專業內容創作內容，預計在2025年第一季至第二季之間上市。 ▲Ryzen AI Max系列為Ryzen平台再

Chevelle.fu

蘋果推出M4、M4 Pro與M4 Max版14吋與16吋MacBook Pro，並宣布MacBook Air初始記憶體提升至16GB且售價不變

蘋果接連三天於同一時間線上公布搭載M4處理器的產品線，在第三天登場的是搭載M4、M4 Pro與M4 Max處理器的14吋與16吋MacBook Pro，全面搭載12MP Center Stage相機，其中M4 Pro與M4 Max處理器提供Thunderbolt 5介面，官方預估續航力達20小時以上；另外廣受歡迎的MacBook Air機型將販售中的機型全面提高基礎記憶體容量，仍在販售中的M2與M3版MacBook Air提升至16GB RAM，同時價格維持與8GB版本相同。 ▲M4系列MacBook Pro提供14吋與16吋兩種大小搭載M4系列處理器的14吋與16吋MacBook Pro將

Chevelle.fu

NVIDIA團隊釋出NVLM 1.9多模態大型語言模型，視覺語言媲美GPT-4o、Llama 3-V 40.5B、InternVL 2抗衡

NVIDIA研究團隊重磅釋出NVLM 1.0開源多模態大型語言模型，最大版本NVLM-D-72B達720億參數(72B)，開發團隊聲稱其視覺語言精確度媲美業界領先的GPT-4o私有模型以及Llama 3-V 40.5B、InternVL 2等開源模型，在舉出的例子甚至還包括理解迷因圖；不過NVLM 1.0旨在強化AI產業的發展，僅供作為研究，不允許商業使用。 ▲以執行長黃仁勳的照片為例展現出色的指令追蹤能力，並為圖片提供高品質且詳盡的描述 ▲甚至可以理解迷因圖背後想表達的意涵 NVIDIA研究團隊表示NVLM 1.0可在視覺語言與純文字的項目與領先的大型語言模型相當，甚至在OCRBench 和

Chevelle.fu

照片中提到了LINE OF、NVIDIA、NVIDIA，跟英偉達、英偉達有關，包含了電腦展 GB200、2024 台北國際電腦展、布萊克威爾、英偉達

NVIDIA Blackwell正式於MLPerf Inference基準測試活動亮相，於Llama 2 70B推論性能提升4倍

NVIDIA在2024年3月的GTC大會公布全新架構的Blackwell加速器，隨著Blackwell步入量產急將出貨，Blackwell首次於MLPerf Inference v4.1基準測試活動亮相，並在所有資料中心測試項目刷新紀錄，其中於處理MLPerf最大LLM工作量的Llama 2 70B，相較NVDIA H100 Tensor Core GPU高出4倍。 ▲Blackwell首次測試的成績相當亮眼雖然Blackwell仗著新架構刷新各項紀錄，然而基於Hopper架構的NVIDIA H200 Tensor Core GPU也在此輪的於MLPerf Inference基準測試有亮眼的

Chevelle.fu

照片中跟Kubernetes有關，包含了英偉達微服務、英偉達、微服務、英偉達、圖形處理單元

NVIDIA推出Mistral-NeMo-Minitron 8B語言模型，僅有80億參數規模但精度不遜120億版本

現在在邊際裝置執行大型語言模型的困難是參數規模，理論上相同技術但參數越大具備更優異的精確度與性能，不過考慮到邊際裝置的運算性能、記憶體等條件，又需要在規模與性能取捨；NVIDIA繼2024年7月攜手Mistral AI公布開源Mistral NeMo 12B模型後，再度推出以其為基礎精簡的Mistral-NeMo-Minitron 8B，雖然參數規模自120億縮減至80億，但精度與性能毫不遜色，足以於NVIDIA RTX技術驅動的工作站執行聊天機器人、虛擬助理、內容生成等應用。此外，對於希冀在算力與記憶體更有限的設備執行特定功能的邊際運算生成式AI，如智慧手機、機器人、嵌入式平台執行更小規模

Chevelle.fu

照片中提到了NVIDIA、NVIDIA ACE and Digital Human Tech、Showcased In First Game，跟英偉達有關，包含了屏幕截圖、個人電腦、屏幕截圖、文本、儀表

科幻機甲對戰遊戲Mecha Break展示採用NVIDIA ACE的新一代遊戲NPC互動技術，全新4B參數大型語言模型能在主機執行

生成式AI技術對於遊戲產業不僅止於美術領域，NVIDIA也希冀大型語言模型LLM能為遊戲的NPC角色賦予更逼真的互動體驗，並自2023年的Computex開始展示NVIDIA ACE數位人技術，一路自單一的NPC角色、NPC彼此之間的互動到透過一台搭載RTX顯示卡的電腦單機進行展演；而NVIDIA在Gamescom 2024攜手近未來科幻機甲遊戲Mecha Break進行展示，首次在商業遊戲環境展示結合NVIDIA ACE與數位人的NPC技術，並藉由全新的Nemotron-4 4B Instruct模型在裝置端直接執行流暢的對話。 ▲最新的ACE NIM將語言模型提升至Nemotron-4 4

Chevelle.fu

照片中提到了Snapdragon is a product of Qualcomm Technologies, Inc. and/or its subsidiaries.、Snapdragon、7s，跟高通公司有關，包含了塔樓、手機、摩天大廣告、公寓、功能手機

高通公布Snapdragon 7s Gen 3平台，將能執行大型語言模型的AI下放至平價手機

雖然AI功能已經廣泛使用在智慧手機，不過當前提到AI手機，則莫過於需要支援生成式AI功能，只是目前真正可執行生成式AI的智慧手機多為高階機種以上，但高通正開始使主流機型也能享受生成式AI，使更多用戶感受AI與生活的結合；高通宣布推出Snapdragon 7s Gen 3平台，除了增強的性能以外，還可支援如Baichuan-7B、1B級的Llama 2等大型語言模型。搭載Snapdragon 7s Gen 3的裝置預計於2024年9月問世，包括Realme、三星、Sharp、小米等都將推出採用Snapdragon 7s Gen 3的終端產品。 ▲Snapdragon 7s Gen 3強調可執行大

Chevelle.fu

照片中提到了ADVANTECH、Enabling an Intelligent Planet、MEDIATEK，跟研華科技有限公司、研華科技有限公司有關，包含了紙製品、商標、文本、儀表、中號

研華科技導入聯發科生成式AI服務平台MediaTek Davinci提升員工效率，並將在內部展開AI創新競賽使教學工作坊

台灣物聯網智慧系統與嵌入式平台研華科技Advantech宣布與聯發科展開策略合作，研華科技全面導入聯發科生成式AI服務平台MediaTek Davinci(聯發科技達哥)，作為提升員工日常生活生產力的工具，使組織中培育AI創新思維，並體現Everyday AI的企業政策；同時研華也將透過MediaTek Davinci平台舉辦一系列生成式AI創新競賽與工作坊，激發員工活用AI發揮創作力。 ▲MediaTek Davinci是聯發科推出的生成式AI服務平台，可支援包括因應繁體中文最佳化的MR VreeXe等多元大型語言模型 MediaTek Davinci(聯發科技達哥)是聯發科於2024年4月

Chevelle.fu

美光推出PCIe Gen 5通道的Micron 9550 NVMe資料中心SSD，強調為自有控制器、NAND、DRAM與韌體

美光宣布針對資料中心市場推出Micron 9550 NVMe SSD，鎖定AI工作負載需求並兼具能源效率；Micron 9550 NVMe SSD為PCIe Gen 5通道，搭載美光自有控制器、NAND、DRAM與韌體，可發揮同級最佳效能，並與出色的連續與隨機讀寫性能提供如大型語言模型(LLM)所需的高連續讀取性能，以及圖像神經網路(GNN)所需的高速隨機讀取性能，同時也針對AMD與Intel資料中心平台具備出色的相容性。 Micron 9550 NVMe SSD提供自3.2TB至30.72TB等容量，以及U.2、E1.S或E3.S等封裝，目前已經進行送樣。 ▲美光Micron 9550為美光

Chevelle.fu

友站推薦

【Howie 商業投資】生成式 AI 唬爛怎麼解？AI21 Labs 積極讓大型語言模型提供無誤資訊

INSIDE - Howie Su

【Howie 商業投資】生成式 AI 唬爛怎麼解？AI21 Labs 積極讓大型語言模型提供無誤資訊

【Howie 商業投資】哪個人工智慧模型最常侵犯版權？

INSIDE - Howie Su

【Howie 商業投資】哪個人工智慧模型最常侵犯版權？

阿里巴巴不甘示弱，發佈 AI 對嘴模型「EMO」可生成逼真表情動作

INSIDE - Jocelyn

阿里巴巴不甘示弱，發佈 AI 對嘴模型「EMO」可生成逼真表情動作

相關文章