网易首页 > 网易号 > 正文 申请入驻

本地配置300亿参数MoE模型,英伟达的AI PC又往前进了一步

0
分享至

NVIDIA在官方博客悄然更新了Local AI PC信息,核心是围绕 RTX PC、DGX Spark、DGX Station 等客户端平台加速开源 AI 模型与智能体。无论是你手中的GeForce RTX GPU,还是计划未来购置的DGX Spark,或者AI工作站,都将成为此次更新的直接受益者。现在我们不妨花点时间,看看这次更新中有什么是值得关注的。



300亿参数MoE本地部署

重头戏自然就是NVIDIA自研开源新模型Nemotron 3.5 Lightning。这是一套拥有300 亿参数的 MoE混合专家开放权重模型,转为本地智能体设计,可在大型多智能体系统中承担特定任务。

Nemotron 3.5 Lightning可以做到token 生成速度最高达同级开源模型的4倍,智能体任务整体完成时间加快约30%。因为权重开放,用户可以微调它来写特定风格的邮件报告、掌握摄影/游戏/3D 设计等专业知识,或遵循特定的编码规范,从而驱动更个性化的本地智能体体验,比如邮件日历助手、智能家居代理、编程搭档。



目前,英伟达与 vLLM、Ollama、llama.cpp、LM Studio 合作提供本地部署体验,包括NVFP4 和 GGUF 两种格式,其中Unsloth 首日即提供优化量化版本Unsloth Desktop,这是首个既能本地训练又能本地运行AI模型全开源桌面端应用,集成推理、图像/视频扩散、微调、智能体、网页研究和代码执行,这是非常厉害的。

这套大模型覆盖的范围很广,从 NVIDIA RTX PC、DGX Spark 和 OEM GB10 系统、Jetson,向上扩展到 RTX PRO 工作站、DGX Station、GB300 桌面系统乃至数据中心和云端。可以这么理解,只要是Blackwell GPU,都有机会装载这套系统。宏碁、华硕、戴尔、惠普、联想、微星等均有 Blackwell 系统在售。



另外,NVIDIA还同步发布了NeMo Switchyard。这是一个开源路由库,可根据准确性、速度和成本自动把智能体工作流的每一步分配给最合适的模型,内部基准显示它能在保持前沿级任务完成率的同时,把成本降到单用Opus 4.8的约三分之一。

另一个同样值得关注的300亿参数模型是来自Meta的Muse Glimmer,其拥有120K+ 上下文窗口,专为编码和本地智能体打造。NVIDIA宣布RTX GPU已经对其进行了优化,包括GeForce RTX PC、DGX Spark、DGX Station 和 Jetson,其中在GeForce RTX 5090上可以跑出200+ token/s的性能表现。



Meta Muse Glimmer支持NemoClaw 构建智能体、用 NeMo Automodel 在本地微调,数据完全留在本机。而适用场景包括私有文件处理、凭据/密钥本地处理、多步骤任务和长时工作流。另外llama.cpp还支持DFlash推测解码加速,GeForce RTX 5090上解码速度最高达基准的 3.1 倍,相当于 233 token/s。

顺带一提,DFlash 推测解码是一种大语言模型推理无损加速技术,由加州大学圣地亚哥分校Z Lab 团队于 2026 年 2 月提出,核心思想是用块扩散模型做草稿、用大模型做验证。因此也可以看到RTX PC支持的速度是非常快的。

本地视频生成更猛了

另一个更新是在于本地视频生成更厉害了。NVIDIA将LTX开源视频生成模型升级到了LTX-2.5版本,同样针对RTX GPU、DGX Spark和DGX Station优化,包括新增多镜头(multishot)支持,跨剪辑保持一致性。同事,新的扩散视频解码器提升画质、减少伪影。

LTX-2.5还引入了新的提示词增强器,采用Gemma4 E2B加定制Gemma4 12B文本编码器,提示遵循度大幅提升。



另外LTX-2.5本身也提升了处理性能。在NVIDIA RTX 6000 PRO上性能提升最高20%、显存节省40%,提供NVFP4、FastVideo及开箱即用的ComfyUI工作流。

DGX Spark平台还增加了NVIDIA Sync Cluster Assistant应用,可自动发现并把多台 DGX Spark 组建成高速集群。实现方式是通过ConnectX-7端口互联,自动配置网络、跨节点调度负载并监控健康状况,无需手动组网。这样像GLM 5.2、DeepSeek V4 Flash这类大模型就能在桌面集群上运行。



而在这个月晚些时候,DGX Spark还将获得原生ARM64 Linux版Google Chrome支持,可以通过DGX Dashboard完成一件安装,并直接同步账号和完整的生态扩展。新的Sync Resource Monitor提供单机或整个集群CPU/GPU的实时与历史用量视图,无需额外监控软件,让DGX Spark的系统体验更为完善。

NVIDIA这轮更新主要是把AI PC从单纯跑模型,推进到在本地常驻运行智能体的阶段,依靠NVFP4/GGUF等格式和llama.cpp、vLLM、ComfyUI的优化把开源模型推理速度翻倍提升,靠DGX Spark集群组网和Sync工具降低多机部署门槛,再用Nemotron 3.5 Lightning 这类开放权重模型补上可定制和可微调环节,从而让整个RTX/DGX客户端平台变得更为完整。



声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
为避让混凝土搅拌车,40多万新能源车撞上绿化带后侧翻几乎报废,安全气囊却一个都没弹出......售后回复:撞击力度不够,撞的点位不对

为避让混凝土搅拌车,40多万新能源车撞上绿化带后侧翻几乎报废,安全气囊却一个都没弹出......售后回复:撞击力度不够,撞的点位不对

都市快报橙柿互动
2026-10-25 10:40:27
110-115,夺冠热门惨遭三连败,不得不说詹姆斯选队眼光很毒辣!

110-115,夺冠热门惨遭三连败,不得不说詹姆斯选队眼光很毒辣!

我就是一个说球的
2026-10-25 13:05:27
二十届中央第八轮巡视对象公布

二十届中央第八轮巡视对象公布

上观新闻
2026-10-24 19:21:34
基辅准备让斯拉维扬斯克和克拉马托尔斯克投降,已开始城市群的疏散

基辅准备让斯拉维扬斯克和克拉马托尔斯克投降,已开始城市群的疏散

阿尔卑斯瞭望
2026-10-24 17:11:17
陈宇昕事件持续发酵!父母身份被曝光,难怪他是个精日分子

陈宇昕事件持续发酵!父母身份被曝光,难怪他是个精日分子

平老师666
2026-10-24 20:11:26
太夸张了,iPhone Duo 已经开始降价出售!

太夸张了,iPhone Duo 已经开始降价出售!

XCiOS俱乐部
2026-10-25 09:31:57
“支持有条件的地方先行先试”!总理最新部署,事关这一重要工作

“支持有条件的地方先行先试”!总理最新部署,事关这一重要工作

政知新媒体
2026-10-24 21:24:56
自掏腰包150万、每天睡2小时、23年没回家:某高校“优秀导师”评选PPT曝光,“掏空父母养老钱做科研”竟被当成先进事迹表彰!

自掏腰包150万、每天睡2小时、23年没回家:某高校“优秀导师”评选PPT曝光,“掏空父母养老钱做科研”竟被当成先进事迹表彰!

学术眺望
2026-10-24 16:55:03
曝中国工厂每天拆数千张RTX 5090,只为改AI服务器

曝中国工厂每天拆数千张RTX 5090,只为改AI服务器

算力游侠
2026-10-24 19:23:57
毛不易婚礼发言事件闹大!没分寸大嘴巴,私密事也说,给新娘丢脸

毛不易婚礼发言事件闹大!没分寸大嘴巴,私密事也说,给新娘丢脸

林轻吟
2026-10-24 16:43:08
23岁女生拒绝学长的表白3年后,照片被配上捏造信息发到境外色情软件,涉事男子被刑拘,多名女性中招

23岁女生拒绝学长的表白3年后,照片被配上捏造信息发到境外色情软件,涉事男子被刑拘,多名女性中招

都市快报橙柿互动
2026-10-25 00:16:01
汽车踏板又被踩断,这次是一位女司机,网友:特牛逼?

汽车踏板又被踩断,这次是一位女司机,网友:特牛逼?

大厂财经社
2026-10-25 11:03:23
曾负债240万元的00后湖北小伙,手搓飞行滑板爆火后,现身回应“假飞”质疑!记者现场见证:不是AI合成,太震撼了!

曾负债240万元的00后湖北小伙,手搓飞行滑板爆火后,现身回应“假飞”质疑!记者现场见证:不是AI合成,太震撼了!

上观新闻
2026-10-25 07:33:35
居民用电“负增长”背后,中国经济的真实信号

居民用电“负增长”背后,中国经济的真实信号

凤眼论
2026-10-24 19:56:53
张雪亲自上阵,在家乡驾驶机车刷新世界纪录:给自己的表现打99分!

张雪亲自上阵,在家乡驾驶机车刷新世界纪录:给自己的表现打99分!

上观新闻
2026-10-25 12:45:04
文班、约基奇和扬尼斯各自的处境

文班、约基奇和扬尼斯各自的处境

张佳玮写字的地方
2026-10-25 12:34:32
61岁中国男子在芭提雅坠亡,房内发现手写信:愿将全部财产留给泰籍婚外伴侣

61岁中国男子在芭提雅坠亡,房内发现手写信:愿将全部财产留给泰籍婚外伴侣

大风新闻
2026-10-24 21:44:06
欧盟宣布取消对中国光伏玻璃加征关税,本土企业已全部倒闭,没保护必要了

欧盟宣布取消对中国光伏玻璃加征关税,本土企业已全部倒闭,没保护必要了

碳基生物关怀组织
2026-10-24 17:25:37
热播日剧公开抹黑中国,高市早苗点名要看:把中国人拍成施暴者,设计中方人员对日本情报人员实施切指、刺穿腹部情节

热播日剧公开抹黑中国,高市早苗点名要看:把中国人拍成施暴者,设计中方人员对日本情报人员实施切指、刺穿腹部情节

极目新闻
2026-10-25 10:45:51
毛不易婚礼发言引热议,新娘回应:“我和张哥都很好,非常感谢毛毛对我和张哥的祝福”

毛不易婚礼发言引热议,新娘回应:“我和张哥都很好,非常感谢毛毛对我和张哥的祝福”

韩小娱
2026-10-25 06:28:28
2026-10-25 14:03:00
爱极物 incentive-icons
爱极物
关注数码新科技~!
429文章数 46关注度
往期回顾 全部

科技要闻

苹果首款折叠屏没能养肥黄牛

头条要闻

毛不易婚礼致辞称"虽然不是我的新娘"引争议 新郎发声

头条要闻

毛不易婚礼致辞称"虽然不是我的新娘"引争议 新郎发声

体育要闻

文班、约基奇和扬尼斯各自的处境

娱乐要闻

低调复出后,全红婵当众落泪

财经要闻

手机洗牌:华为苹果守住了 小米OV换打法

汽车要闻

大众安徽与众09正式上市 双十一权益价16.99万起

态度原创

时尚
家居
本地
健康
军事航空

伊姐周六热推:电视剧《尚公主》;电视剧《小城良方》......

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

这么近,那么美,周末赴贺州丨大湾区后花园

痘痘能根治吗?皮肤科医生说实话

军事要闻

泽连斯基:不会为结束冲突放弃更多领土

无障碍浏览 进入关怀版