DGX spark 双击并联，AI产品经理的大模型微调开始

最近小龙虾爆火之后，除了带火Macmini 之外，还有Mac studio ultra 512GB，几乎在小黄鱼要翻倍的价格才能买到。

而苹果即可做普通办公使用，还能够做服务器、也能够做大模型，就导致现在机器不断涨价，这也导致去年开始发货的英伟达DGX spark 也开始涨价了。

趁着内存还没有涨价到这么高，我带着的团队也就优先选择了Dgx spark来作为GPU 服务器的底座，来作为接下来脑机接口大模型的训练底座。

当然现在在全球还没有哪一个团队公开选择用DGX spark 并联2台以上作为GPU底座使用，而我们团队将以脑机接口科研出发，探索如何进行2台以上的并联，并且来对比和市面上的其他4090GPU能耗、性能对比。

如下毕竟相比4090 ，这台机器的GB10在带宽是瓶颈，没有办法进行模型训练有多高，但是功耗确实我们团队所选择的核心原因。

因为在实验室环境，没有专业的机房导致这种4090级别的显卡没有办法在普通工作环境跑起来。

项目

GB10（NVIDIA Grace Blackwell Superchip）RTX 4090

架构

Blackwell GPU + Grace CPU (AI 专用 SoC)

Ada Lovelace（消费/游戏/创意）

CUDA 核心

≈6,144（与 RTX 5070 级别）

16,384

显存容量

128 GB LPDDR5X 统一内存

24 GB GDDR6X

显存带宽

≈273 GB/s

≈1,010 GB/s

典型用途

专业 AI、大模型推理/训练候选

游戏、创意、深度学习推理/训练

TDP / 功耗

约 140 W（低）

约 450 W（高）

FP32 理论算力

约 29.7 TFLOPS

约 82.6 TFLOPS

AI 取向规格

Blackwell Tensor 核（FP4/FP8）

强大的 Tensor Cores

实际基准

缺乏统一公开性能数据

消费级最强单卡之一

虽然在显存带宽上，GB10的DGX spark 模型训练能力弱，但是有一点是能效比优势巨大，耗电少，就可以在家里安装与部署，而不是要专门的特别电线来供电。

所以在家庭与学校实验室，带宽就降低，因此才会有如此低的功耗。但是也就方便了模型训练与模型推理。

唯一的坏处就是慢了点，因为带宽问题就导致计算慢，但是这也是现在科研团队适合使用的，因为他们有足够的时间来训练，而不赶时间。

其次统一内存120GB，让其可以部署更多模型，完成推理，从而进行微调，这也是现在DGX spark的优势。

小龙虾本地算力跑通了再租赁

针对现在很多开源的模型，很多开发者要调试首先要反复调试与部署，这就会消耗很多tokens了，再说系统跑通与用户测试。

像现在小龙虾这样，反复的测试就会需要消耗不少算力，所以对于个人来说花费几万来购买一个GPU实际是非常不划算的，因为几万块钱相当于一台顶配Mac 或者笔记本电脑了。总之现在有GPU非常适合科研团队去尝试使用，但是这需要公司投入资源。

大模型微调，很少有AI产品的团队会做

这一点其实很少有团队会做。从现在来看，很多 AI 团队主要停留在部署大模型阶段，而真正进入到模型微调（Fine-tuning）的团队只占很小一部分，可能不到10%。因为模型微调不仅需要算力资源，还需要数据工程、训练框架以及算法经验等综合能力。

因此，目前能够真正开展大模型微调工作的团队，大多集中在：

• 高校计算机实验室

• 科研院所课题组

• 互联网公司 AI 团队

很多普通 AI 产品团队通常只做模型调用，而不会涉及模型训练与优化。

模型训练（微调）的主要工作内容如下：

• 训练数据准备：数据收集、清洗、标注与格式整理

• 模型选择：选择合适的基础模型（如 Llama、Qwen、DeepSeek 等）

• 微调方式设计：如 LoRA、QLoRA 等低成本微调方式

• 训练环境搭建：配置 GPU、CUDA、深度学习框架

• 模型训练：参数设置、训练迭代与显存优化

• 模型评估：通过 benchmark 或业务测试验证效果

• 模型优化：根据结果继续调整数据或训练策略

模型部署的工作内容如下：

搜索模型 → 下载模型 → 部署成功 → 运行推理 → 封装为 API 即可。

整体流程相对简单，主要工作集中在：

• 模型选择与下载

• 推理环境配置

• 启动模型服务

• 封装 API 接口

• 接入到业务系统

由此这也是我们团队选择DGX spark的原因。

今天的分享就在这儿，后续我会带着团队分享我们做AI模型训练的案例与经验

题图来自 Unsplash ，基于 CC0 协议， 如有侵权，请联系pmtalk123删除

“分享产品经理改变世界的点滴”

产品顾问｜ 产品咨询｜培训合作

请添加微信PMxiaowanzi

最近我的原创

最近我的视频原创

每日案例拆解库，AI等产品打卡群

我创建的产品设计打卡社群，加入后365天，每天体验一款APP。提升产品设计能力，同时有1300份体验报告帮助你找到竞品

在这里你可以随时查询到你想找的各类竞品行业APP，无须自己亲自下载就可以马上得到APP的一手产品优化、交互设计、功能描述信息。

从优化&建议、商业模式、运营、功能描述、交互设计、产品定位至少6个维度，体验一款应用。

平均1天1块钱，扫码购买即可加入

连续体验48款应用，通过后原路退回

报名后添加星球助理

PMTalk123