比英伟达会玩，本地部署 Qwen3.6 ，速度翻了 2.5 倍

大家好，我是 Ai 学习的老章

NVFP4一直是英伟达专属，前几天我也刚介绍：

没想到大模型量化巨星 Unsloth 比英伟达还会玩，他们发布了全新的 Dynamic NVFP4 量化技术，直接让本地跑 Qwen3.6 的速度翻了 2.5 倍，而且精度几乎无损，就问你猛不猛吧

先说结论

如果你手上有一张 RTX 5090 或者 B200 这样的 Blackwell 架构 GPU，那这次的 NVFP4 量化绝对值得关注：

• Qwen3.6-27B：跑在 24GB VRAM 里，速度比标准 NVFP4 快 2.5 倍

• Qwen3.6-35B-A3B：高并发下在 B200 上飙到17,561 tokens/s

• 精度呢？MMLU-Pro、GPQA、AIME 2025 全线对齐 BF16 水平

• 附赠FP8 KV Cache 校准，上下文长度直接翻倍

一句话总结：又快又准，还省显存

Qwen3.6 NVFP4 吞吐量对比 Qwen3.6 速览

先快速回顾一下 Qwen3.6 本身——这是阿里 4 月份发布的新一代混合思维多模态模型家族，包含两个版本：

模型

参数量

特点

Qwen3.6-27B

270 亿（Dense）

旗舰级编码能力，SWE-bench Verified 77.2

Qwen3.6-35B-A3B

350 亿总参/30 亿激活（MoE）

每 token 只激活 3B 参数，推理效率极高

关键能力：

• 256K 原生上下文，YaRN 可扩展到 100 万

• 201 种语言支持

• Agentic Coding：前端工作流和仓库级推理表现优异

• Thinking Preservation：保留历史思维链，多轮对话更连贯

• 多模态：支持图片、视频理解

Qwen3.6-27B 在 SWE-bench Verified 上拿到 77.2 分，Terminal-Bench 2.0 上 59.3 分——这是跟 Claude 4.5 Opus 同档的成绩，就这么说吧，27B 的密集模型做到这个水平，确实离谱

Qwen3.6-27B 官方 Benchmark Dynamic NVFP4 到底做了什么

这是整篇文章的重头戏，先解释一下为什么 Unsloth 的 NVFP4 比 NVIDIA 官方的 NVFP4 快这么多

核心差异：W4A4 vs W4A16

NVIDIA 官方的 NVFP4 量化方案是W4A16——权重是 4-bit，但激活值（Activation）仍然是 16-bit，这意味着矩阵乘法时，GPU 需要把 4-bit 权重先反量化到 16-bit，再做计算

Unsloth 的方案是W4A4——权重和激活值都压到 4-bit，直接利用 Blackwell 架构的FP4 Tensor Core做原生计算，少了反量化这一步，吞吐量直接起飞

下面这张图一目了然地展示了两种方案的核心区别：

W4A4 vs W4A16 对比 动态层量化

"Dynamic" 不是随便起的名字，Unsloth 不是把所有层一刀切量到 4-bit，而是：

1. 重要层保留更高精度——对模型输出影响大的层会被上采样

2. 校准数据集精选——混合 Unsloth 自有数据集 + UltraChat，专门针对编程、工具调用、对话三个场景优化

3. Chat Template 改进——修复了编码和工具调用的一致性问题，减少循环和其他已知问题

这就是为什么精度能保住——不是暴力压缩，而是"该省省、该花花"

内置 MTP 加速

MTP（Multi-Token Prediction）是 Qwen3.6 的独门武器，可以一次预测多个 token，Unsloth 这次把 MTP 张量直接内置到 NVFP4 量化模型里，相当于开箱即用，不需要额外加载 MTP 模块

FP8 KV Cache 校准

另一个实用改进：通过 FP8 KV Cache 校准，上下文长度可以翻倍，对于 Agent 场景来说，更长的上下文意味着可以记住更多的对话历史和工具调用结果

性能跑分：说数据 吞吐量对比（1×B200，128 并发）

Unsloth 官方在 B200 上做了完整测试：

• Qwen3.6-27B NVFP4：比 NVIDIA 官方 NVFP4 快2.5 倍

• Qwen3.6-35B-A3B NVFP4：1.56 倍提速（精准版）

• Qwen3.6-35B-A3B NVFP4-Fast：1.79 倍提速（全 W4A4 版本）

• 高并发场景下，35B-A3B 可以飙到17,561 tokens/s

解码速度（Decode Speed）方面：27B 提升 1.03 倍，35B-A3B 提升 1.17~1.22 倍

精度对比：几乎无损

这是最让人放心的部分——量化后精度跟 BF16 基本持平：

Qwen3.6-27B NVFP4 精度 Benchmark：

Provider

MMLU-Pro

GPQA

AIME 2025

Unsloth NVFP4

NVIDIA NVFP4

FP8

BF16

Qwen3.6-35B-A3B NVFP4 精度 Benchmark：

Provider

MMLU-Pro

GPQA

AIME 2025

Unsloth NVFP4

Unsloth Fast

NVIDIA NVFP4

FP8

BF16

Unsloth 还特别检查了输出长度——NVFP4 量化后的模型并没有"思考更久"来弥补精度，所以加速是实打实的，不是靠多想来凑的

两个 35B-A3B 版本的选择

Unsloth 给 35B-A3B 出了两个版本：

版本

特点

加速比

NVFP4

部分层保留高精度，更准确

1.56x

NVFP4-Fast

全 W4A4，最大速度

1.79x

如果你跑 Agent 或者工具调用场景，建议用标准版；如果纯聊天或者对速度更敏感，Fast 版本更合适

硬件要求

这是最关键的限制——NVFP4 需要 Blackwell 架构 GPU：

• ✅ RTX 50 系列（5090、5080 等）

• ✅ DGX Spark

• ✅ B200 / B300

• ❌ RTX 40 系列及更早的卡不支持

如果你的 GPU 不是 Blackwell 架构，别急——Unsloth 的 Dynamic GGUF 量化同样优秀，配合 MTP 在旧卡上也能跑出不错的速度：

Qwen3.6

3-bit

4-bit

6-bit

8-bit

BF16

27B

15 GB

18 GB

24 GB

30 GB

55 GB

35B-A3B

17 GB

23 GB

30 GB

38 GB

70 GB

怎么跑起来 方案一：vLLM（推荐）

# 安装 vLLM
uv venv myenv --python 3.12
uv pip install --python myenv/bin/python \
    "vllm==0.24.0" "nvidia-cutlass-dsl==4.5.2" --torch-backend=auto

 # 启动 27B NVFP4
vllm serve unsloth/Qwen3.6-27B-NVFP4 \
    --speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'

 # 或者 35B-A3B Fast 版本
vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4-Fast \
    --speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'

python -m sglang.launch_server \
    --model-path unsloth/Qwen3.6-27B-NVFP4 \
    --speculative-algorithm NEXTN \
    --speculative-num-steps 3 \
    --speculative-eagle-topk 1 \
    --speculative-num-draft-tokens 4

如果你不想折腾命令行，Unsloth Studio 提供了完整的 Web UI：

# 安装
curl -fsSL https://unsloth 。ai/install。sh | sh


 # 启动
unsloth studio -p 8888

打开浏览器搜索 Qwen3.6，下载模型就能直接跑，Studio 会自动帮你设置最优的推理参数，包括 MTP 配置

部署为 API 服务

跑起来之后，可以直接用 OpenAI 兼容的 API 调用：

from openai import OpenAI

 client = OpenAI(
    base_url="http://127.0.0.1:8000/v1",
    api_key="sk-no-key-required",
)

 completion = client.chat.completions.create(
    model="unsloth/Qwen3.6-27B-NVFP4",
    messages=[{"role": "user", "content": "帮我写一个 Snake 游戏"}],
    temperature=0.6,
    top_p=0.95,
    extra_body={"top_k": 20},
)
print(completion.choices[0].message.content)

这意味着你可以把它接入 Claude Code、Codex、或者任何支持 OpenAI API 的工具链

和其他方案的对比

Unsloth NVFP4

NVIDIA NVFP4

Unsloth GGUF + MTP

Ollama

速度

⭐⭐⭐⭐⭐

⭐⭐

⭐⭐⭐

⭐⭐

精度

⭐⭐⭐⭐⭐

⭐⭐⭐⭐

⭐⭐⭐⭐

⭐⭐⭐

易用性

⭐⭐⭐⭐

⭐⭐⭐

⭐⭐⭐⭐⭐

⭐⭐⭐⭐⭐

GPU 要求

Blackwell

Blackwell

任意

任意

推荐场景

高吞吐生产部署

生产部署

个人开发/本地

入门体验

总结

Unsloth 这次的 Dynamic NVFP4 量化，核心创新就三个字：W4A4——把权重和激活值都压到 4-bit，直接用 Blackwell 的 FP4 Tensor Core 做原生计算，绕过了传统方案的反量化瓶颈

对于有 Blackwell GPU 的用户来说，这基本是目前跑 Qwen3.6 最快的方案，27B 模型只需要 24GB VRAM，精度还跟 BF16 齐平，对于还在用 40 系卡的同学，Unsloth 的 Dynamic GGUF + MTP 依然是最优选择

最后的最后，提醒一下：不要用 CUDA 13.2（会输出乱码），用 13.2 以下或者 13.3 版本