strata支持Qwen3.6-35B-A3B模型了，显存要求下探到8GB了

Strata v0.1.44 本地部署新选择：Qwen3.6-35B-A3B，低显存也能跑的MoE编程强模型。

面向本地AI玩家、独立开发者，兼顾代码Agent、长文本、图文多模态，Strata专属优化引擎，大幅降低高端MoE模型本地运行门槛。

很多人想在个人电脑跑高性能大模型，但30B+稠密模型对显存要求苛刻，动辄需要24GB以上显存，普通消费级显卡很难驾驭。Strata v0.1.44版本新增原生支持 Qwen3.6-35B-A3B，这是通义千问推出的稀疏MoE模型，总参35B，每一次推理仅激活3B参数。依托Strata专为MoE设计的混合内存调度、MTP多token投机解码内核，它打破了高端大模型的硬件壁垒，8GB显存显卡即可承载，瓶颈转移到系统内存。

✨ 模型核心亮点

Qwen3.6-35B-A3B主打Agent智能体编程，在SWE-bench、Terminal-Bench等代码基准上表现优秀，原生支持图文多模态，最大上下文窗口262K，支持工具调用、结构化输出，适合本地写项目、多文件工程开发、截图读图分析、长文档RAG。

区别于llama.cpp、Ollama这类通用推理框架，Strata原生适配这个模型的MTP推测解码模块，可以大幅拉高token输出速度，同硬件下推理速度显著领先其他后端。

️ 硬件门槛：显存要求极低，系统内存才是核心

Strata采用独特的专家权重调度策略，不需要把全部模型权重塞进显卡显存。显存仅存放KV缓存与当前激活专家，剩余专家权重放在系统内存，按需调度加载。

仅支持 NVIDIA CUDA / AMD HIP显卡；Intel SYCL、Mac引擎暂不支持该模型。

UD-Q4_K_XL版本：模型包~22GB，最低内存要求32GB，推荐内存≥44GB，最低显存要求8GB，适用显卡有RTX3060/4060/4070/4080，AMD 7000系。

UD-Q6_K_XL版本：模型包~29GB，最低内存要求44GB，推荐内存≥52GB，最低显存要求8GB，适用显卡有RTX4070Ti/4080，AMD高端卡。

Q8_0版本：模型包~34GB，最低内存要求52GB，推荐内存≥64GB，最低显存要求8GB，适用显卡有RTX4080/4090，大内存AMD平台。

重点：哪怕你只有8GB、12GB显存的消费级显卡，只要系统内存达标，就可以流畅加载运行。这是传统稠密大模型很难做到的。

⚡ 不同硬件配置下Token速度区间（Strata，开启 --mtp 2 MTP加速）

数据来自Strata v0.1.44官方Release实测，开启MTP投机解码，专家常驻内存，无重度swap抖动。

1. UD-Q4_K_XL（推荐主力版本，质量速度甜点）

- 高端平台（64GB内存 + RTX4080 16GB）：解码 80~160 tok/s，4K长Prompt预填可达3400+ tok/s

- 中端平台（44GB内存 + RTX3060 12GB）：解码 50~80 tok/s

- 底线平台（32GB内存，刚好达标，会少量swap）：解码25~45 tok/s，长上下文会降速

2. UD-Q6_K_XL（高质量折中）

- 高端平台（64GB内存 + RTX4080 16GB）：解码 60~95 tok/s

- 44GB内存中端平台：40~70 tok/s

3. Q8_0（最高保真，基准无损版本）

- 64GB内存 + RTX4080 16GB：解码 40~70 tok/s

- 内存余量紧张，后台多开IDE/浏览器容易触发swap，速度波动更大

速度说明：MoE模型预填充（prefill）速度极快，尤其是长prompt；解码生成token速度受PCIe带宽、内存带宽影响。MTP参数 --mtp 2 是Strata专属加速开关，可提升最高接近一倍解码速度。

量化版本怎么选

- UD-Q4_K_XL【首选推荐】

93.1% token对齐Q8_0基准，代码场景肉眼几乎感知不到质量损失。文件体积最小，内存占用压力最低，速度优势巨大，绝大多数个人主机优先选这个。

- UD-Q6_K_XL【均衡折中】

94.6% token对齐基准，质量明显优于Q4，速度衰减可控。适合对输出严谨度有更高需求，又不想牺牲过多速度。

- Q8_0【极致保真】

作为质量基准，量化噪声最低，适合代码审计、严谨逻辑推导。代价是模型文件更大，速度下降明显，内存占用压力最高。

快速上手部署

1. 拉取Strata v0.1.44源码，运行 START-HERE.bat （Windows）或 ./setup.sh （Linux）

2. 在模型选择菜单拉到最下方，选中Qwen3.6-35B-A3B，挑选对应量化包

3. 启动命令示例（开启MTP加速）

plaintext

START-HERE.bat --mtp 2

4. 启动后WebUI访问地址 http://127.0.0.1:8080 ，同时自带OpenAI兼容API，可以接入Cline、Claude Code等代码Agent工具。

更新脚本UPDATE.bat / update.sh，升级引擎时自动保留模型文件、对话记录、自定义配置，无需重复下载权重。

适合人群与场景

✅ 独立开发者，本地搭建代码Agent，批量处理多文件项目

✅ 喜欢本地跑大模型，显卡显存8~12GB，但拥有大容量内存的玩家

✅ 需要长文档阅读、RAG知识库、图文识图、截图解析

✅ 不想花几十GB硬盘空间，希望兼顾模型能力与下载成本

❌ 不适合：Mac电脑、Intel Arc显卡用户（当前版本不支持该模型）；内存低于32GB的主机。

结尾小结

Strata v0.1.44加入Qwen3.6-35B-A3B，填补了消费级PC跑高性能MoE模型的空白。不再强求24GB+超大显存，大内存+8GB到12GB显存的主流PC就能获得很强的代码智能体能力。如果你一直在寻找本地部署的轻量化高性能编程大模型，这套组合值得一试。

如果你是16+64以上的配置，还是推荐qwen3.8 flash next模型，那个毋庸置疑的更强。