黑龙江
DeepSee k宣布推出新一代开源大语言模型DeepSeek-V3.1，并将其权重和代码在 GitHub等平台上开放。
这一模型延续了DeepSeek-V3的强大能力，并在多个关键方面进行了升级。
01｜模型参数与架构
DeepSeek-V3.1采用了改进的Transformer架构，总参数规模达到约6850亿。
其中采用了Mixture-of-Experts（MoE）稀疏专家方案，每个token推理时激活约370亿参数。
值得一提的是，DeepSeek-V3.1取消了传统MoE所需的负载均衡损失，避免了额外开销。
同时引入多token预测训练目标，进一步增强模型性能。
在训练过程中，DeepSeek团队使用了FP8混合精度和自研的DualPipe流水线并行算法，在2048张NVIDIA H800 GPU上完成了14.8万亿token的预训练，整个过程稳定高效，没有出现不可恢复的损失激增。
02｜上下⽂窗⼝扩展
DeepSeek-V3.1最大的改进在于上下文长度的显著扩展。
新版本将模型的上下文窗口提升到128K tokens（约相当于300页文本）。
这意味着模型在一次交互中可以处理和记忆远超以往的信息量，能够支持更长的对话和更大规模的文档分析。
为了实现超长上下文，DeepSeek采用了名为YaRN（Yet another Random Noise）的位置编码扩展方案。
通过在长上下文训练中引入随机噪声扰动，模型在保持长程依赖建模能力的同时，有效缓解了长序列训练的不稳定问题。
实际测试显示，DeepSeek-V3.1在不同长度上下文下表现稳健，即使输入长达128K tokens时依然能够准确定位关键信息。
03｜性能表现
凭借更大的参数规模和优化的训练策略，DeepSeek-V3.1在各项基准测试中表现优异。
综合评估显示，它不仅超越了此前所有开源模型的水平，而且在许多任务上达到了与领先闭源模型相当的性能。
例如， 在知识问答和推理测试（MMLU-Pro等） 上， DeepSeek-V3.1的准确率达到75.9%。
在数学和代码领域，该模型更是展现出强大实力：在MATH数学题基准上准确率超过90%。
在Codeforces编程竞赛评测中，其解题能力达到前51.6百分位，大幅领先其他开源模型。
在长文档理解的“大海捞针”（NeedleInAHaystack）测试中，DeepSeek-V3.1在不同长度上下文下均能保持高准确率，展现了扩展至128K后的稳健表现。
总体而言，DeepSeek-V3.1被认为是目前最强大的开源大模型。
04｜开源与获取⽅式
DeepSeek-V3.1延续了DeepSeek一贯的开放策略，将模型权重和代码完全开源发布。
开发者可以在GitHub、Hugging Face等平台获取模型权重及推理代码。
DeepSeek官方还提供了多种本地部署方案和推理工具，包括轻量级的FP8/BF16推理演示、社区优化的推理框架（如LMDeploy、 vLLM等）以及分布式推理实现。
对于不具备大规模算力的用户，DeepSeek在其官方平台上提供了在线体验和API接口。用户现在可以通过网页端、对V3.1模型进行使用。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
