EMNLP 2026 杰出论文 | 大模型训练，数据配比难？日本NICT团队提出最优分布向量合并

不同数据，到底各训多少？每个模型训练师都绕不开这个问题。

训练集中不同数据配比出错，往往只能从头训。每个数据集各放多少入训练集，训练前就得定好；但是配比好不好，却要等训练结束评测后才知道。效果若不理想，可能要调整比例重新训练，试错成本极高。

日本信息通信研究机构（NICT）的宋海越及团队针对这一问题在论文「OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training」中提出了合并分布向量的解决方案，让持续预训练中尝试不同配比不必从头训模型。

此论文荣获EMNLP 2026 杰出论文奖（Outstanding Paper Award），是本届 17,661 篇投稿中获此殊荣的 22 篇论文之一。

• 论文：OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training
• 作者：Haiyue Song, Huy Hien Vu, Masao Utiyama
• 网站：https://shyyhs.github.io/optimer

方法 | 从合并数据集到合并分布向量

我们提出最优合并，OptiMer。

第一步，分别训练模型，学习各类数据。从基座模型出发，在各个数据集上分别进行持续预训练。例如，在日语，中文和数学数据上，分别各训练一个模型，得到三个模型。

第二步，提取分布向量，记录训练带来的能力变化。将每个训练后模型的参数减去基础模型的参数，可得到对应的分布向量。它代表了此数据上训练后模型发生的变化。

第三步，自动搜索，寻找最优合并比例。基础模型权重，加上不同比例的多个分布向量，外加指令遵循向量，可以得到一个新模型。根据其在验证集上的表现，我们可以不断优化分布向量的比例，达到最优合并。每次尝试只包含模型合并和评估，无需再训练。

效率 | 提升 15～35 倍

完成各个数据集的初始训练后尝试不同配比，传统数据混合方法仅训练一个配比就需要 129.3 小时，而 OptiMer 尝试 100 次配比仅需 8.5 小时。实验中我们发现在配比最优化阶段，OptiMer 实现了15～35 倍加速。

效果 | 优于混合数据训练

OptiMer 在 C-Eval，Japanese Leaderboard，MMLU，GSM8K，HumanEval 等常用基准测试上平均得分达到 70.37，高于传统数据混合训练 63.71，提升约 6.7 分。

我们还发现，OptiMer 找到的最优合并权重，可以用来指导数据混合方案中的数据配比。将合并权重直接用做数据混合的比例，再重新训练模型，平均得分从等比例混合的 63.71 提升至 68.66。

灵活 | 对新任务进行快速再优化

对于新任务，传统数据混合方法需要重新配比，重新训练。此过程成本极高，导致传统方法无法快速适配新任务。而我们的方法可以复用已经训练好的分布向量，仅需更换评估目标，自动调整合并权重即可。比如，我们针对英文任务进行优化，可以得到在对应任务上的最高分；针对数学再优化，可以在数学任务上表现不错；针对日语任务进行再优化，可以快速得到日语特化模型。

这种情况在工业部署上相当常见，如果某公司想做开发不同领域的特化模型，比如教育，金融模型等，传统方法在训练数据配比上需要大量试错，而我们的方法可以自动快速产出特化模型。

分析 1 | 为什么分布向量可以合并

从不同数据学到的能力，在合并时会不会互相干扰？我们计算了每两个分布向量之间的余弦相似度。发现分布向量和指令遵循向量之间则仅约为 0.03，接近垂直；不同分布向量之间的余弦相似度约为 0.3。我们推测，现有的合并算法比如 DARE 可以较无损地将不同向量合并。

分析 2 | 分布向量的主成分分析

我们通过主成分分析，将高维的分布向量投影到二维平面（因为是两个模型参数的差，所以是和模型参数量一个维度）。首先，不同数据上持续预训练出来的的分布向量和指令遵循向量相距较远。然后，通过 OptiMer 的合并权重柱状图我们发现，OptiMer 倾向给指令遵循向量较大的权重，给数据分布向量较小的权重。这导致了 OptiMer 合并出来的最优模型实际在 Base 模型和 IT 模型的连线的附近（我们可以想象从 PT 到 IT 画一条线）。我们推测优秀的模型应该在此线附近。

分析 3 | OptiMer 的搜索过程

我们观察 OptiMer 如何一步步找到最佳合并权重。左图展示了权重空间，右边展示了搜索过程中分数提升情况。

从左图中可以看到，高分组合集中在一个较窄的区域（在这个区域指令遵循向量的权重较大，数据分布向量的权重较小）。这证明了 OptiMer 中贝叶斯优化相对于网格搜索的优势，网格搜索容易漏搜，特别是在更多个数据集的时候，而 OptiMer 大致只需要搜索 10*n 次，其中 n 是数据集的个数。

从右图中可以看到，OptiMer 中的贝叶斯优化会根据已有数据点，将后续搜索逐渐集中到更有希望的区域。我们使用的算法可以并行搜索，每次搜索 8 个点，前期专注探索整个空间，中期迅速收敛，并在后期找到了本轮搜索中的最高分。

分析 4 | 训练中的向量变化

我们记录了持续预训练过程中不同训练步的模型，来追踪模型的变化。主图展示了这些向量在 PCA 平面上的轨迹，小图展示了向量长度和模型得分随训练步数的变化。

从左图可以看到，持续预训练的轨迹近似一条直线。增加或者减少分布向量的权重，类似于增加或者减少在这个数据集上的有效训练量。

从右图可以看到，随着训练进行，分布向量模长越来越长，模型表现在训练早期达到峰值随后逐渐下降。我们推测，这暗示了模型不能偏离基座模型太远。分析 2 中亦有此推测。

分析 5 | 拓展到负权重

分布向量的权重可以设为负数。我们发现有时甚至会有更好的结果。这代表 OptiMer 能进行机器反学习，选择性遗忘数据中的某些知识，从而在目标任务上取得更好的效果吗？本文并未对此进行进一步探究，但我们认为这是一个非常有趣的问题。

应用 | 构建日语特化模型

我们将 OptiMer 应用在来自 AI Singapore 的 Gemma-SEA-LION-v4-27B 模型，这是一个基于 Gemma 3，在东南亚语言上进行过持续预训练的模型。

我们希望在保留其东南亚语言能力的同时，增强其日语能力。

为此，我们分别在日语、中文、英语、数学和代码五类数据上进行持续预训练，提取分布向量，再与 SEA-LION 的指令遵循向量合并，以日语任务表现为目标搜索合并权重。

最终，日语得分从 66.34 提升至 74.40，同时保留了东南亚语言任务上的表现。

结语

OptiMer 适配开源大模型于目标语言或领域，比传统数据混合方式更效率，效果更好，并且更灵活。

同时，此工作仅在持续预训练上进行了实验，未来我们希望能将这一思路拓展到后训练，解决后训练中数量庞大的数据集的最优配比问题。

第一作者简介

宋海越，现任日本 Preferred Networks 大语言模型开发部后训练组工程师，曾任位于日本京都的国立研究开发法人 情报通信研究机构。师从黑桥祯夫教授，2024 年于京都大学获信息科学博士学位。本科就读于上海交通大学计算机科学系及日语系。研究方向包括语言模型及机器翻译。

本工作为第一作者任职于信息通信研究机构期间完成。