生成式推理再排序，可能会是LLM4RecSys的新突破口吗？

大模型（LLM）的世界知识和推理能力是实现下一代推荐系统，即基于大模型的推荐系统（LLM4Recsys）的重要基石。来自meta ai的研究者们尝试将推理模型引入再排序阶段，推荐系统的最后一环。

推荐系统需要推理模型吗？

深度学习成为推荐系统的标准范式已经有十年左右的历史。RNN/Transformer/GNN等模型在用户交互数据上的性能已经被开发得非常接近饱和。正如近些年大语言模型，尤其是推理模型在通用任务上的优异性能所揭示得，让推荐系统先思考再做出决定或许可以再次突破现有框架的性能上限；同时，还能为推荐的结果提供一定的可解释性。

论文通过监督微调（SFT）和强化学习（RL）来赋予通用推理模型在序列推荐任务上的推理能力。提出的训练策略最终超过了LLM4Recsys标杆，OneRec-Think；提升了约2.4%Recall@5和约1.3%NDCG@5。

●论文标题：

Generative Reasoning Re-ranker

●论文地址：

https://arxiv.org/pdf/2602.07774

中期训练，内化物品的语意ID

语意ID（semantic ID，SID）已经成为基于序列模型的推荐系统的标准技术之一，它的核心想法是通过多层次的聚类来赋予物品从粗到细粒度的标签。常用的模型一般有Residual-Quantized Variational Autoencoder（RQ-VAE）和RQ-Kmeans；这篇论文使用的是RQ-VAE，并且基于常规的对比学习损失函数。同时，为了防止码本坍缩，即有多个物品会被同时映射到一个SID的情况，本文采用了成熟的处理方案，用RQ-Kmeans先做初始化，结合EMA平滑更新字典，重置死码本，加入多样性损失函数，并且对最后一至两位SID赋予随机整数。

本文的中期训练采用的策略和OneRec-Think保持一致，将生成的SID混入自然语言组成的物品描述、物品预测等一系列任务中，去最小化next token prediction loss以优化SID的embedding来内化物品的本身语意。

推理路径的生成

推理路径（Reasoning trace）的生成是本文的核心技术之一。预训练的推理模型并不具有（很强的）对物品序列的推理和解释能力，尤其是考虑到在现实场景中需要实际部署时受限于延迟限制，LLM的体量有限，例如仅仅能支持最大8B。

论文的核心想法是将大体量的LLM（比如32B模型）的推理能力蒸馏给小体量的LLM：即大LLM产生高质量的推理路径，再让小LLM去学习以增强其在推荐场景下的推理能力。目标采样（target sampling）和拒绝采样（reject sampling）两种技术被使用了：

目标采样的核心想法就是把交互历史和下一个真实交互物品的信息都交给LLM以生成解释。该解释就被作为reasoning trace。

拒绝采样则是只将交互历史提供给LLM以预测下一个交互的物品以及生成解释。一旦预测的结果和数据集的标准答案（ground truth）不一致，则继续重复推理直到答对或者达到设定的最多重复推理次数。

这两种推理路径的生成方式各有优劣：

• 目标采样对每一个样本只需要推理一次，但是LLM可能会“牵强附会”，做“马后炮”式的解释。
• 拒绝采样生成的reasoning trace一般质量更高，因为错误的reasoning trace很可能没法引导出正确的答案，而采样过程又会一直持续到得到正确的答案为止。缺点也很显然，对单一样本需要多次推理，尤其是一些难的样本。

推理赋能的再排序阶段

开头提过，论文重点关注再排序（re-ranking）阶段。该阶段在常规业界推荐漏斗中位于最后一环，以检索（retrieval）和排序（ranking）阶段的输出作为输入。作为学术研究，为了保持整个pipeline简洁，论文将LLM本身预先作为retriever，输入交互历史，预测下一个最有可能的物品，采用beam search生成排序过的候选列表。再将该候选列表和交互历史一同输入LLM去做重排序。

为了赋于小体量LLM（比如8B）完整的贴合推荐场景的推理能力，上一步生成的推理路径先通过SFT手把手教给模型，这一步可以保证LLM的推理能力的下限。

为了进一步提高模型的推理能力，强化学习配合推荐场景设计的reward在本文中被使用。在再排序场景下，显然，目标物品的排序被模型提升的越多，模型的表现越好；这就是排序奖励：

它测量的是经过模型重排序以后目标物品的排位变化。

另一种常见的奖励则是格式奖励，即LLM的输出还是保持着reasoning trace加最终答案，即排序过的列表，的理想格式。然而，简单地将格式奖励和任务相关的排序奖励加和成最终奖励在再排序任务中不可行，原因是预排序的候选列表是作为模型输入的，模型可以通过完全不改变候选列表来放弃排序奖励，而单纯hack格式奖励。基于此，最终的格式奖励被设计成只有排序奖励为正的时候才会被考虑。该奖励被嵌入在DAPO优化框架中去更新LLM的参数。

重排序的提升空间

论文的最重要实验结果披露出，重排序阶段引入推理能力，尤其是通过强化学习增强，可以进一步提升性能上限。具体实验对比了（1）该模型的预排序结果（Pre-rank），（2）仅依靠SFT训练过得排序结果，和（3）强化学习进一步增强过的排序结果：

有一些有趣的发现：

• SFT可以给模型一定的推理能力，但是单单依靠SFT可能会伤害模型最终的准确度。
• 没有SFT直接通过强化学习（RL-zeroshot）并不能直接带来显著性能提升。
• 拒绝采样相比目标采样能获得更高质量的推理路径。

下一步？

这篇论文的有趣之处在于，它不仅仅提供了~2%的Recall性能提升，而是提供了一种新的范式：模型不再是去单纯拟合交互的概率分布，而是去拟合推理路径和交互的联合分布。

同时也不可否认的是，重排序阶段是应用推理模型的好场所，因为该阶段剩下的候选物品是整个推荐漏斗中最少的了。模型在给予候选集的情况下逐一比较、推理，符合人类的思维流程。

那么，在检索和排序阶段，候选集大小成千上万的情况下，如何有效率地进行超大规模的候选集筛选？如何把海量的候选集有效率地塞入推理模型有限的输入窗口？如何控制昂贵的推理成本？如何满足用户体验所需要的超低时限？此外，现有策略也依赖拒绝采样生成的高质量推理路径，这在候选集超大的情况下所需要的重采样次数将完全不可接受，样本的效率将成为训练成败的关键因素。