网易首页 > 网易号 > 正文 申请入驻

开小店的老板,给AI喂了一整个商品库,结果AI却总推错货

0
分享至


你有没有想过这样一件事:如果你开了一家小小的网店,卖口红、卖狗粮、卖眼镜,手里只有一百来件商品,而不是亚马逊那种几百万件商品的大仓库,那你是不是根本不需要那些给大电商设计的复杂搜索系统?

这正是这篇论文想解决的问题。研究者们发现一个挺有意思的现象:他们分析了56个真实的Shopify小店铺,发现92.9%的店铺商品库塞进100万token以内完全没问题,中位数只要5.1万token。这是什么概念?现在随便一个长上下文大语言模型,轻轻松松就能把整个店铺的商品信息一次性塞进去。

**于是一个大胆的想法出现了:既然大模型能装下整个商品库,为什么还要先做检索再做排序这么麻烦,直接把全部商品丢给AI,让它自己从里面挑最合适的不就行了?**

这个想法听起来很美好,论文确实证明了它比传统的检索方法要好,准确率能提升20个百分点。但问题是,事情没这么简单。

大模型装得下,不代表它用得好

这是整篇论文最核心的一个反直觉发现。你可能会觉得,只要上下文窗口够大,塞进去的信息越多,AI理解得越全面,结果应该越准确。但事实恰恰相反。

研究者引用了一个之前的发现,叫作"Lost in the Middle"(迷失在中间)

**长上下文的位置偏见*:大语言模型处理长文本时并不是一视同仁的,放在开头和结尾的信息,模型记得牢、用得好,但堆在中间的信息经常被模型忽略或遗忘,这种现象被称为位置偏见。**

这就好比你让一个人读一份很长很长的会议记录,然后让他总结重点。如果重要信息写在第一页或最后一页,他大概率能抓住;可如果重要信息埋在第37页的中间一段,哪怕他从头到尾读完了,大脑也很容易把它漏掉。如果不解决这个问题会怎样?论文里给出了答案:同样是全量商品库塞进去,不同的排列顺序,准确率能差出近20个百分点,这还是同一个模型、同样的商品、同样的问题,仅仅是顺序不同。

所以这篇论文的作者们提出了一个叫RPTune的框架,专门解决两个问题:怎么把商品库整理好再喂给AI,以及怎么训练AI让它更会用这些整理好的信息。

RPTune:排序、裁剪、再调教

RPTune这个名字其实是三个动作的缩写:Rank(排序)、Prune(裁剪)、Finetune(微调)

**RPTune*:一个结合了"学习如何整理商品库"和"训练大模型更好地使用这些整理结果"的端到端框架,核心组件是一个编码器加重组器构成的"策展人",外加一个经过后训练的下游大模型。**

它的工作流程可以想象成一个精明的买手。假设你走进一家超大的仓库式商店找东西,仓库管理员不会让你自己满仓库乱转,他会先听你说清楚需求,然后从几万件商品里挑出二三十件最可能符合你要求的,摆在你面前最顺手的位置,让你一眼就能挑到心头好。RPTune做的正是这件事,只不过挑货的是AI,摆放顺序也是AI学出来的。

### 第一步:给商品和查询建立"语义地图"

RPTune的第一个组件叫编码器

**编码器(Encoder)*:一个把用户查询和每件商品都转换成一串数字(向量)的模型,转换后相近意思的查询和商品在这个数字空间里的位置会靠得很近。**

打个比方,这就像给图书馆的每本书和每个读者的借阅需求都标上GPS坐标,坐标相近的书和需求就是匹配的。编码器训练用的是一种叫MNRL的技术

**多重负例排序损失(MNRL)*:一种让模型学会把正确配对的查询和商品的向量拉近,同时把错误配对推远的训练方法,训练数据只需要查询和商品的配对,不需要人工标注哪个最好。**

这里有个关键的现实问题:一个小店老板不可能雇一堆标注员给每条查询标注"这个商品相关度0.8,那个商品相关度0.3"。所以RPTune用了一个巧妙的办法,让一个强大的大模型(论文里用的是gemini-3.1-pro)自动给每个商品生成10条模拟的搜索查询,再反过来让这个大模型给每条查询打分,评估它和全部商品的相关程度。整个训练数据完全是合成出来的,店主什么都不用额外提供,只要给出商品目录就行。

### 第二步:不只是检索,还要排位置

光靠编码器算相似度还不够,因为相似度高的商品不一定是AI最后会选中的那个。于是RPTune加了第二个组件,叫重组器

**重组器(Reorganizer)*:一个在编码器算出的相似度基础上,加一层可学习的调整,并最终决定哪些商品该留下、放在什么位置的模块。**

这里有个很关键的设计细节,叫"位置优先"排序:重组器会把分数最高的商品放在上下文最后面,也就是最靠近AI生成答案的位置。这背后的逻辑恰恰呼应了前面提到的"迷失在中间"现象,模型对越靠近结尾的信息越敏感,所以把最可能正确的答案放在那个"最后一眼"的位置,等于是把黄金地段留给了最有潜力的候选商品。

如果不这么做会怎样?论文做了对比实验,测试了随机排列、原始顺序、倒序、升序、降序、U形排列好几种方式,结果显示升序排列(相关度从低到高,最相关的放最后)效果最好,比起随机排列能多拿近20个百分点的准确率,同时还能把响应时间砍掉三分之一。这不是巧合,这说明把最佳答案放在模型"记忆力最强"的位置,确实是有真实收益的,而不是心理安慰。

### 第三步:让AI的反馈反过来教会重组器

这是RPTune整个设计里最聪明的一步,也是论文反复强调的核心创新。重组器不是靠人工标注的"正确答案"来训练的,而是靠观察AI自己的选择行为来训练的。

具体怎么做?论文设计了一套叫做LLM-in-the-loop的强化学习流程

**LLM在环强化学习(LLM-in-the-loop RL)*:让冻结参数的下游大模型在重组器构建的上下文里反复做出选择,再根据这些选择的好坏(用预先算好的相关度分数衡量)反向调整重组器参数的训练方式,模型本身不动,只调整"策展人"怎么摆货。**

想象一下你在训练一个新来的导购员,你不会直接告诉他"这个客户一定要买A商品",而是让他观察真实顾客走进店里之后到底买了什么,如果顾客买的是货架角落里那件不起眼的商品,导购员就学着把类似商品往更显眼的位置挪。这个类比的关键在于,如果没有这个反馈环节,直接用人工标注的相关度分数去训练重组器会怎样?论文专门做了这个对比实验,结果是用纯监督学习训练出来的重组器,效果和不加任何学习调整的编码器差不多,整整比RPTune的强化学习版本低了4.3个百分点的准确率。这说明单纯知道"哪个商品更相关"是不够的,还得知道"AI实际上会怎么选",这两件事之间存在真实的鸿沟。

研究团队用GRPO这个强化学习算法来实现这套训练

**GRPO(Group Relative Policy Optimization,组相对策略优化)*:一种让模型针对同一个问题采样多个候选答案,再用这组答案的平均表现作为基准来计算每个答案相对优劣的强化学习方法,常用于近期的大模型推理能力训练。**

### 第四步:训练AI本身,而不只是训练策展人

整理好商品库只是第一步,RPTune还做了第二件事:用GRPO对下游的大模型本身进行后训练,让它更好地在这些整理好的上下文里做选择。

这里有个很细致的设计,叫"上下文相对奖励"

**上下文相对奖励(Context-relative reward)*:一种奖励机制,如果AI选中的商品是当前展示的上下文里相关度最高的,给+1分;如果AI选了一个压根不存在于当前上下文的商品(说明它在瞎编),给-1分;其他情况给0分。**

这个设计解决了一个很现实的矛盾:如果策展人裁剪商品库的时候,不小心把全局最佳答案给剔除了,那AI该怎么办?论文给出的答案是,不要求AI非得找到那个全局最佳答案,只要它能在当前能看到的范围里选出最好的那个,就该给它正向反馈。这就像一个客户问销售员要买哪款相机,如果仓库里真正最好的那款被临时调货走了,一个优秀的销售员应该从现有库存里推荐最合适的,而不是因为没货就两手一摊什么都不推荐,更不能瞎编一个根本不存在的型号出来忽悠客户。

论文还专门测试了用户心理分析,发现这个负奖励确实管用:训练前,模型(gemma-4-E4B-it)面对一个要求"轻量化、理想重量低于10克"的查询时,会在描述里说某个23克的商品"接近轻量化偏好",尽管真正符合要求的15克商品就摆在候选列表里;训练之后,模型稳定地选中了那个15克的正确答案。这是一个很小但很真实的细节,说明后训练确实改变了模型对"软性偏好"的权重理解,不是简单的记忆匹配。

测试场地:七家真实小店,一百道刁钻问题

研究者没有在玩具数据集上验证这套系统,而是找了七家真实存在的Shopify小店,涵盖化妆品、宠物食品、早餐麦片、眼镜、custom定制产品等不同领域,店铺规模从96个商品到277个商品不等,对应的token数从3.7万到12.6万不等。

每家店配了100条复杂的对话式查询,这些查询不是简单的关键词搜索,而是像这样的句子:"我在找一支完全不脱色、持久的大红色或暗浆果色哑光唇釜,要能撑过婚礼当天的四道菜大餐和不少香槛,还得是百分百素食、无动物测试,因为我要装进一个很小的婚礼手包,所以重量最好在10克以下,预算控制在25美元以内。"

这种查询里混杂了明确要求(颜色、持久度、素食认证)、弹性偏好(用了"理想情况下""希望"这样的措辞表明重量和价格可以商量)、以及隐含的场景线索(婚礼手包暗示需要小巧包装,大餐和香槛暗示需要持久不脱妆)。想准确回答这类问题,AI必须同时理解好几层含糊其辞的人类语言,还得学会在没有商品完美满足所有条件时做权衡取舍。

为了避免用户隐私和数据获取的麻烦,这些查询全部是合成生成的,经过三道工序:先让多模态大模型扮演虚拟顾客生成查询,再用"选择一致性"作为难度筛选器(太容易一致选中的问题太简单,太不一致的问题太模糊),最后由真人专家审核验证,整体拒绝率是9.6%。

数字说话:全面开花的结果

论文测试了9个不同厂商的大模型骨干,覆盖Gemini、Claude、Grok、Kimi、GLM、Gemma几大家族。

| 场景 | 原始全量目录 | RPTune策展后 | RPTune策展+后训练 |

| gemini-3.7-flash | 36.8% | **51.4%** | - |

| gemma-4-E4B-it | 10.7% | 20.7% | **31.0%** |

| grok-4.1-fast-non-reasoning | 12.8% | **31.1%** | - |

| gemini-3.1-pro | 52.2% | **62.6%** | - |

从这张表能看出两个很清楚的趋势。第一,不管底层用的是哪个大模型,RPTune的策展(也就是整理商品库)这一步都带来了实打实的提升,9个模型全部变好,平均提升13.5个百分点,最高提升20个百分点以上。第二,对于开源小模型gemma-4-E4B-it,再加上一层后训练,提升幅度直接从10.7%跳到31.0%,整整翻了快三倍。

**这组数字背后有个让人意外的点:经过完整RPTune处理的8B参数开源小模型,准确率已经能够逼近未经处理的frontier大模型水平,而响应速度还快了不少。**

这意味着什么?小商家不需要为了做好搜索而被迫用最贵的大模型API,一个经过精心调教的小模型,配合合适的"整理"流程,就能达到接近顶级模型直接硬推的效果。论文的配图里专门标注了这一点:"8B匹配frontier模型"的箭头指向了经过完整RPTune处理之后的gemma结果点,而这个点的响应延迟比起直接用更贵的大模型快了十几倍到二十几倍。

论文还和市面上几种常见的检索方案做了对比,包括标准RAG(检索增强生成)

**RAG(Retrieval-Augmented Generation,检索增强生成)*:一种先用检索系统找出最相关的若干文档或商品,再把这些候选交给大模型做最终判断的流程,是目前最主流的搜索增强方案。**

对比的结果是,用同一个大模型骨干(gemini-3.7-flash),直接把全部商品塞进去反而比标准RAG、RAG-Fusion(多查询融合检索)、TourRank(锡标赛式排序)、LongLLMLingua(上下文压缩)这几种精心设计的检索方案效果都好,至少领先9个百分点,而且响应速度还更快。这其实回应了文章开头提出的那个大胆设想:对于小商家而言,复杂的多阶段检索系统可能真的是过度设计。

推敲到底:这套系统到底靠不靠谱

研究者还做了一系列很细致的消融实验,用来确认每个设计决策是不是真的有用,而不是碰巧凑出来的好结果。

关于保留多少商品比例最合适,论文测试了从5%到100%不同的裁剪比例,发现25%这个默认设置恰好踩在准确率的峰值上。保留太少商品,相关度召回率跟不上;保留太多商品,噪音反而会拖累模型的判断。这就好比去一家餐厅点菜,服务员给你推荐三五个精选菜品,你能很快决定,但如果直接把整本菜单甩给你,你反而会犯选择困难症,哪怕菜单上确实有你最想吃的那道菜。

关于奖励机制的设计,论文对比了几种不同的奖励方式:连续奖励(直接用相关度分数作为奖励)、全局最佳奖励(只有选中全局最优才给正分)、以及RPTune自己的上下文相对奖励。结果显示换成这两种替代方案,在Beauty Bakerie这个店铺上准确率都掉了10个百分点,说明这个"只要在当前范围里选对就给正反馈"的设计确实是必要的,不是随便一个奖励函数都能凑效。

关于RPTune能不能应对新商品上架这种现实场景,论文专门设计了一个实验,先在砍掉一半商品的目录上训练好RPTune,再逐步把被砍掉的商品加回来,观察准确率的变化。结果是,就算目录规模翻倍,RPTune的准确率只相对下降了14.7%,而没用RPTune的基线模型跌幅是29.5%,差了整整一倍。这说明RPTune学到的不是死记硬背某个固定商品库,而是一种可以泛化的筛选逻辑。

关于能不能跨店铺迁移,论文把每家店训练出来的RPTune模型拿到全部七家店上交叉测试,结果49组训练店铺和测试店铺的组合全部提升了准确率,哪怕这些店铺之间的商品词汇重叠率只有14.6%(也就是说一家卖口红的店和一家卖眼镜的店用词几乎完全不同)。这说明RPTune学到的更像是一种通用的"怎么整理信息给AI看"的能力,而不只是针对某个特定商品库的死记硬背。

写在后面

读完这篇论文,一个让我反复琢磨的点是:我们一直以为"给AI更多信息"是在帮它,但这篇论文用扎实的数据证明了一个更微妙的事实,信息的呈现方式本身就是一种隐藏的计算资源分配。把答案放在哪个位置、留下多少候选、用什么顺序排列,这些看起来是"界面设计"层面的小事,实际上直接决定了模型能不能把它的推理能力用在正确的地方上。

还有一个细节值得单独说一说:RPTune整套训练流程完全不依赖商家提供任何真实的用户行为数据或人工标注,全靠合成数据驱动。这对于那些没有庞大用户基数、没有专门数据团队的中小商家来说,意味着这套方法真的具备落地的可能性,不是那种"先攢够几百万条用户点击日志才能跑起来"的方案。

这篇论文也留下了一些没有完全回答的问题。比如它只测试了单轮查询,没有涉及多轮对话式购物场景,而现实中顾客往往是先问一句再补充一句的。另外,论文承认用来生成评测标签的大模型本身可能存在"自己人更懂自己"的偏差,虽然做了独立评委审查来缓解这个问题,但这种合成数据驱动的评测体系天花板到底在哪里,还是个开放的问题。

如果你开着一家小店,正在纠结要不要上线一个智能导购功能,这篇论文给出的信号挺清楚:别急着去追最贵的大模型,先想想怎么把你的商品信息整理好,这件事带来的提升,可能比换模型更划算。

Q&A

Q1:RPTune是什么?

A:RPTune是一个结合商品目录整理和AI模型调教的搜索框架,专门为小商家设计,通过训练一个"策展人"系统给商品排序裁剪,再对下游AI模型进行针对性训练,让AI能更准确地从商品库里找出最匹配顾客需求的商品。

Q2:RPTune需要商家提供用户数据或人工标注吗?

A:不需要。整套训练流程只需要商家的商品目录,所有训练数据(包括模拟查询和相关度评分)都是用大模型自动合成生成的,不涉及任何真实用户行为日志或人工打标签的工作。

Q3:为什么把全部商品直接塞给AI效果反而不好?

A:因为大语言模型处理长文本存在位置偏见,放在上下文中间的信息容易被模型忽略,只有开头和结尾的内容才会被充分利用,所以仅仅是商品顺序不同,同一批商品同一个模型的准确率就能相差近20个百分点。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
陕西人民艺术剧院:人民表演艺术家戈治均逝世,享年90岁

陕西人民艺术剧院:人民表演艺术家戈治均逝世,享年90岁

界面新闻
2026-10-28 09:41:55
原来他们是夫妻,《小城良方》他和妻子校园到婚纱,走过30年风雨

原来他们是夫妻,《小城良方》他和妻子校园到婚纱,走过30年风雨

娱君坠星河
2026-10-28 21:10:08
家长用“微商女强人”形象,接送女儿放学,被嘲:好紧绷的松弛感

家长用“微商女强人”形象,接送女儿放学,被嘲:好紧绷的松弛感

妍妍教育日记
2026-10-27 14:32:19
日本认错了!日本外相茂木敏充这回把话挑明了:

日本认错了!日本外相茂木敏充这回把话挑明了:

叶老四
2026-10-28 10:03:24
对阵雄鹿,火箭队核心双中锋缺阵!全新双塔上线?一攻一防,已获乌度卡钦点

对阵雄鹿,火箭队核心双中锋缺阵!全新双塔上线?一攻一防,已获乌度卡钦点

熊哥爱篮球
2026-10-28 19:32:27
蔡少芬给陈法蓉庆生,瘦成皮包骨眼斜牙黄,抱俩果盘点蜡烛超开心

蔡少芬给陈法蓉庆生,瘦成皮包骨眼斜牙黄,抱俩果盘点蜡烛超开心

以茶带书
2026-10-28 17:10:10
贝克汉姆:希望纷扰赶紧平息,在我们球迷心中曼联才是第一

贝克汉姆:希望纷扰赶紧平息,在我们球迷心中曼联才是第一

懂球帝
2026-10-28 01:11:10
三种一吃就“拉屎”的蔬菜!换着做给孩子吃排便顺畅,肚子更舒服

三种一吃就“拉屎”的蔬菜!换着做给孩子吃排便顺畅,肚子更舒服

斯佳丽的小厨房
2026-10-27 07:00:11
90岁的钟南山,给天底下所有人打了一个板,就是如果你想要长寿,必须要提早开始进行抗阻运动。

90岁的钟南山,给天底下所有人打了一个板,就是如果你想要长寿,必须要提早开始进行抗阻运动。

背包旅行
2026-10-27 19:27:35
曝光缅北电诈被悬赏杀害,反诈博主“徽剑”家属:俩彪形大汉堵到家,我们才签的谅解书

曝光缅北电诈被悬赏杀害,反诈博主“徽剑”家属:俩彪形大汉堵到家,我们才签的谅解书

时代周报
2026-10-27 19:07:09
西班牙列车相撞事故已造成50人死亡、179人受伤

西班牙列车相撞事故已造成50人死亡、179人受伤

新京报
2026-10-28 18:34:55
伊莲娜携女儿意大利度假,母女同游温馨氛围感拉满

伊莲娜携女儿意大利度假,母女同游温馨氛围感拉满

墨薷桃桃
2026-10-01 11:20:47
54席很近,55席很远:民主党参议院“乐观极限”背后的算术与地理

54席很近,55席很远:民主党参议院“乐观极限”背后的算术与地理

民间胡扯老哥
2026-10-27 14:28:23
苹果官宣10月29日发布会:iPhone标准版预计5999起

苹果官宣10月29日发布会:iPhone标准版预计5999起

小柱解说游戏
2026-10-26 02:51:57
飞北京航班进入紧急状态! 近万米高空放油返航!

飞北京航班进入紧急状态! 近万米高空放油返航!

花小猫的美食日常
2026-10-28 10:31:40
不管你信不信,女人不管高矮,只要腰细屁股大,身材就不会差

不管你信不信,女人不管高矮,只要腰细屁股大,身材就不会差

皓皓情感说
2026-10-19 08:35:51
著名左翼公知、历史学家、革命史学家、永不妥协的马克思主义者逝世

著名左翼公知、历史学家、革命史学家、永不妥协的马克思主义者逝世

双一流高校
2026-10-28 02:11:38
特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

回京历史梦
2026-10-26 10:49:29
又一百亿公司暴雷!总部人去楼空,创始人失联被立案,谁来兜底?

又一百亿公司暴雷!总部人去楼空,创始人失联被立案,谁来兜底?

亿通电子游戏
2026-10-28 18:15:02
太辣眼睛!大妈炫耀儿子有貌有才,北美留学,被扒出儿子已成白人的小娇夫!

太辣眼睛!大妈炫耀儿子有貌有才,北美留学,被扒出儿子已成白人的小娇夫!

川渝视觉
2026-07-22 12:42:03
2026-10-28 22:04:49
科技行者 incentive-icons
科技行者
科技正在如何变革商业世界
10336文章数 572关注度
往期回顾 全部

科技要闻

宇树科技前三季净利暴增270%

头条要闻

演员董勇车险续保被卡维权 吐槽太平洋保险"店大欺客"

头条要闻

演员董勇车险续保被卡维权 吐槽太平洋保险"店大欺客"

体育要闻

0胜4负与篮网国王一桌 热火字母哥赌错了?

娱乐要闻

巾帼不让须眉!章子怡拿下重磅荣誉

财经要闻

iPhone Duo七年等来一场吐槽大会

汽车要闻

上市即交付 腾势Z9S诠释豪华体验与用心交付

态度原创

旅游
家居
教育
亲子
军事航空

旅游要闻

下关金星村深藏着一座华将军祠,是当地本主庙,知道的人已经很少

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

我们要尊重别人的观点,除非他们的观点是错的

亲子要闻

萌娃手绘古诗《赠汪伦》,每一笔都是奇思妙想

军事要闻

伊朗最高领袖最新声明 提到了“结束战争”

无障碍浏览 进入关怀版