网易首页 > 网易号 > 正文 申请入驻

模型好选,搜索难做:一个投研Agent的两年开发历程

0
分享至


撰稿 | 白默

陈万做付费投研简报快两年了。一周前,他从程序里删掉了两份维护已久的文件。

一份叫 cleaner.py,负责清洗网页;另一份叫 sites.yaml,列着 387 个网址,用来筛选信息来源。

过去,一个财经网站改版,前一份文件就要补一段规则;一位订阅者来邮件追问数字出处,后一份文件里往往又会多一个经过核实的网址。

陈万的研报聚焦新能源产业链,覆盖储能和锂电上下游,已有约 4000 名国内外订阅者。他们多数在券商研究所、公私募基金、产业资本和电池厂工作。研报里的信息会进入晨会讨论,也可能成为投资决策的参考。对陈万来说,找到信息只是第一步,弄清来源和时间同样重要。

他一直希望把网页清洗和信源筛选交给更成熟的服务,自己专注于研究和写作。他试过百度搜索,也用过其他产品内置的联网搜索,但这些工具不完全适合他的工作流。他需要一个能独立接入 Agent 的搜索接口:模型由自己选择,搜索结果先返回自己的程序,再决定如何使用。

删除文件前,陈万做了一次对比:把同一组问题分别发给使用了一年的海外搜索 API、一个国内 API,以及腾讯云刚升级的元宝搜索 API。在这次测试中,前两类接口返回的多是一两行摘要;元宝搜索的结果则提供了两类文字,一类概括网页内容,另一类围绕问题提取相关段落。

他还查了一家电池企业前一晚发布的业绩预告。海外接口返回了几条英文转载,时间与他的查询需求并不匹配;元宝搜索给出了交易所原始公告、几篇相关报道,以及各条结果的发布时间。

陈万需要的不是搬回整篇文章,而是知道信息在哪里、说了什么,并能带着读者回到源头。

这两份文件,不只陈万有。它也代表着不少开发者在搭建 Agent 时要处理的基础工作:从网页中提取有效内容,为信息来源建立筛选规则,再把不同接口返回的数据接入同一套流程。

网站结构会变,来源需要核实,公告、行情和新闻也各有更新节奏。应用做起来以后,这些工作就成了持续的维护任务。对于陈万这样的小团队,一套稳定、独立的搜索服务,意味着可以把更多时间留给业务本身。

2025 年 8 月,微软关停 Bing Search API,原有用户需要调整检索方案。与此同时,Agent 对联网信息的需求仍在增长。在 10 月 20 日元宝搜索的媒体沟通会上,元宝搜索提到,自今年 2 月“龙虾”走红以来,Agent 对热点新闻、财经财报等时效性外网信息的需求变得更为迫切。

模型能力之外,信息获取也在影响 Agent 的表现。腾讯云副总裁、腾讯元宝搜索研发负责人表示:“选择一个模型相对容易,但做好搜索却需要长期的建设与迭代。”

两份文件的来历

要理解陈万为什么需要这两份文件,得先看看网页到了程序里是什么样子。

一份上市公司的业绩预告,在浏览器里可能只是标题、日期、几段正文和一张表。程序拿到的却是整页源码:嵌套的标签、样式表、统计脚本,以及广告、导航和版权声明。把这些内容直接交给模型,会让不少 Token 消耗在与任务无关的部分。

陈万的办法,是为不同网站编写抓取规则:正文在哪个标签里,日期藏在哪个位置。他估算,清洗之后,每次调用的 Token 成本降到了原来的不到 10%。

但代价是 cleaner.py 越写越长,网站一改版,相应规则就需要更新。

搜索服务商同样在处理效率问题。元宝搜索研发负责人介绍,内部团队训练了一个压缩模型,在建索引时把几千 Token 的网页压缩成约 100 个 Gist Token 并缓存,在线匹配时处理少量后续 Token,推理成本约可节省 30%。

成本之外,陈万更关心信息来源。

简报发出的头两个月,他陆续收到订阅者来信:某个电芯报价是哪天的?一个出货量数字,为什么和其他渠道看到的不一样?回查后他发现,有的转载内容标错了日期,也有信息来自自己并不熟悉的网站。

他开始为常用信源建立名单,记录哪些网站经过核实、适合优先检索。sites.yaml 里的 387 个网址,就是这样积累起来的。这份名单不能替代逐条核实,却给日常筛选提供了起点。

一位有多年财经报道经验、公众号订阅者超过 6 万的媒体人,也有类似需求。她说,关键事实信息通常要回到网页核实,行业观点则常常要到活跃的微信账号中寻找。她希望搜索能先呈现可靠且相关的信息,帮她判断哪些值得点开细读。

不同内容,需要不同的信源判断方式。据元宝搜索负责人介绍,政策、新闻和医疗法规等信息,优先参考政府、企业、交易所等官方来源;对于行业讨论,持续在相关领域发声的作者也有参考价值,团队会结合账号的历史发文进行交叉验证,再纳入整体排序。

此外,还要区分“多条结果”和“多个独立来源”。同一条新闻可能被几十个网站转载,标题不同,正文却相近。如果不识别这些关联,重复信息就可能被当作相互印证的依据。AI 批量生成的内容和针对 AI 搜索做的优化(GEO),还在让这类噪音变多。

搜索引擎的发展分为三个阶段:1.0 阶段,搜索把结果交给人,由人阅读、判断;2.0 阶段,模型读取结果,组织成答案;到了 3.0 阶段,Agent 会拆解任务、多次检索,并结合返回的信息继续推理。搜索因此不仅要找到内容,还要把来源、时效和相关性表达清楚,让后续判断有据可依。

相应地,质量评估也从单篇内容延伸到了发布者及其历史记录。团队既分析页面内容,也识别作者、账号和站点的持续表现,对频繁发布低质或 AI 生成的内容开展专项识别。这些评估信息会作为搜索信号反馈给 Agent,为模型判断内容提供参考。

腾讯云的联网搜索 API 于 2025 年上线,主力接口叫 SearchPro。今年产品更名为元宝搜索,并继续更新接入方式、检索参数和返回字段。

据腾讯在此次沟通会上介绍,升级后的元宝搜索已在内部 50 多个核心产品中得到验证,拥有千亿级融合索引,日增索引约 50 亿,日均调用量数亿次;底层检索平均耗时约 8 毫秒。这些指标对应服务的不同环节,其中底层检索耗时并不等于一次完整请求的响应时间。

陈万这次接入的,就是升级后的版本。

一次请求的路径

两份文件原来承担的工作,可以沿着一次搜索请求重新看一遍。

几乎每天早上,陈万都要整理产业链上市公司前一晚的公告、业绩预告,以及相关行情变动。他的 Agent 向 SearchPro 发出请求时,除了问题,还会根据任务设置检索范围和时间条件。

首先是去哪里找。

券商客户经理王宇对此有过切身体会。他的团队曾为客户搭建问答助手:回答一只股票的问题,要分别调用行情、新闻和通用搜索接口,再由代码整合结果。有一次,不同数据的时间没有对齐,团队花了两天才找到拼接逻辑中的问题。

SearchPro 通过 Mode 参数区分检索来源:0 以公开网页结果为主,1 返回优质权威垂直信源结果,2 混合返回两类结果;Industry 则可以进一步指定政府、新闻、学术或财经领域。开发者可以在一次请求中表达这些来源需求。

优质垂直信源结果也被称作 VR 卡。元宝搜索将其机制解释为一套类似“插件”的系统:接入各垂直领域的优质信源,再将返回内容封装成卡片,供模型使用。金融领域的例子,是与腾讯金融科技合作接入实时股票查询信息。

如果还要限定具体网站,可以使用 Site 参数:每次指定一个域名检索,或排除最多五个域名。它只作用于公开网页结果,不影响 VR 卡。这类边界也意味着,原有白名单和黑名单不能直接等同于一个接口参数,仍需结合业务重新安排筛选规则。

其次是信息有多新。

陈万的 cleaner.py 原来有一段专门提取日期的代码。有的网页不标日期,有的只标转载时间,还有的把日期放在图片里。取不到准确时间,程序就很难判断这条信息是否适合当天的简报。

SearchPro 提供 Freshness 参数,支持按天、月、年及指定日期区间检索。例如,d2 表示最近两天,m3 表示最近三个月;返回结果中的 date 字段则提供内容发布时间。陈万的晨报通常使用 d1 或 d2,周末回顾则放宽到 d7。

这让时间条件成为检索的一部分,减少了他自行解析网页日期的工作。但发布时间仍是判断线索,涉及重要数据时,还需要区分公告发布日、统计期和转载时间。

“对于财经、股票等时效性较高的网页,团队会考虑采用更高频的刷新策略,例如每小时刷新一次,以便搜索时获取更新的信息。”元宝搜索负责人表示。

接下来,是结果如何筛选。

每条结果包含两个不同的信号:score 表示与问题的相关程度,取值为 0 到 1;authority_level 表示信源权威度,取值为 0 到 5。一条结果可以很对题,但来源仍需进一步核实;也可能来自权威机构,却与当前问题关系不大。

元宝搜索会把“谁发布”和“内容如何”分开评估。权威性关注发布者在相关领域的身份与积累;内容质量则综合考察真实性、信息完整度和专业程度,包括能否追溯验证、是否注明引用来源等。评估覆盖站点、账号和页面三个层级,并结合大模型对页面结构的分析。

这些信号为筛选提供参考,但不替代具体任务中的判断。陈万据此设置了一套分层规则:权威度 4 分及以上的结果,作为简报正文的候选材料;3 分的放入延伸阅读;更低的暂不采用。分数帮助他缩小核实范围,关键数字和结论仍应回到原始来源确认。

过去,387 个网址承载着他逐个积累的信源经验;现在,接口评分提供了覆盖更广、便于调整的初筛依据。

筛选之后,是内容如何返回。

SearchPro 提供两类摘要:passage 是标准摘要,content 是动态摘要。据产品团队介绍,后者会围绕本次问题提取网页中的相关内容,而不是返回整页正文。同一篇文章,查询营收增速和查询订单进展,得到的相关片段可能不同。

这与陈万原来的流程形成了区别:cleaner.py 先清洗整页,再让模型寻找相关部分;动态摘要则先提供与问题有关的内容,减少后续的处理。他说:“我写了四百多行代码去逼近的东西,现在已经成为一个字段。”

内容获取也设置了边界。元宝搜索毕老师介绍,对设置反爬机制或需要借助额外工具才能访问的内容,“我们就不收录,以尊重对方的知识产权”,只提供公开、直接点开就能看到的内容;携程这类直接打不开的内容,则通过三方合作提供。

最后,搜索结果返回陈万的程序,由他的流程决定如何继续使用。马晋表示,智能体也会把一个问题拆成多个子问题,“搜索每慢一秒,都可能影响用户体验”;据他介绍,升级后,最快的版本可能在 300 毫秒以内返回,此前约为 400—500 毫秒。

接入与控制

搜索能力之外,接入方式决定了它能否顺畅进入现有工作流。

最早的接法走腾讯云标准 API:请求发往 wsa.tencentcloudapi.com,Action 写 SearchPro,Version 写 2025-05-08,再用 SecretId 和 SecretKey 按腾讯云的签名算法给每个请求签名。

某数据服务公司的后端工程师郑楠介绍说,他去年接入的时候花了半天,大半时间在调签名。后来腾讯云增加了单一 API Key 认证,请求发往 api.wsa.cloud.tencent.com 的/SearchPro 路径,签名这一步可以直接省掉。

另一种接入方式更快。在支持该协议的客户端中配置服务地址和 API Key,就能把 SearchPro 加入工具列表,不需要额外安装本地服务。元宝搜索目前提供的 MCP 工具只有 SearchPro,采用 Streamable HTTP 传输。

MCP 是 Anthropic 于 2024 年 11 月发布的开放协议,用于连接 AI 应用与外部数据、工具。此后一年多,主流 AI 开发工具陆续支持了它。元宝搜索的 MCP 页面写明,它使用的协议版本是 2025-06-18。腾讯做的,是把自己的搜索按这个协议重新包装了一层。

再往上,是指导 Agent 使用工具的 Skill。2026 年 3 月 10 日,腾讯上线 SkillHub,最初是 OpenClaw 技能生态 ClawHub 的国内镜像,收录一万三千多个技能;到年中,收录量超过八万个,支持 WorkBuddy、QClaw、ima 等工具。

SkillHub 上“元宝搜索 Skill”的安装方法只有一句话,大意是让 Agent 按 SkillHub 的安装说明装上 tencent-yuanbao-standard-search。Skill 的说明中列出了什么时候该用它:用户说“帮我搜索”“查找”,或者说“最新的……”“近期的新闻……”。

API、MCP 和 Skill 是解决不同问题的三类能力,并不是互相替代的三代产品。API 便于程序直接控制检索次数、时机和重试;MCP 解决兼容客户端如何调用工具;Skill 则补充使用说明,帮助助手判断何时检索、如何使用。

接入后的第二天,陈万在 Claude 终端里修改一份给订阅者的说明文档,说:“把昨晚最新的业绩预告也补进去。”随后,终端出现了 SearchPro 工具调用,耗时 681 毫秒,返回七条结果,其中五条是权威信息。

“它是听到‘最新’两个字就自己去的,”陈万说,“它已经成了任务流程中的一部分。”

一家做内容产品的团队有类似体会。团队的一位开发者在沟通会上说,他们原来自建的 AI 搜索“只能说能用”,Agent 常常先找出十几个网站,再反复调整。通过 Skill 接入元宝搜索后,“速度快,也不用反复检索”,以前问同一个问题要找 20 个网页,现在 5 个就能解决。

虽然接入变简单了,但没有简单到什么都不用管。保管密钥、配置账号权限,并根据调用量安排请求频率。接口承接了一部分基础工作,但应用如何运行,仍由开发者掌握。

接入的另一端,是成本。

根据腾讯云目前公开的计费文档,元宝搜索提供极速版、标准版和旗舰版,按量计费价格分别为每千次 14 元、20 元和 26 元,其中旗舰版仅限企业用户开通。

此外,填写邀请码后可获得每月 6000 次免费调用额度,按日均计算约 200 次,大致够一个小团队做日常测试或轻量使用。

陈万这次采用的权威度字段,属于旗舰版能力。

据腾讯产品团队介绍,元宝搜索定位于被调用方,不做独立的搜索入口,面向用户的入口由各个应用承担。它的调用方既包括腾讯内部产品,也包括外部 AI 助手和大模型公司。

过去一年,陈万的程序换过多次底层模型,从 DeepSeek 到通义千问,再到智谱,最后又换回 DeepSeek。搜索接口是第一次换。“模型换了,信息质量基本看不出来,”他说,“但搜索换了,效果完全不一样。”

交出去的,与留下的

删掉文件之后,陈万的搜索照常推送。

他做了一次最终检查。当天的公告和行业新闻覆盖率基本符合需要,来源里还多了几个此前较少涉及的站点;最近一周,也没有订阅者来信追问数据出处。

他维护了两年的文件,最终被一个搜索接口替代,“没有什么不舍,只是觉得轻松。”他说,并不是他的代码能力不好,而是这类代码本就不应该让每个人自己写。

现在,陈万可以把时间更多地用在核实关键数据、比较产业变化和组织研究判断上。

元宝搜索表示,这种调用需求正快速增长,目前最看好的是两个方向。一是智能办公和企业级 Agent:一款内部产品全面推广后,其调用量从低谷时的几十万次,增长到单日接近千万次。二是金融和投研:“研报和行情信息可能需要按小时甚至按分钟更新”,一个金融大模型接入后,近期的调用量增长了几十倍。

陈万的付费研报,正好落在这类需求上。

对中文 Agent 开发者来说,这类独立接口相当于增加了一种分工方式:把过去通用的信息检索、内容提取和来源评估,交给公共服务直接完成。

这也是这件事超出个案的地方。至于未来规模能做多大,取决于接下来有多少应用建在它上面,也取决于价格能不能降到小团队愿意把它设成默认能力。

陈万删掉的是两份文件,但也留下了对信息的更高要求。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中土网民掀起史诗级骂战,全球震惊了

中土网民掀起史诗级骂战,全球震惊了

凤眼论
2026-10-22 15:13:34
曝女星红毯赖着不出场,周涛张小斐无奈救场,晚宴全程无人搭理她

曝女星红毯赖着不出场,周涛张小斐无奈救场,晚宴全程无人搭理她

娱圈办事处
2026-10-22 13:46:04
绿麻了!大A已经跌到让人看不懂了

绿麻了!大A已经跌到让人看不懂了

小星球探索
2026-10-22 15:50:44
想扛住车祸就得长这样?澳大利亚公益宣传太炸裂了!

想扛住车祸就得长这样?澳大利亚公益宣传太炸裂了!

品牌新
2026-10-23 09:00:01
詹姆斯导29分逆转创生涯纪录:连赢东部双雄 成送女儿最佳生日礼物

詹姆斯导29分逆转创生涯纪录:连赢东部双雄 成送女儿最佳生日礼物

醉卧浮生
2026-10-23 10:02:07
沪指盘中失守3600点关口

沪指盘中失守3600点关口

界面新闻
2026-10-23 09:53:34
气人!河南男子入职2月被派东南亚,1万人没劝住,落地3天大变样

气人!河南男子入职2月被派东南亚,1万人没劝住,落地3天大变样

嫹笔牂牂
2026-10-22 07:28:31
离谱!顺风车司机犯困,让乘客自己开车,两个多小时路程乘客开了一个半小时,车费还要全额收;平台:属于车主违规行为,车费全额退还

离谱!顺风车司机犯困,让乘客自己开车,两个多小时路程乘客开了一个半小时,车费还要全额收;平台:属于车主违规行为,车费全额退还

扬子晚报
2026-10-22 12:47:11
从车企实测到用户口碑:从投诉痛点看懂汽车全生命周期

从车企实测到用户口碑:从投诉痛点看懂汽车全生命周期

汽车投诉网
2026-10-23 09:36:34
2015年的乱伦恋情:堂嫂和堂弟,堂嫂说,他那里大得要命,让人上瘾

2015年的乱伦恋情:堂嫂和堂弟,堂嫂说,他那里大得要命,让人上瘾

法网恢恢
2026-10-22 22:38:14
我是一根柱子,在“地球最强SUV”的撞击中,活了下来且只是轻伤

我是一根柱子,在“地球最强SUV”的撞击中,活了下来且只是轻伤

News脑洞
2026-10-23 10:51:48
雷霆逆转掘金SGA连续20+场次终结,约基奇穆雷30投7中合取19分

雷霆逆转掘金SGA连续20+场次终结,约基奇穆雷30投7中合取19分

湖人崛起
2026-10-23 12:19:53
问界汽车碰撞起火司机死亡,当地交管称交通灯柱没被撞断,“未撞断”正常吗?交通灯柱是如何设计防撞的?

问界汽车碰撞起火司机死亡,当地交管称交通灯柱没被撞断,“未撞断”正常吗?交通灯柱是如何设计防撞的?

贵重物品爱美食
2026-10-22 21:20:00
地铁站内看书5个小时女子出站时被扣15元,官方回应:设有270分钟乘车时限,超时须补交最高票价

地铁站内看书5个小时女子出站时被扣15元,官方回应:设有270分钟乘车时限,超时须补交最高票价

每日经济新闻
2026-10-22 17:17:44
国家对退休金调整的大方向已定!

国家对退休金调整的大方向已定!

逍遥论经
2026-10-23 09:54:15
牛逼!几乎全是“CBA弃将”,却掀翻总冠军球队,主教练才是36岁

牛逼!几乎全是“CBA弃将”,却掀翻总冠军球队,主教练才是36岁

南海浪花
2026-10-23 07:32:58
副部长蒋成华:我们依旧信心满满

副部长蒋成华:我们依旧信心满满

极目新闻
2026-10-22 18:39:42
特朗普“必须把她弄走”

特朗普“必须把她弄走”

中国新闻周刊
2026-10-23 11:10:03
事情闹大了!菲律宾总统府声明,拒绝驱逐中方大使,原因很直白

事情闹大了!菲律宾总统府声明,拒绝驱逐中方大使,原因很直白

共工之锚
2026-10-23 00:29:03
欧洲展出一具“人体标本”,国人看后无不愤恨:这是中华女英雄!

欧洲展出一具“人体标本”,国人看后无不愤恨:这是中华女英雄!

小豫讲故事
2026-10-22 06:00:16
2026-10-23 12:43:00
InfoQ incentive-icons
InfoQ
有内容的技术社区媒体
13106文章数 52118关注度
往期回顾 全部

科技要闻

抢运营商饭碗!马斯克又有大动作

头条要闻

特朗普儿子前女友被解雇 曾鼓励助理和有钱男人上床

头条要闻

特朗普儿子前女友被解雇 曾鼓励助理和有钱男人上床

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

高梓淇向女友求婚,被女方父母接受

财经要闻

娃哈哈集团董事长许思敏离职

汽车要闻

泊车有绝学 新手亦高手 全新第四代博越L泊车篇

态度原创

健康
游戏
手机
公开课
军事航空

痘痘能根治吗?皮肤科医生说实话

《赛博朋克》11.10登战网 边缘行者2同步免费更新

手机要闻

微信为适配iPhone Duo紧急更新 网友晒图直言有黑边不完美

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美国或于明年开始扩建格陵兰岛军事设施

无障碍浏览 进入关怀版