网易首页 > 网易号 > 正文 申请入驻

百度百舸Meetup在京举办 推理基础设施助力Agent规模化落地

0
分享至

9月22日,百度智能云联合SGLang社区举办“Agent时代的推理基础设施:百度百舸 × SGLang生产级实践”Meetup,围绕多芯适配、上下文缓存、KV Cache优化、显存优化、MoE专家压缩和推理服务治理等议题,探讨Agent走向生产环境所需要的推理底座。



从多芯适配到上下文复用 让Agent更快地跑起来

当前,Agent不再只是生成一次回答,而是需要理解目标、拆解任务、调用工具,并在多轮交互中持续推进。上下文能否复用、超大模型能否高效部署、复杂请求能否稳定调度,都将影响Agent的任务完成效率和规模化应用成本。

一次真实的Agent任务,往往包含多轮推理和工具调用。随着任务推进,输入上下文持续增长,不同轮次之间也存在大量重复内容。如果每轮交互都从头计算,响应速度和推理成本都会受到影响。

公开基准数据显示,在393条真实Agentic Coding任务轨迹中,输入输出比中位数达到213∶1,极端情况下输入序列长度可达67.5万Token。Agent工作负载正在呈现长输入、多轮次、强复用的特征。

因此,Agent时代的推理基础设施不能只关注模型一次“答得多快”,还要关注一项任务能否连续、稳定、低成本地完成。要实现这一目标,推理基础设施需要从底层硬件适配、计算效率优化到上下文管理进行系统性升级。

在多芯适配方面,sglang-kunlun插件打通SGLang与昆仑芯,降低模型迁移和适配门槛。百度百舸还推动SGLang社区建立硬件可插拔插件机制,并从芯片算子、任务下发和通信等层面进行优化。

在上下文缓存方面,SGLang社区分享了从RadixAttention到Unified Radix Cache的技术演进。通过统一缓存管理体系,不同类型的KV Cache可以实现高效复用。在现场分享的实践数据中,FULL与SWA混合模型在多轮HiCache场景下命中率达到96.8%,平均首字时延为1.23秒。

不止模型跑得快 也要让整套服务稳定可控

面对超大模型部署,百度百舸通过权重零冗余分布式部署、显存占用优化和MoE专家压缩,释放更多显存空间,为长上下文和高并发任务提供资源支撑。

在相关测试中,MoE专家压缩50%后,长输出和高并发场景下的输出吞吐峰值可达到原来的2.23倍。对Agent而言,这不仅意味着节省显存,也意味着相同算力资源可以承载更多任务。

当Agent进入生产环境,仅仅提高模型速度还不够。百度百舸从流量、负载和集群缓存三个层面进行服务治理,通过动态调度、变长行为感知分桶和KV Cache无感热迁移,让请求进入更加合适的推理实例。

同时,百度百舸构建多级缓存体系,并通过全链路命中率漏斗定位缓存损失环节,提升复杂负载下的服务稳定性。

模型能力之外 看见Agent的真实问题

本次活动还设置了闪电演讲环节。SGLang核心贡献者张晓雨围绕推理服务部署和AI Infra工程自动化展开分享;元神智算CEO蓝衣剑客从标准与生态角度分享Agent发展趋势;万涂幻象社区主理人李祥瑞则聚焦上下文与主体连续性,讨论Agent如何在真实系统中保持状态、完成交付并应对故障恢复。

三位嘉宾的分享共同指向一个变化:Agent的价值不只是“更会回答”,而是能够在连续上下文中理解任务、调用能力并完成交付。百度智能云将继续与SGLang等技术社区及更多开发者开展技术共建,助力Agent从单点尝试走向规模化落地。

模型能力决定Agent能够解决什么问题,推理基础设施则决定这些能力能否被稳定、低成本地交付。百度百舸正在把推理能力从单点性能优化,扩展为覆盖模型适配、上下文复用、资源管理和服务治理的完整体系,帮助Agent跑得更快、更省、更稳。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
新鲁尼来了!曼联锁定世界级天才!波切蒂诺收获未来大杀器

新鲁尼来了!曼联锁定世界级天才!波切蒂诺收获未来大杀器

澜归序
2026-11-18 10:31:56
我们需要你!骑士迎来两连胜,米切尔赛后向哈登发出请求

我们需要你!骑士迎来两连胜,米切尔赛后向哈登发出请求

冷眼看尽世间繁华
2026-11-18 07:58:38
印媒:地球上没有任何力量能阻止印度成为35万亿美元的经济体

印媒:地球上没有任何力量能阻止印度成为35万亿美元的经济体

荆楚寰宇文枢
2026-11-05 23:19:37
不会演别尬演,央剧《谷雨》唯一败笔,换掉他,这部剧近乎完美

不会演别尬演,央剧《谷雨》唯一败笔,换掉他,这部剧近乎完美

娱瓜酱
2026-11-18 15:00:34
CBA四场杯赛结束!北控大胜30分,新疆拿下合肥,天津差点翻车

CBA四场杯赛结束!北控大胜30分,新疆拿下合肥,天津差点翻车

体坛大事记
2026-11-18 18:33:04
以前的卧铺大巴有多乱?网友:坐一趟不知道孩子是谁的!

以前的卧铺大巴有多乱?网友:坐一趟不知道孩子是谁的!

另子维爱读史
2026-11-12 22:35:51
百万级豪车黑武士气场,大电池+零压座椅+城市NOA,续航1666km,预售12万多

百万级豪车黑武士气场,大电池+零压座椅+城市NOA,续航1666km,预售12万多

隔壁说车老王
2026-11-18 21:26:26
当着全世界的面!日本给赖清德“当头一棒”,祖国统一众望所归

当着全世界的面!日本给赖清德“当头一棒”,祖国统一众望所归

林杰论事
2026-10-20 01:09:25
派出所、民政部门联合入户排查,上门主要核查这五项内容

派出所、民政部门联合入户排查,上门主要核查这五项内容

江启
2026-11-17 10:57:26
AI演员方桃子首个美瞳代言广告被罚,其制作公司被罚6.82万余元

AI演员方桃子首个美瞳代言广告被罚,其制作公司被罚6.82万余元

半岛晨报
2026-11-16 13:38:23
快被父母的有钱程度震惊!网友:我的父母什么时候告诉我是富二代

快被父母的有钱程度震惊!网友:我的父母什么时候告诉我是富二代

另子维爱读史
2026-11-13 23:00:23
赵本山《慌啥子嘛》爆火,球球回应家底三代花不完:不能不努力

赵本山《慌啥子嘛》爆火,球球回应家底三代花不完:不能不努力

不似少年游
2026-11-18 11:52:59
二战德军第六集团军究竟有多豪华?整个日本举国之力都养不起一支

二战德军第六集团军究竟有多豪华?整个日本举国之力都养不起一支

芊芊子吟
2026-09-30 07:40:15
江苏富豪重金为痴傻儿子娶妻,拜金女孩欣然答应,新婚当晚却愣住

江苏富豪重金为痴傻儿子娶妻,拜金女孩欣然答应,新婚当晚却愣住

温情邮局
2025-07-09 14:39:26
52岁汪涵近况,一家四口定居长沙,长期嚼食槟榔,两鬓霜白装扮随意

52岁汪涵近况,一家四口定居长沙,长期嚼食槟榔,两鬓霜白装扮随意

一盅情怀
2026-11-04 11:01:37
建议中老年人:无论有钱没钱,8种“高钾食物”要多吃,别心疼钱

建议中老年人:无论有钱没钱,8种“高钾食物”要多吃,别心疼钱

美食店主
2026-11-18 00:40:49
1958年“批粟” 发言最激烈的5位开国将帅

1958年“批粟” 发言最激烈的5位开国将帅

祁州校尉
2026-11-13 05:00:09
全球供应链重新洗牌,美国为何发现中国不是那么容易替代

全球供应链重新洗牌,美国为何发现中国不是那么容易替代

毒sir财经
2026-11-18 22:27:57
6平方档口,却集齐了21个“APEC朋友”的签名!APEC期间,老外纷纷来深圳华强北扫货

6平方档口,却集齐了21个“APEC朋友”的签名!APEC期间,老外纷纷来深圳华强北扫货

每日经济新闻
2026-11-18 20:00:37
普京来中国带上三大副总理,办完大事不急着回国,直奔中俄大后方

普京来中国带上三大副总理,办完大事不急着回国,直奔中俄大后方

巷北楠猫本尊
2026-11-17 16:13:32
2026-11-18 23:08:49
数据猿DataYuan incentive-icons
数据猿DataYuan
数据智能产业创新服务媒体
3060文章数 623关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
时尚
旅游
房产
健康

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

房产要闻

6.6亿!海口卖地!

医生眼里"很伤腰"的椅子,很多人天天坐

无障碍浏览 进入关怀版