网易首页 > 网易号 > 正文 申请入驻

我复刻了 Claude 刚发布的生成式 UI 交互!

0
分享至

前天 Anthropic 在 Claude 里面上线了基于生成式 UI 的新交互。

可以帮你在聊天信息流里面用地吗可视化的方式介绍一些概念和信息,远比原来的纯文本要好理解。


我之前就一直在看类似的方案,刚好 Claude 发了,我就感觉我也得加紧做了。

同时刚好也可以逆向参考一下他的方案。

疯狂 PUA 了两天 Codex 和 Claude 还真让我搞出来了!


这个功能能让 AI 直接在聊天里画交互式图表,流式输出,边生成边渲染。

以前让 AI 写网页,得等整个页面代码全部生成完才能渲染,等半天。

现在不一样了。

你能看着图表一笔一笔在画布上画出来,SVG 节点一个接一个冒出来。

生成过程本身就很震撼,而且生成完直接就能交互。

直接在我的 Agent 产品 Code Pilot 里面体验:https://github.com/op7418/CodePilot

这篇内容我就会介绍一下它的用法,以及具体的实现过程和一些注意事项。

有哪些好玩的用法

数据分析:数字终于能看懂了

比如让它画一个"美国和伊朗冲突每天成本估算"的图表。

以前 AI 给你一大段文字,数字关系根本看不清。

现在直接出图表,每部分金额多少一目了然,文字和图表混在一起输出,该解释的解释,该画的画。



小工具:写个可交互的计算器啥的

让它做一个复利计算器。

拖滑块改初始金额、改投资年限,下面的图表和数字实时变化。

这不是静态图片,是真的能交互的小工具。

贷款计算、单位换算这类东西都能做。


架构图:程序员最爱

你可以让他帮你画某个项目的架构,或者某一个实现方案的可视化。

比如这里我让它画 API 到 JWT 身份验证的完整流程。

特性对比、流程图、层级结构全是图形化的,比看文字描述理解架构快太多了。


分析线上数据

还有个玩法直接丢一个 GitHub 仓库链接给它,它自己抓数据然后可视化分析。

比如这里我就把我自己的项目地址 Codepilot 发给他让他分析。

星数、fork 数、技术栈、架构设计、核心模块,全部画成图表。

一眼就能看清楚项目全貌,比读一大段文字强多了。


可以进行交互和深度解释

这个最强的是他跟模型结合的相当紧密,不是一顿输出就完事了。

你可以跟他生成的示意图进行交互,让他进行更详细的解释。

比如这里我让他解释季风和洋流的关系。


如果我们想更详细的了解就可以点击那个洋流机制的按钮。

就会自动向当前的模型发送指令,继续帮你生成洋流机制的示意图。


当然我们可以进行更加复杂的交互,比如常见的物理数学公式的可视化。

这种对于学生来说非常好用,每个参数都可以通过滑块和输入控制,动画立刻会发生变化。


国产模型支持

Codepilot 实现之后不只是 Claude 能用。

Kimi K2.5、Minimax M2.5、Anthropic 原生模型都跑得起来。

K2.5 画的图形我觉得甚至比 Sonnet 4.6 还好看,架构分析也很详细。

如果用这个功能我推荐首选 K2.5 试试。

好,到这里,模型的玩法基本上展示完了。

如果你不关心是如何实现的,可以直接去装个 Codepilot,愉快地玩耍了。

如何实现的



Claude 怎么做的

Claude.ai 官方用的是 tool_use 机制。

模型调用一个专用 tool 输出结构化的 widget 内容,

前端解析 tool 调用的 input 参数来渲染。

这个方案在 Claude.ai 自己的架构下没问题。

但搬到 CodePilot 就不行了,原因有三个:

第一,SDK 限制。
CodePilot 用 Claude Agent SDK 的 preset: 'claude_code' 模式,
没法注册自定义 tool。
SDK 暴露的是 text delta 流,tool 层面扩展不了。

第二,流式体验。
tool_use 的结果要等 input_json_delta 拼完才能渲染,
不支持 HTML 增量渲染。
代码围栏方式下,HTML 随文本流式到达,边生成边预览。

第三,渲染隔离。

Claude.ai 用 Shadow DOM 做隔离。

我们选了 sandbox iframe。

iframe 隔离更彻底——完全独立的 JS 执行环境,

CSP 精确控制资源加载,

不存在样式泄漏和脚本逃逸。

我们怎么做的

触发:代码围栏

模型输出一段特殊的 Markdown 代码围栏来触发渲染:

show-widget
{"title":"training_flow","widget_code":" ..."}

这个格式复用了 CodePilot 已有的代码围栏模式
(image-gen-request、batch-plan 等),
前端 parser 链天然支持。


渲染:sandbox iframe

每个 widget 渲染在一个 sandbox="allow-scripts" 的 iframe 里。
iframe 的 srcdoc 是一个精心构建的 receiver 页面。

CSP 策略只放行 4 个 CDN 域名的外部脚本,
connect-src 'none' 禁止所有网络请求。

通过 postMessage 接收内容更新。
流式预览阶段发 widget:update,不执行脚本。
最终渲染发 widget:finalize,执行脚本。

ResizeObserver 监听内容高度变化,

通过 postMessage 报告给父页面。

所有 点击被拦截,
转发给父页面在新窗口打开。

主题同步靠监听父页面的 class 变化,
实时切换深色/浅色模式。


CSS 变量桥接

这是让 widget 跟应用视觉融合的关键。

CodePilot 用 OKLCH 色彩空间的 CSS 变量。
Anthropic 的 widget 设计指南用 --color-background-primary 这类标准变量名。

桥接层在 iframe 初始化时,
把 CodePilot 的变量值注入 iframe 的 :root。
模型按指南写的 CSS 就能直接用当前主题的颜色。

深色模式切换时,
父页面检测到 class 变化,
重新算变量值推给 iframe。


流式渲染

这是整个实现里最复杂的部分。

模型逐 token 生成。
任意时刻收到的 widget 代码都可能是不完整的 JSON、
不完整的 HTML、不完整的 还没到时,
sanitizeForStreaming 剥离了开标签,
但标签内的 JavaScript 代码变成了裸文本节点,
被浏览器渲染成可见内容。

修复:在 StreamingMessage 的 partial code 提取后,
检测最后一个 有没有匹配的 。
没有就在 位置截断。
widget 指南规定 script 放最后,截断不影响视觉内容。
截断期间展示 shimmer 遮罩,
状态栏显示"正在为可视化添加交互动画"。

iframe Ready 竞态

极少数情况下 widget 完全不渲染,停在 0px 高度。

WidgetRenderer 通过 useEffect 注册 message 事件监听。
但 iframe 的 receiver script 加载完就立刻发 widget:ready。
如果 iframe 加载速度快于 React effect 执行,
widget:ready 在监听器注册之前就发出去了,
iframeReady 永远不会变成 true。

修复:在 iframe 元素上加 onLoad 回调兜底。
onLoad 触发时 receiver script 必然已执行完,
是可靠的就绪信号。

React 组件树稳定性

widget 在围栏闭合瞬间闪一次。

两个问题叠在一起:
流式 partial widget 没有 React key,
闭合后获得 key="w-0",key 变了导致 remount。
shimmer overlay 用外包

实现,
改变了组件树结构,type 变了又导致 remount。

修复:给 partial widget 算稳定的 key
(w-N,N 是在最终 segments 数组中的预期位置),
跟闭合后的 key 一致。
shimmer overlay 移进 WidgetRenderer 内部,
通过 showOverlay prop 控制。
组件树始终是 ,不变。

整个生成式 UI 系统,

难的不是"让一段 HTML 在 iframe 里跑起来"。那很简单。

真正的复杂度在于:

让这个 iframe 在流式传输、组件生命周期切换、主题变化这些状态转换中,

保持视觉上的稳定。

每一个"闪一下""跳一下""消失一下",

都要去理解 React 的 reconciliation、

浏览器的渲染管线、

postMessage 的时序。

最终效果是:

用户看到模型的回复里自然地穿插着图表和示意图。

就像它们本来就该在那里。

这是今天的内容。如果觉得对你有帮助的话,可以帮我点个赞,或者是发给有需要的朋友。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
全网力挺郑功成!养老金改革拨乱反正,公共福利不能任由强者通吃

全网力挺郑功成!养老金改革拨乱反正,公共福利不能任由强者通吃

百科密码
2026-09-17 19:10:03
4亿人都在用的豆包,今天成了全网最大的笑话

4亿人都在用的豆包,今天成了全网最大的笑话

财通社
2026-09-17 20:35:18
从“铿锵有力”到天人永隔,小伙记录母亲最后14天视频看哭网友,当事人:从发病到去世过程极快,母亲说没有什么遗憾或留恋

从“铿锵有力”到天人永隔,小伙记录母亲最后14天视频看哭网友,当事人:从发病到去世过程极快,母亲说没有什么遗憾或留恋

鲁中晨报
2026-09-17 15:27:04
中纪委再次放话!要求各地哪怕掉层皮,也要一抓到底!

中纪委再次放话!要求各地哪怕掉层皮,也要一抓到底!

职场资深秘书
2026-09-17 17:37:19
总价至少100亿,全球第4个歼-10C用户将确认:已经启动最后步骤

总价至少100亿,全球第4个歼-10C用户将确认:已经启动最后步骤

巅峰高地
2026-09-17 17:10:29
日本亚运会,真是丢人丢到全世界了,还没有正式开幕,就已经遭到了多国代表团以及国际舆论的广泛批评

日本亚运会,真是丢人丢到全世界了,还没有正式开幕,就已经遭到了多国代表团以及国际舆论的广泛批评

扶苏聊历史
2026-09-17 17:25:16
韩媒:一旦开战,将对北京发起致命打击,大连、青岛都在列!

韩媒:一旦开战,将对北京发起致命打击,大连、青岛都在列!

兔兔侃娱乐
2026-09-16 20:43:14
不服就干!李在明打响反华第一枪,通告全球,妄想掐断中方退路?

不服就干!李在明打响反华第一枪,通告全球,妄想掐断中方退路?

卿羽飞本尊
2026-09-17 20:21:36
管家转卖雇主酒水获利243万元被判刑10年半,家属称将申诉

管家转卖雇主酒水获利243万元被判刑10年半,家属称将申诉

澎湃新闻
2026-09-17 16:58:28
“你想毁掉自己的职业生涯吗?”

“你想毁掉自己的职业生涯吗?”

中国新闻周刊
2026-09-17 16:50:58
影视飓风Tim称iPhoneDuo烫到握不住,苹果回应:博主单台设备测评片面,新设备到手后可能需要3至5天的适应期

影视飓风Tim称iPhoneDuo烫到握不住,苹果回应:博主单台设备测评片面,新设备到手后可能需要3至5天的适应期

19楼
2026-09-17 23:36:53
随着日本0-2、波兰0-1,U20女足世界杯八强全诞生:2大亚洲劲旅在列

随着日本0-2、波兰0-1,U20女足世界杯八强全诞生:2大亚洲劲旅在列

侧身凌空斩
2026-09-18 02:34:41
中方接收美国返还的58件文物,其中一尊来自山西天龙山石窟的菩萨像,是百余年前就遭到劫掠、流落海外的艺术珍品

中方接收美国返还的58件文物,其中一尊来自山西天龙山石窟的菩萨像,是百余年前就遭到劫掠、流落海外的艺术珍品

蓬勃新闻
2026-09-17 14:45:58
佛州38岁女子与宠物狗发生不当行为被捕,丈夫查监控抓现行

佛州38岁女子与宠物狗发生不当行为被捕,丈夫查监控抓现行

环球趣闻分享
2026-09-17 13:10:13
金与正:朝鲜拥核地位从物理和法律上永久固定!

金与正:朝鲜拥核地位从物理和法律上永久固定!

IN朝鲜
2026-09-17 12:19:36
知名抄手店退出外卖平台巨头 对话创始人:每单外卖平均亏1元,专心做好堂食让人们走进餐厅

知名抄手店退出外卖平台巨头 对话创始人:每单外卖平均亏1元,专心做好堂食让人们走进餐厅

红星新闻
2026-09-17 19:32:12
警报拉响!日本内阁大换血,极右翼正式入阁,扩军野心藏不住了

警报拉响!日本内阁大换血,极右翼正式入阁,扩军野心藏不住了

战友老邓
2026-09-17 14:07:33
苹果新品官宣,9月18日,正式发售

苹果新品官宣,9月18日,正式发售

科技堡垒
2026-09-17 11:07:17
实锤!杨景媛在西班牙读研被同校留学生线下证实是本人,爆料者疑似遭到威胁

实锤!杨景媛在西班牙读研被同校留学生线下证实是本人,爆料者疑似遭到威胁

Mr王的饭后茶
2026-09-17 23:33:07
男子救助摔倒老人反被索赔92万余元,老人家属主张男子驾驶电动三轮车产生的气流、噪声、惊吓等非接触因素可能致老人摔倒,法院:不予支持

男子救助摔倒老人反被索赔92万余元,老人家属主张男子驾驶电动三轮车产生的气流、噪声、惊吓等非接触因素可能致老人摔倒,法院:不予支持

都市快报橙柿互动
2026-09-17 19:02:19
2026-09-18 06:51:00
歸藏的AI工具箱 incentive-icons
歸藏的AI工具箱
关注人工智能、LLM 、 AI 图像视频和设计
334文章数 64关注度
往期回顾 全部

科技要闻

影视飓风Tim反掰iPhoneDuo被质疑

头条要闻

深圳商铺楼板坍塌致1名收废品人员死亡 调查报告公布

头条要闻

深圳商铺楼板坍塌致1名收废品人员死亡 调查报告公布

体育要闻

逆转朝鲜,国足亚运队“啃老”过关

娱乐要闻

rapper赵涛恋情曝光!带甜馨妈妈散步

财经要闻

缺钱的追觅 隐藏的债务?

汽车要闻

小鹏G9L限时售23.18万 旗舰级的配置/诱人的价格

态度原创

房产
健康
数码
教育
艺术

房产要闻

突发!三亚安居房出台新政!

剧烈头痛伴呕吐,警惕脑动脉瘤破裂

数码要闻

苹果Apple Watch Series 12与Ultra 4今日开售,2999/6499元起

教育要闻

baby brain 才不是婴儿的脑袋!真实意思你绝对猜不到。。。

艺术要闻

一到秋天,南京的秋色就藏不住了

无障碍浏览 进入关怀版