网易首页 > 网易号 > 正文 申请入驻

我复刻了 Claude 刚发布的生成式 UI 交互!

0
分享至

前天 Anthropic 在 Claude 里面上线了基于生成式 UI 的新交互。

可以帮你在聊天信息流里面用地吗可视化的方式介绍一些概念和信息,远比原来的纯文本要好理解。


我之前就一直在看类似的方案,刚好 Claude 发了,我就感觉我也得加紧做了。

同时刚好也可以逆向参考一下他的方案。

疯狂 PUA 了两天 Codex 和 Claude 还真让我搞出来了!


这个功能能让 AI 直接在聊天里画交互式图表,流式输出,边生成边渲染。

以前让 AI 写网页,得等整个页面代码全部生成完才能渲染,等半天。

现在不一样了。

你能看着图表一笔一笔在画布上画出来,SVG 节点一个接一个冒出来。

生成过程本身就很震撼,而且生成完直接就能交互。

直接在我的 Agent 产品 Code Pilot 里面体验:https://github.com/op7418/CodePilot

这篇内容我就会介绍一下它的用法,以及具体的实现过程和一些注意事项。

有哪些好玩的用法

数据分析:数字终于能看懂了

比如让它画一个"美国和伊朗冲突每天成本估算"的图表。

以前 AI 给你一大段文字,数字关系根本看不清。

现在直接出图表,每部分金额多少一目了然,文字和图表混在一起输出,该解释的解释,该画的画。



小工具:写个可交互的计算器啥的

让它做一个复利计算器。

拖滑块改初始金额、改投资年限,下面的图表和数字实时变化。

这不是静态图片,是真的能交互的小工具。

贷款计算、单位换算这类东西都能做。


架构图:程序员最爱

你可以让他帮你画某个项目的架构,或者某一个实现方案的可视化。

比如这里我让它画 API 到 JWT 身份验证的完整流程。

特性对比、流程图、层级结构全是图形化的,比看文字描述理解架构快太多了。


分析线上数据

还有个玩法直接丢一个 GitHub 仓库链接给它,它自己抓数据然后可视化分析。

比如这里我就把我自己的项目地址 Codepilot 发给他让他分析。

星数、fork 数、技术栈、架构设计、核心模块,全部画成图表。

一眼就能看清楚项目全貌,比读一大段文字强多了。


可以进行交互和深度解释

这个最强的是他跟模型结合的相当紧密,不是一顿输出就完事了。

你可以跟他生成的示意图进行交互,让他进行更详细的解释。

比如这里我让他解释季风和洋流的关系。


如果我们想更详细的了解就可以点击那个洋流机制的按钮。

就会自动向当前的模型发送指令,继续帮你生成洋流机制的示意图。


当然我们可以进行更加复杂的交互,比如常见的物理数学公式的可视化。

这种对于学生来说非常好用,每个参数都可以通过滑块和输入控制,动画立刻会发生变化。


国产模型支持

Codepilot 实现之后不只是 Claude 能用。

Kimi K2.5、Minimax M2.5、Anthropic 原生模型都跑得起来。

K2.5 画的图形我觉得甚至比 Sonnet 4.6 还好看,架构分析也很详细。

如果用这个功能我推荐首选 K2.5 试试。

好,到这里,模型的玩法基本上展示完了。

如果你不关心是如何实现的,可以直接去装个 Codepilot,愉快地玩耍了。

如何实现的



Claude 怎么做的

Claude.ai 官方用的是 tool_use 机制。

模型调用一个专用 tool 输出结构化的 widget 内容,

前端解析 tool 调用的 input 参数来渲染。

这个方案在 Claude.ai 自己的架构下没问题。

但搬到 CodePilot 就不行了,原因有三个:

第一,SDK 限制。
CodePilot 用 Claude Agent SDK 的 preset: 'claude_code' 模式,
没法注册自定义 tool。
SDK 暴露的是 text delta 流,tool 层面扩展不了。

第二,流式体验。
tool_use 的结果要等 input_json_delta 拼完才能渲染,
不支持 HTML 增量渲染。
代码围栏方式下,HTML 随文本流式到达,边生成边预览。

第三,渲染隔离。

Claude.ai 用 Shadow DOM 做隔离。

我们选了 sandbox iframe。

iframe 隔离更彻底——完全独立的 JS 执行环境,

CSP 精确控制资源加载,

不存在样式泄漏和脚本逃逸。

我们怎么做的

触发:代码围栏

模型输出一段特殊的 Markdown 代码围栏来触发渲染:

show-widget
{"title":"training_flow","widget_code":" ..."}

这个格式复用了 CodePilot 已有的代码围栏模式
(image-gen-request、batch-plan 等),
前端 parser 链天然支持。


渲染:sandbox iframe

每个 widget 渲染在一个 sandbox="allow-scripts" 的 iframe 里。
iframe 的 srcdoc 是一个精心构建的 receiver 页面。

CSP 策略只放行 4 个 CDN 域名的外部脚本,
connect-src 'none' 禁止所有网络请求。

通过 postMessage 接收内容更新。
流式预览阶段发 widget:update,不执行脚本。
最终渲染发 widget:finalize,执行脚本。

ResizeObserver 监听内容高度变化,

通过 postMessage 报告给父页面。

所有 点击被拦截,
转发给父页面在新窗口打开。

主题同步靠监听父页面的 class 变化,
实时切换深色/浅色模式。


CSS 变量桥接

这是让 widget 跟应用视觉融合的关键。

CodePilot 用 OKLCH 色彩空间的 CSS 变量。
Anthropic 的 widget 设计指南用 --color-background-primary 这类标准变量名。

桥接层在 iframe 初始化时,
把 CodePilot 的变量值注入 iframe 的 :root。
模型按指南写的 CSS 就能直接用当前主题的颜色。

深色模式切换时,
父页面检测到 class 变化,
重新算变量值推给 iframe。


流式渲染

这是整个实现里最复杂的部分。

模型逐 token 生成。
任意时刻收到的 widget 代码都可能是不完整的 JSON、
不完整的 HTML、不完整的 还没到时,
sanitizeForStreaming 剥离了开标签,
但标签内的 JavaScript 代码变成了裸文本节点,
被浏览器渲染成可见内容。

修复:在 StreamingMessage 的 partial code 提取后,
检测最后一个 有没有匹配的 。
没有就在 位置截断。
widget 指南规定 script 放最后,截断不影响视觉内容。
截断期间展示 shimmer 遮罩,
状态栏显示"正在为可视化添加交互动画"。

iframe Ready 竞态

极少数情况下 widget 完全不渲染,停在 0px 高度。

WidgetRenderer 通过 useEffect 注册 message 事件监听。
但 iframe 的 receiver script 加载完就立刻发 widget:ready。
如果 iframe 加载速度快于 React effect 执行,
widget:ready 在监听器注册之前就发出去了,
iframeReady 永远不会变成 true。

修复:在 iframe 元素上加 onLoad 回调兜底。
onLoad 触发时 receiver script 必然已执行完,
是可靠的就绪信号。

React 组件树稳定性

widget 在围栏闭合瞬间闪一次。

两个问题叠在一起:
流式 partial widget 没有 React key,
闭合后获得 key="w-0",key 变了导致 remount。
shimmer overlay 用外包

实现,
改变了组件树结构,type 变了又导致 remount。

修复:给 partial widget 算稳定的 key
(w-N,N 是在最终 segments 数组中的预期位置),
跟闭合后的 key 一致。
shimmer overlay 移进 WidgetRenderer 内部,
通过 showOverlay prop 控制。
组件树始终是 ,不变。

整个生成式 UI 系统,

难的不是"让一段 HTML 在 iframe 里跑起来"。那很简单。

真正的复杂度在于:

让这个 iframe 在流式传输、组件生命周期切换、主题变化这些状态转换中,

保持视觉上的稳定。

每一个"闪一下""跳一下""消失一下",

都要去理解 React 的 reconciliation、

浏览器的渲染管线、

postMessage 的时序。

最终效果是:

用户看到模型的回复里自然地穿插着图表和示意图。

就像它们本来就该在那里。

这是今天的内容。如果觉得对你有帮助的话,可以帮我点个赞,或者是发给有需要的朋友。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
两大名嘴吵起来!苏群说中日男篮战只是普通比赛,杨毅怒怼:说这话的人不用担责任

两大名嘴吵起来!苏群说中日男篮战只是普通比赛,杨毅怒怼:说这话的人不用担责任

萌兰聊个球
2026-09-17 19:48:28
“给你钱,让我搞一下”:29岁女子独自骑马到新疆,被一个70岁大爷性骚扰,摸了她两次大腿

“给你钱,让我搞一下”:29岁女子独自骑马到新疆,被一个70岁大爷性骚扰,摸了她两次大腿

江山挥笔
2026-09-13 11:03:46
神剧情!卡里克不敢相信:两球领先被逆转,曼联主场沦陷,惨遭淘汰出局

神剧情!卡里克不敢相信:两球领先被逆转,曼联主场沦陷,惨遭淘汰出局

足球狗说
2026-09-17 04:57:44
凌晨两点资格赛中国7胜11负收官,64强出炉中国16席赵心童领衔

凌晨两点资格赛中国7胜11负收官,64强出炉中国16席赵心童领衔

求球不落谛
2026-09-17 05:39:05
彻底捂不住了!俄核心铁杆痛呼现状:当下就是1917沙俄崩盘翻版

彻底捂不住了!俄核心铁杆痛呼现状:当下就是1917沙俄崩盘翻版

老马拉车莫少装
2026-07-02 11:54:24
彻底反转!陈锦婷根本不怕官司赔钱,真正的软肋早已暴露无遗

彻底反转!陈锦婷根本不怕官司赔钱,真正的软肋早已暴露无遗

社会日日鲜
2026-09-16 13:36:10
无底线了!内塔尼亚胡之子被伊朗特工暗杀,弃行李连夜逃回以色列

无底线了!内塔尼亚胡之子被伊朗特工暗杀,弃行李连夜逃回以色列

梦史
2026-08-29 06:21:20
深圳机场偶遇!郑钦文带52位排名回国,24日17时死磕意大利

深圳机场偶遇!郑钦文带52位排名回国,24日17时死磕意大利

足球评论大家谈
2026-09-17 14:07:07
令人惋惜!2次救命机会没抓住,敬一丹遭遇,给广大老年人提个醒

令人惋惜!2次救命机会没抓住,敬一丹遭遇,给广大老年人提个醒

大鱼简科
2026-09-17 10:15:19
苹果折叠屏遭外媒嘲讽:美国在国际市场上封锁华为,原来是在给苹果创造抄袭的机会

苹果折叠屏遭外媒嘲讽:美国在国际市场上封锁华为,原来是在给苹果创造抄袭的机会

逍遥漠
2026-09-16 10:20:54
南医大坠亡事件大反转!同门师兄发声,长文揭露导师“真面目”

南医大坠亡事件大反转!同门师兄发声,长文揭露导师“真面目”

行舟问茶
2026-09-17 22:21:00
惨烈!8月中型SUV销量榜,Model Y夺冠,途观L第5,豹5第21名

惨烈!8月中型SUV销量榜,Model Y夺冠,途观L第5,豹5第21名

沙雕小琳琳
2026-09-18 01:28:31
23次触球0射门:曼联新援66分钟灾难表现,红魔联赛杯出局

23次触球0射门:曼联新援66分钟灾难表现,红魔联赛杯出局

晚风知我意21
2026-09-17 05:16:55
葡萄牙欧国联大名单将公布,曝41岁C罗不退队,距1000球仅差21球

葡萄牙欧国联大名单将公布,曝41岁C罗不退队,距1000球仅差21球

小火箭爱体育
2026-09-17 20:17:27
“外出遛狗2岁幼童独自在家坠亡”,孩子父亲回应质疑:妻子想不通需宣泄,我们的关系没那么“恼火”

“外出遛狗2岁幼童独自在家坠亡”,孩子父亲回应质疑:妻子想不通需宣泄,我们的关系没那么“恼火”

台州交通广播
2026-09-17 18:01:28
杨瀚森迎来大转机!1换4双赢交易出炉,快船绝境之下疯狂自救!

杨瀚森迎来大转机!1换4双赢交易出炉,快船绝境之下疯狂自救!

刘哥谈体育
2026-09-17 10:55:11
中国急需建设的3座跨海工程:如果实现,那价值将远超港珠澳大桥

中国急需建设的3座跨海工程:如果实现,那价值将远超港珠澳大桥

抽象派大师
2026-09-15 13:36:15
《兰香如故》导演竟是90后北大才女,首次执导S+大剧就爆了!凭镜头美学与女性叙事出圈

《兰香如故》导演竟是90后北大才女,首次执导S+大剧就爆了!凭镜头美学与女性叙事出圈

露珠聊影视
2026-09-17 14:15:15
《爸爸去哪儿》11个孩子变化大,石头高考落榜,黄多多最让人意外

《爸爸去哪儿》11个孩子变化大,石头高考落榜,黄多多最让人意外

揭秘世间万象
2026-09-16 21:34:29
纪委通报5起招投标惊天贪腐案!现在的招投标,早已不靠关系赢

纪委通报5起招投标惊天贪腐案!现在的招投标,早已不靠关系赢

职场资深秘书
2026-09-17 17:29:44
2026-09-18 05:27:00
歸藏的AI工具箱 incentive-icons
歸藏的AI工具箱
关注人工智能、LLM 、 AI 图像视频和设计
334文章数 64关注度
往期回顾 全部

科技要闻

影视飓风Tim反掰iPhoneDuo被质疑

头条要闻

永和豆浆视频被指擦边:女子穿蕾丝吊带 脱黑丝袜洗澡

头条要闻

永和豆浆视频被指擦边:女子穿蕾丝吊带 脱黑丝袜洗澡

体育要闻

逆转朝鲜,国足亚运队“啃老”过关

娱乐要闻

rapper赵涛恋情曝光!带甜馨妈妈散步

财经要闻

缺钱的追觅 隐藏的债务?

汽车要闻

小鹏G9L限时售23.18万 旗舰级的配置/诱人的价格

态度原创

教育
数码
房产
健康
公开课

教育要闻

家长爆料:南京又有学校要合并?

数码要闻

苹果AirPods 5耳机今日正式开售,999元起标配主动降噪

房产要闻

突发!三亚安居房出台新政!

剧烈头痛伴呕吐,警惕脑动脉瘤破裂

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版