网易首页 > 网易号 > 正文 申请入驻

实测Codex回放新能力,我把RPA自动化工作流全重做了一遍

0
分享至

这几天一直忙着教CodeX一些复杂的活,

新出的操作回放功能Record & Replay是真好玩,当时我第一反应是,这不就是RPA吗,区别应该就是换成AI写步骤了,

但测完之后,发现完全不是一回事。 所以就有了今天这篇文章,讲讲它是怎么把我两个一直卡着的真实痛点给解决掉的。

而且测完这个功能,我越来越确定一件事,

Codex和 Claude Code,现在走的是两条不同的路。

Codex在通用智能体的路上飞奔,

Record & Replay是最明显的信号,它不是在帮你写代码,是在帮你把现实世界里的重复操作变成可调用的单元(人类撰写声明)。

Claude Code这边就是继续卷编程卷Agent,

最近我用最多的就是Dynamic Workflows(动态工作流),多Agent的机制让CC越来越擅长在一个编程任务里动态调度多个步骤。


(PS:左边打开 Codex,右边终端运行Claude Code)

那回到这两个痛点是什么。

第一个,定向信息搜索。

刷朋友圈刷群突然碰到突发热点,我们都知道在X上大概率是能看到更多的讨论和测试case的。

我之前是直接用Grok去查,然后再把结果整理成文档,其实用Computer Use也能完成这个操作,就是慢,超慢,那网页页面开关十几次,还不如我自己上手,

我想要的其实很简单,

像真人一样打开X,搜这件事,翻结果,整理关键词,在Grok再搜索一次做成表格,整理到本地。

第二个,视频剪辑和上传。

我基本上测试过大部分我刷到的视频剪辑Skill,它们其实都有一些固定的模板,比方说静音检测、气口处理、删重复词,还有在视频里面追加一些Remotion的动画特效,基本上可以剪出一份能够直接拖到剪映里,追加一些特效和音乐就能导出的口播视频。

但是这个方案跟我们日常要上传到公众号的视频素材链路是不一样的。

录完演示视频之后,我要剪辑,加速画面,导出GIF,再贴到公众号。

没什么操作难度,都是贼拉重复的固定流程,但是每次都省略不了。

因为你很难憋出来一段标准,去描述要在什么时候加速,画面里出现什么时加速,这些都是很难被说出来的。

这些都是Record & Replay最擅长的地方。

很多步骤我们已经熟到不用犹豫回想,

鼠标往哪点,哪个状态代表成功,这都成肌肉记忆了。

但让你写成规则、节点、条件分支,

就开始卡了。以前的RPA、Zapier、Make,基本都死在这里。

它们一上来就只会问你,你想自动化什么?

就算没有做过RPA,有通过iphone手机的快捷指令抢红包的朋友也能知道这过程有多复杂。


也就是说,哪怕有AI的辅助,你也得先了解点鼠标,开关屏幕,点录制等对应的操作,或者考虑是否要额外录一个按钮进去。

做的流程少了,我觉得没必要浪费时间去弄 RPA,做的流程多了,一旦中间有一些按键或步骤发生迁移,链路里的某个环节就要重建。

反正就是我留下来的RPA流程真不算多。

Record & Replay直接把这个摩擦给抹平了。

仔细回想一下,如果我要把这个流程交给一个人,让TA以最快速度学会,我也更倾向于打开视频会议,手把手教一遍,然后把录屏存下来,TA自己操作的时候有什么不懂,就直接看视频就搞定了。因为其中有很多步骤,我会一边操作一边辅助说明,这更符合我们日常的直觉。

换到Codex这,就是在插件这里把record添加进来,


然后正常做一遍,该点哪点哪,该填什么填什么,

不用改自己的操作方式,也不用提前写SOP。

Codex就在旁边看着,等你停下来,它把这套过程整理成一份结构化的Skill,可以打开看,可以手动改,下次直接复用。


好消息,成功了,坏消息,成功了一半。

对于视频的剪辑以及加速,它是可以做的。但是剪辑之后的上传,会被卡在浏览器自动化对于原有站点的安全策略上,所以会被明确地拒绝。


(1分钟内的素材剪出来的质量还是可以的)

所以如果我们想做的话,做之前还是可以先让CodeX出一个 Plan,看看你整体操作的所有过程环节里会不会被卡。在不被卡的情况下再进行录制,就会很简单。

还有一个问题,在录制的这个过程中,尽可能不要用快捷键,尽可能在操作的时候用全屏。

那除了剪辑,我刚刚还有一个痛点,就是多轮搜索,

通过Grok直接搜索一个信息,获取 X上面的高赞帖子,然后我再可以根据这些帖子的关键词再去补充搜索,下载一些视频素材和表格。这样操作下来,基本能满足一篇图文所需素材的 60% 到 70%。

我比较惊喜的点是,Codex并不是在简单地照搬,它有自己的思路。

我在操作时演示得不算完整,


我先搜了最近三个月、点赞数(Like)超过 100 的帖子,这是我常用的选项。

把这些帖子整理成表格,在最底下发现游戏构建这个词经常和Fable 5一起出现。

于是我把这两个词组成新的关键词,回到X上继续搜索,发现了一个点赞量很高表现不错的视频,并把它下载下来作为演示素材。

Codex 理解完这一系列操作后,会在输入给Grok之前,自动增加一部分输入文本,让它输出适合中文搜索的关键词库。我觉得这一点非常棒,因为它把一个很难具象化的细节操作给自动化了。


我在进行信息搜索的时候,看到关键词会自然地想着往下搜,但实际上你很难提前告诉 AI 该怎么做,特别是不同的实体会有不同的关键词。

Codex理解了我的这部操作,并用它自己的方式实现了出来。

所以最后能看到,codex用这个新skill给我们整理了完整的表格,输出每个表格的互动指标。还提供了短关键词,从思考过程中可以看到,它在搜索短关键词时尝试了很多不同的组合。

在不同组的查询中,它发现多个关键词指向的是同一批高互赞帖子,所以它会还额外补充一个相关查询,并重新整理成表格。基本上,它已经能做到一个可以和Deep Research互补的版本,至少达到了我能接受的水平。



我们要做的,就是把我们已知的操作完整演练一遍就可以了。

说实话,目前Record & Replay还是依赖Computer Use,还是靠图片理解在操作,

操作起来真不算快,偶尔会判断错该点哪里。

更类人的操作,还得等一个更强的视觉模型来做。

我觉得它真正可能替代的,不只是RPA,还有一部分传统 Replay。

传统Replay更像是把过去录下来。

你回头看,回头复盘,回头找当时发生了什么。

Codex更激进一点。

它不是只保存过去。

它把过去变成下一次可执行的上下文。

你上次怎么做的,它不只是回放给你看,是整理成 Skill,下次继续用(人类撰写证明)。

这就很骚了。

因为对我这种天天做内容,做产品,做点小工具的人来说,

我最不缺的就是录像。

我缺的是可以复用的经验。

我不需要把每一次鼠标移动都永久保存。

我需要的是,

下一次遇到同类任务时,

Agent记得我怎么判断,怎么取舍,怎么验收。

从这个角度看,

Record & Replay是把人的一次操作,

转化成Agent下次能用的经验。

以前这是自动化的终点。

现在成了自动化的起点。

@ 作者 / 卡尔

最后,感谢你看到这里如果喜欢这篇文章,不妨顺手给我们点赞|在看|转发|评论

如果想要第一时间收到推送,不妨给我个星标

如果你有更有趣的玩法,欢迎在评论区聊聊

更多的内容正在不断填坑中……


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“出卖”父亲后果凄凉?傅作义之女傅冬菊为何至今仍被黑得如此惨?

“出卖”父亲后果凄凉?傅作义之女傅冬菊为何至今仍被黑得如此惨?

舆图看世界
2026-09-06 11:40:12
下馆子时,这4道菜千万别点,全是预制菜,老板自己都很少吃!

下馆子时,这4道菜千万别点,全是预制菜,老板自己都很少吃!

思思夜话
2026-08-18 10:44:09
“葫芦娃爷爷”把7个葫芦摘掉了,来年不会种了:来打卡的人太多,不安全都惊动消防了

“葫芦娃爷爷”把7个葫芦摘掉了,来年不会种了:来打卡的人太多,不安全都惊动消防了

江山挥笔
2026-09-06 16:38:15
从引进到解约事故不断!米内罗闹剧背后,藏着申花不能说的引援真相

从引进到解约事故不断!米内罗闹剧背后,藏着申花不能说的引援真相

中国足球的那些事儿
2026-09-07 15:36:53
被美国制裁后,俄罗斯2700亿黄金卖给中国,比放西方安全,补亏空

被美国制裁后,俄罗斯2700亿黄金卖给中国,比放西方安全,补亏空

说故事的阿袭
2026-09-07 16:37:50
卖不掉也踢不上!巴萨22岁天才3轮0出场,弗里克已下逐客令

卖不掉也踢不上!巴萨22岁天才3轮0出场,弗里克已下逐客令

友谊第一
2026-09-07 14:29:01
钱再多又如何?52岁刘强东手握千亿身家,儿子成了一生的遗憾

钱再多又如何?52岁刘强东手握千亿身家,儿子成了一生的遗憾

莫地方
2026-08-23 19:19:07
杨虎城的后人今何在:长子省委书记,俩女儿厅级,孙子移民加拿大

杨虎城的后人今何在:长子省委书记,俩女儿厅级,孙子移民加拿大

历史人文2
2026-09-07 11:48:35
多年布局将前功尽弃?已经独立满百年的蒙古突然调整对外策略,正逐步消解中国历时40年苦心推进的相关战略布局成果

多年布局将前功尽弃?已经独立满百年的蒙古突然调整对外策略,正逐步消解中国历时40年苦心推进的相关战略布局成果

人生录
2026-09-08 00:05:22
直到今天美国才发现,当年冻结俄罗斯3000亿外汇,竟成了本世纪最臭的一步棋

直到今天美国才发现,当年冻结俄罗斯3000亿外汇,竟成了本世纪最臭的一步棋

坠入二次元的海洋
2026-09-02 09:20:36
墙倒众人推!德云社风波48小时后,人人自危时岳云鹏却在干农活,他藏了14年的生存智慧,终于藏不住了

墙倒众人推!德云社风波48小时后,人人自危时岳云鹏却在干农活,他藏了14年的生存智慧,终于藏不住了

背包旅行
2026-09-07 18:48:00
李显龙直言不讳地告诫国民:每一个新加坡人都必须明白,本国坚决不承认“华人国家”身份,背后藏着的是全亚洲最为惊心动魄的生存考量

李显龙直言不讳地告诫国民:每一个新加坡人都必须明白,本国坚决不承认“华人国家”身份,背后藏着的是全亚洲最为惊心动魄的生存考量

橙色书卷
2026-07-16 21:35:45
行母习惯玩剧组夫妻!黄磊投资综艺亏麻了!

行母习惯玩剧组夫妻!黄磊投资综艺亏麻了!

八卦疯叔
2026-09-06 10:20:06
U20女足下半场闪击!肖亚飞推射建功,李晨语精妙助攻

U20女足下半场闪击!肖亚飞推射建功,李晨语精妙助攻

奥拜尔
2026-09-07 22:10:21
鲍尔默硬刚萧华:3000万我认,但一年禁赛和5个首轮签,这口气我咽不下去!

鲍尔默硬刚萧华:3000万我认,但一年禁赛和5个首轮签,这口气我咽不下去!

竹影清风d
2026-09-05 20:53:36
梅妈丧事被曝已办妥,好友称不用梅启明操心,梅启明仍要自办一场

梅妈丧事被曝已办妥,好友称不用梅启明操心,梅启明仍要自办一场

史料布籍
2026-09-07 13:50:07
承认吧,如今很多家庭已经供不起一个大学生本科四年的全部开销了

承认吧,如今很多家庭已经供不起一个大学生本科四年的全部开销了

你在偷看谁
2026-09-07 21:25:34
世卫组织呼吁:停止使用电热水壶,否则会诱发癌症?告诉你真相!

世卫组织呼吁:停止使用电热水壶,否则会诱发癌症?告诉你真相!

芹姐说生活
2026-09-07 22:31:08
斯诺克大冷门,世界冠军一轮游,中国军团4胜1负,两大种子出局

斯诺克大冷门,世界冠军一轮游,中国军团4胜1负,两大种子出局

南海浪花
2026-09-08 01:25:08
黄仁勋大发慈悲!RTX 5090公版显卡只卖1.35万元:市场价已超3.35万元

黄仁勋大发慈悲!RTX 5090公版显卡只卖1.35万元:市场价已超3.35万元

快科技
2026-09-07 10:18:21
2026-09-08 02:23:00
卡尔的AI沃茨 incentive-icons
卡尔的AI沃茨
前大厂算法工程师,3家科技公司技术总监|致力打造最系统的Al学习体系,让1万人通过Al提高生产力
328文章数 144关注度
往期回顾 全部

科技要闻

小米澎程N90 Max定价26.99万元

头条要闻

伊朗试验特殊武器爆炸场面如同地狱 美军舰直接跑了

头条要闻

伊朗试验特殊武器爆炸场面如同地狱 美军舰直接跑了

体育要闻

压哨避开CBA选秀规则?NBL香港金牛队已为男篮国手王俊杰报备合同

娱乐要闻

热搜第一,演员李沐宸致歉

财经要闻

证监会原副主席王建军一审被判无期徒刑

汽车要闻

智能可变大空间SUV 小米澎程系列车型上市 20.99万起

态度原创

数码
手机
健康
房产
公开课

数码要闻

存储吃紧!华硕、技嘉计划再次上调显卡售价:最高涨幅500元

手机要闻

2026荣耀全球开发者大会日程公布,MagicOS 11定档9月15日

同样是脑梗,为何康复结局大不同?

房产要闻

10万人吃瓜!三亚这个楼盘,法拍网上卖疯了!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版