网易首页 > 网易号 > 正文 申请入驻

实测Codex回放新能力,我把RPA自动化工作流全重做了一遍

0
分享至

这几天一直忙着教CodeX一些复杂的活,

新出的操作回放功能Record & Replay是真好玩,当时我第一反应是,这不就是RPA吗,区别应该就是换成AI写步骤了,

但测完之后,发现完全不是一回事。 所以就有了今天这篇文章,讲讲它是怎么把我两个一直卡着的真实痛点给解决掉的。

而且测完这个功能,我越来越确定一件事,

Codex和 Claude Code,现在走的是两条不同的路。

Codex在通用智能体的路上飞奔,

Record & Replay是最明显的信号,它不是在帮你写代码,是在帮你把现实世界里的重复操作变成可调用的单元(人类撰写声明)。

Claude Code这边就是继续卷编程卷Agent,

最近我用最多的就是Dynamic Workflows(动态工作流),多Agent的机制让CC越来越擅长在一个编程任务里动态调度多个步骤。


(PS:左边打开 Codex,右边终端运行Claude Code)

那回到这两个痛点是什么。

第一个,定向信息搜索。

刷朋友圈刷群突然碰到突发热点,我们都知道在X上大概率是能看到更多的讨论和测试case的。

我之前是直接用Grok去查,然后再把结果整理成文档,其实用Computer Use也能完成这个操作,就是慢,超慢,那网页页面开关十几次,还不如我自己上手,

我想要的其实很简单,

像真人一样打开X,搜这件事,翻结果,整理关键词,在Grok再搜索一次做成表格,整理到本地。

第二个,视频剪辑和上传。

我基本上测试过大部分我刷到的视频剪辑Skill,它们其实都有一些固定的模板,比方说静音检测、气口处理、删重复词,还有在视频里面追加一些Remotion的动画特效,基本上可以剪出一份能够直接拖到剪映里,追加一些特效和音乐就能导出的口播视频。

但是这个方案跟我们日常要上传到公众号的视频素材链路是不一样的。

录完演示视频之后,我要剪辑,加速画面,导出GIF,再贴到公众号。

没什么操作难度,都是贼拉重复的固定流程,但是每次都省略不了。

因为你很难憋出来一段标准,去描述要在什么时候加速,画面里出现什么时加速,这些都是很难被说出来的。

这些都是Record & Replay最擅长的地方。

很多步骤我们已经熟到不用犹豫回想,

鼠标往哪点,哪个状态代表成功,这都成肌肉记忆了。

但让你写成规则、节点、条件分支,

就开始卡了。以前的RPA、Zapier、Make,基本都死在这里。

它们一上来就只会问你,你想自动化什么?

就算没有做过RPA,有通过iphone手机的快捷指令抢红包的朋友也能知道这过程有多复杂。


也就是说,哪怕有AI的辅助,你也得先了解点鼠标,开关屏幕,点录制等对应的操作,或者考虑是否要额外录一个按钮进去。

做的流程少了,我觉得没必要浪费时间去弄 RPA,做的流程多了,一旦中间有一些按键或步骤发生迁移,链路里的某个环节就要重建。

反正就是我留下来的RPA流程真不算多。

Record & Replay直接把这个摩擦给抹平了。

仔细回想一下,如果我要把这个流程交给一个人,让TA以最快速度学会,我也更倾向于打开视频会议,手把手教一遍,然后把录屏存下来,TA自己操作的时候有什么不懂,就直接看视频就搞定了。因为其中有很多步骤,我会一边操作一边辅助说明,这更符合我们日常的直觉。

换到Codex这,就是在插件这里把record添加进来,


然后正常做一遍,该点哪点哪,该填什么填什么,

不用改自己的操作方式,也不用提前写SOP。

Codex就在旁边看着,等你停下来,它把这套过程整理成一份结构化的Skill,可以打开看,可以手动改,下次直接复用。


好消息,成功了,坏消息,成功了一半。

对于视频的剪辑以及加速,它是可以做的。但是剪辑之后的上传,会被卡在浏览器自动化对于原有站点的安全策略上,所以会被明确地拒绝。


(1分钟内的素材剪出来的质量还是可以的)

所以如果我们想做的话,做之前还是可以先让CodeX出一个 Plan,看看你整体操作的所有过程环节里会不会被卡。在不被卡的情况下再进行录制,就会很简单。

还有一个问题,在录制的这个过程中,尽可能不要用快捷键,尽可能在操作的时候用全屏。

那除了剪辑,我刚刚还有一个痛点,就是多轮搜索,

通过Grok直接搜索一个信息,获取 X上面的高赞帖子,然后我再可以根据这些帖子的关键词再去补充搜索,下载一些视频素材和表格。这样操作下来,基本能满足一篇图文所需素材的 60% 到 70%。

我比较惊喜的点是,Codex并不是在简单地照搬,它有自己的思路。

我在操作时演示得不算完整,


我先搜了最近三个月、点赞数(Like)超过 100 的帖子,这是我常用的选项。

把这些帖子整理成表格,在最底下发现游戏构建这个词经常和Fable 5一起出现。

于是我把这两个词组成新的关键词,回到X上继续搜索,发现了一个点赞量很高表现不错的视频,并把它下载下来作为演示素材。

Codex 理解完这一系列操作后,会在输入给Grok之前,自动增加一部分输入文本,让它输出适合中文搜索的关键词库。我觉得这一点非常棒,因为它把一个很难具象化的细节操作给自动化了。


我在进行信息搜索的时候,看到关键词会自然地想着往下搜,但实际上你很难提前告诉 AI 该怎么做,特别是不同的实体会有不同的关键词。

Codex理解了我的这部操作,并用它自己的方式实现了出来。

所以最后能看到,codex用这个新skill给我们整理了完整的表格,输出每个表格的互动指标。还提供了短关键词,从思考过程中可以看到,它在搜索短关键词时尝试了很多不同的组合。

在不同组的查询中,它发现多个关键词指向的是同一批高互赞帖子,所以它会还额外补充一个相关查询,并重新整理成表格。基本上,它已经能做到一个可以和Deep Research互补的版本,至少达到了我能接受的水平。



我们要做的,就是把我们已知的操作完整演练一遍就可以了。

说实话,目前Record & Replay还是依赖Computer Use,还是靠图片理解在操作,

操作起来真不算快,偶尔会判断错该点哪里。

更类人的操作,还得等一个更强的视觉模型来做。

我觉得它真正可能替代的,不只是RPA,还有一部分传统 Replay。

传统Replay更像是把过去录下来。

你回头看,回头复盘,回头找当时发生了什么。

Codex更激进一点。

它不是只保存过去。

它把过去变成下一次可执行的上下文。

你上次怎么做的,它不只是回放给你看,是整理成 Skill,下次继续用(人类撰写证明)。

这就很骚了。

因为对我这种天天做内容,做产品,做点小工具的人来说,

我最不缺的就是录像。

我缺的是可以复用的经验。

我不需要把每一次鼠标移动都永久保存。

我需要的是,

下一次遇到同类任务时,

Agent记得我怎么判断,怎么取舍,怎么验收。

从这个角度看,

Record & Replay是把人的一次操作,

转化成Agent下次能用的经验。

以前这是自动化的终点。

现在成了自动化的起点。

@ 作者 / 卡尔

最后,感谢你看到这里如果喜欢这篇文章,不妨顺手给我们点赞|在看|转发|评论

如果想要第一时间收到推送,不妨给我个星标

如果你有更有趣的玩法,欢迎在评论区聊聊

更多的内容正在不断填坑中……


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
陪睡陪玩只是开胃菜,舔手指塞拳头、集体嫖娼、背后的事藏不住了

陪睡陪玩只是开胃菜,舔手指塞拳头、集体嫖娼、背后的事藏不住了

北海史记
2026-08-12 19:57:54
每体:巴萨曾向弗里克介绍和穆帅的过往争议,建议不要谈论他

每体:巴萨曾向弗里克介绍和穆帅的过往争议,建议不要谈论他

懂球帝
2026-09-08 03:56:14
比尔·盖茨亲口承认:Ctrl+Alt+Delete是个错误

比尔·盖茨亲口承认:Ctrl+Alt+Delete是个错误

我是一个粉刷匠2
2026-09-07 01:06:52
台媒:台湾资深演员庞祥麟辞世,享年80岁

台媒:台湾资深演员庞祥麟辞世,享年80岁

界面新闻
2026-09-07 16:45:26
白露已至,上海秋天近了吗?还会闷热吗?

白露已至,上海秋天近了吗?还会闷热吗?

上海宝山
2026-09-08 00:11:25
欧盟市场留给我们的窗口期只剩下16个月。

欧盟市场留给我们的窗口期只剩下16个月。

流苏晚晴
2026-09-02 19:04:44
29.99万,小米真做成了...

29.99万,小米真做成了...

放毒
2026-09-07 23:53:31
医保有变化!2027年1月1日起执行

医保有变化!2027年1月1日起执行

新浪财经
2026-09-07 17:08:48
14亿中国人养不起高速?中国高速8年亏了6万亿,美国高速大部分免费还能盈利,这组数字在网上传疯了。

14亿中国人养不起高速?中国高速8年亏了6万亿,美国高速大部分免费还能盈利,这组数字在网上传疯了。

回京历史梦
2026-09-07 17:47:23
袁腾飞移民美国的几个细节问题

袁腾飞移民美国的几个细节问题

十柱
2026-09-05 10:15:57
访华后,日本跨党派议员称:中方要求高市就涉台言论“公开收回并道歉”的门槛“几乎难以逾越”

访华后,日本跨党派议员称:中方要求高市就涉台言论“公开收回并道歉”的门槛“几乎难以逾越”

爱看剧的阿峰
2026-09-07 11:40:40
一针没打的280万人,2026年身体真相曝光

一针没打的280万人,2026年身体真相曝光

华庭讲美食
2026-08-26 01:21:08
我退休金8千5,老婆只有1千6,我非要跟她AA制,结果她跑去给人当保姆。孙女出生那晚我找她,推开门我人都傻了!

我退休金8千5,老婆只有1千6,我非要跟她AA制,结果她跑去给人当保姆。孙女出生那晚我找她,推开门我人都傻了!

三更写故事
2026-09-07 19:05:03
余承东连喊三个Super!麒麟9050 Pro芯片发布!华为六年磨一剑,美国封锁真被打破了?

余承东连喊三个Super!麒麟9050 Pro芯片发布!华为六年磨一剑,美国封锁真被打破了?

王爷说图表
2026-09-07 16:18:55
【2026.9.7】井柏然是刘雯的初恋?现偶剧组主角的衣服由谁提供?陈丽君资源这么好?卢昱晓公司对攻击啥看法?王凯权谋剧进度?

【2026.9.7】井柏然是刘雯的初恋?现偶剧组主角的衣服由谁提供?陈丽君资源这么好?卢昱晓公司对攻击啥看法?王凯权谋剧进度?

娱乐真爆姐
2026-09-08 00:37:01
维拉新援格雷茨卡首秀推迟至少一个月,欧冠前再遭打击

维拉新援格雷茨卡首秀推迟至少一个月,欧冠前再遭打击

赛场名场面
2026-09-08 05:07:03
又一零食塌房!记者暗访画面恶心至极,发黄又生虫,不少人天天吃

又一零食塌房!记者暗访画面恶心至极,发黄又生虫,不少人天天吃

旧窗老街
2026-08-19 19:18:59
同是曼城中场!罗德里在巴萨封神,B席的抉择满是唏嘘

同是曼城中场!罗德里在巴萨封神,B席的抉择满是唏嘘

圣西罗的太阳
2026-09-07 12:06:42
世界杯5-0!中国女足大胜鱼腩 20岁小将戴帽 亚洲4队首轮仅韩国不胜

世界杯5-0!中国女足大胜鱼腩 20岁小将戴帽 亚洲4队首轮仅韩国不胜

侃球熊弟
2026-09-07 23:05:56
黑奴配种有多恐怖:3黑奴被当作配种工具,子女无数。

黑奴配种有多恐怖:3黑奴被当作配种工具,子女无数。

智慧天气通
2026-09-03 12:35:43
2026-09-08 06:43:00
卡尔的AI沃茨 incentive-icons
卡尔的AI沃茨
前大厂算法工程师,3家科技公司技术总监|致力打造最系统的Al学习体系,让1万人通过Al提高生产力
328文章数 144关注度
往期回顾 全部

科技要闻

小米澎程N90 Max定价26.99万元

头条要闻

伊朗试验特殊武器爆炸场面如同地狱 美军舰直接跑了

头条要闻

伊朗试验特殊武器爆炸场面如同地狱 美军舰直接跑了

体育要闻

世界杯-中国女篮20分大胜意大利锁D组第二 韩旭19+10杨舒予15分

娱乐要闻

热搜第一,演员李沐宸致歉

财经要闻

证监会原副主席王建军一审被判无期徒刑

汽车要闻

智能可变大空间SUV 小米澎程系列车型上市 20.99万起

态度原创

教育
健康
时尚
游戏
军事航空

教育要闻

奥数题,把小朋友都给难哭了

同样是脑梗,为何康复结局大不同?

内娱女星,纷纷“去父留子”

《GTA6》荣誉值被喷 犯罪游戏有这系统是坏事吗?

军事要闻

媒体:中美战区司令会晤释放的信号 台湾要听懂

无障碍浏览 进入关怀版