浙大开源HybridCUA，教会电脑智能体自主切换GUI与CLI！

智猩猩AI整理

浙江大学团队投稿

电脑操作智能体（Computer-Use Agent）长期沿着 GUI only 的方式发展：像人一样看屏幕、找坐标，靠点击、滚动和键盘输入一步步完成任务。

这种方式足够通用，什么软件都能操作，却又慢又容易出错。一个任务动辄几十步，中间只要点偏一次，后面就可能全盘失败。

与此同时，Claude Code、Codex 等编程智能体的流行，让命令行（CLI）重新进入视野。

它由操作系统自带，一条指令就能顶替十几次点击，但看不到界面，处理不了需要视觉判断的操作。

真实的电脑工作需要两者配合：智能体要自己判断，哪一步该点界面，哪一步该敲命令，以及命令执行后如何确认结果。

但直接给现有模型开放终端并不奏效。

在 OSWorld 上，四个代表性智能体接入命令行后，准确率全部下降，跌幅在 2.5 到 11.5 个百分点之间。

为此，浙江大学等团队提出了HybridCUA，一套让电脑智能体学会编排 GUI 与 CLI 的数据与训练框架，并将开源数据与训练流程。

从上图可以看到，不同模型对终端的使用方式差异极大：EvoCUA-32B 只有 0.15% 的步骤用到命令行，Claude-Opus5 则高达 67.0%，但两者开放终端后都出现了掉点。

问题不在于能不能用 Shell，而在于不知道何时用、怎么用。

HybridCUA 的核心思路是：

把 GUI 与 CLI 写进同一种动作格式，让模型在一步之内既能点界面、也能跑命令；再在训练中把“选哪种接口”和“命令是否执行成功”变成显式的奖励信号。

由于许多 GUI 操作本身就存在等价的命令写法，混合交互数据不必从零采集，而是可以通过转换、改写和回放验证批量生成。

实验表明，HybridCUA-9B 在 OSWorld 上达到 53.6% 的准确率，比基座模型高 14.8 个百分点，平均步数从 31.6 降至 14.0；在 Windows 系统的 WindowsAgentArena 上同样提升 4.0 个百分点。

01

让智能体“该点就点，该敲就敲”

HybridCUA 要解决的问题，可以简单理解为：教智能体在 GUI 和命令行之间合理分工。

第一步是统一动作格式。

在 HybridCUA 中，所有可执行动作都是同一个bash调用：执行命令时直接写 Shell，操作界面时在其中嵌入一段pyautogui代码。

每一步，模型看到的是最新截图和上一条命令的输出。同一步里可以先关闭菜单，再读取文件做校验，两种操作无缝衔接。

对照实验显示，在相同数据下，统一bash格式比“GUI、CLI 各用一个工具”的分离式设计准确率高出 7.2 个百分点。

第二步是批量构造混合示范。

团队设计了一条可扩展的数据流程，覆盖三类执行模式：

纯 GUI 轨迹来自开源 UI-MOPD 数据，每个界面动作都被翻译成等价的pyautogui代码。

纯 CLI 轨迹由 Qwen3.8-27B 在 Claude Code 执行环境中生成。

团队先从各软件的文档和参考代码中整理出命令行技能手册，再让模型只用终端完成 CUA-Gym 任务，保留成功轨迹。

混合轨迹则有两个来源：

• 一是让模型在执行中自由切换两种接口；

• 二是把 GUI 轨迹中“打开终端、逐字敲命令”的片段合并为一条完整命令，重新回放，回放成功才保留。

最终的 SFT 语料共 5,023 条轨迹，覆盖 11 个应用领域，平均每条约 10.4 步。

以上图为例，把 VS Code 切换为 Night Owl 主题时，智能体先用命令行安装扩展，再用 GUI 在主题面板中筛选、预览并确认，最后回到命令行读取配置文件，确认设置已经写入。

第三步是让“接口选择”进入训练目标。

团队合成了 3,000 个带自动验证器的强化学习任务，每个任务都在纯 GUI、纯 CLI、混合三种模式下各采样 16 次，据此标注该任务是否值得使用命令行。

训练分两个阶段：先用三类轨迹做监督微调，再在真实的 GUI–CLI 环境中用 GRPO 进行在线强化学习。

强化学习阶段额外引入两个奖励：

• 任务级奖励只在任务成功、且是否使用命令行与标签一致时加分，负责教会模型“何时用”。

• 步骤级惩罚则针对每一条在 Shell 中报错的命令单独扣分，负责教会模型“怎么用对”。

02

对比实验与结果分析

团队以 Qwen3.5-9B 为基座，先在 5,023 条轨迹上微调 2 个 epoch，再从 3,000 个可验证任务中采样 1,000 个进行强化学习。评测覆盖 OSWorld 全部 361 个任务，每个任务最多 50 步。

结果显示，HybridCUA-9B 以53.6% 的准确率和 14.0 的平均步数，在同量级模型中两项均为最优。

为了排除“训练本身带来提升”的干扰，团队在相同基座、同等规模数据、相同 RL 任务和训练步数下，额外训练了一个纯 GUI 版本。

强化学习后，混合版本准确率为 53.6%，纯 GUI 版本为 50.4%，平均步数则从 22.1 降到 14.0。

与依赖应用专属 API 的方法相比，HybridCUA-9B 分别领先 AutoGLM-OS-9B 4.7 个百分点、ToolCUA-8B 6.8 个百分点，并超过参数量约为其 4 倍的 UltraCUA-32B 9.9 个百分点。

消融实验进一步说明了每个设计的作用。混合三类轨迹做 SFT 后达到 46.0%，分别比只用纯 GUI、纯 CLI、混合轨迹高出 2.8、14.3 和 5.0 个百分点。

在此基础上，强化学习再带来 7.6 个百分点的提升，平均步数减少 29.3%。

两个奖励的分工也很清楚。

去掉任务级奖励后，模型的命令行使用占比停在 58.9%，步数只缩短 18.2%。

去掉步骤级惩罚后，命令报错率在训练后期反弹到 16.5%，而完整模型稳定在 11.5%。

为了验证这种能力是否只适用于训练环境，团队又在两个分布外基准上做了测试。

在支持 MCP 的 OSWorld-MCP 上，HybridCUA-9B 达到 47.1%，比基座高 9.1 个百分点，与依赖专属 API 的 ToolCUA-8B 相当。

在 WindowsAgentArena 上达到 36.0%，分别比基座和 ToolCUA-8B 高 4.0 和 2.2 个百分点。

值得注意的是，模型训练时只接触过 Linux Shell，到了 Windows 上却会主动使用 PowerShell 命令。

从操作类型看，HybridCUA-9B 把 85.8% 的内容编辑和 98.4% 的结果校验交给命令行，而在需要视觉反馈的位置与布局调整中，GUI 占比达到 58.4%。

按领域看，系统类任务中 84% 的步骤使用命令行，以网页为主的 Chrome 任务中则有 74% 的步骤使用 GUI。

这些结果初步表明，HybridCUA 的提升并不来自“多用命令行”。

它的命令行使用占比为 64.0%，与 Claude-Opus5 的 67.0% 相近，结果却一升一降。

真正迁移到新环境、新系统的，是“这件事该交给界面还是交给终端”的判断能力，这为构建更准确、更高效、更通用的电脑智能体提供了一条可行路径。

关注+星标，获取AI前沿进展与开源一线动态