天津
智猩猩AI整理
编辑： 没方
最近几天，GitHub上一个叫iPhone Use的开源项目突然火了起来，它能 让Codex、WorkBuddy或豆包工作，通过USB操作真实iPhone。
这个项目作者是钟二信，前豆包桌面端产品经理，也做过Teambition和飞书智能伙伴的设计师。他把过去在产品设计上对“人机协作”的理解，做成了这个能动手操作手机的工具iPhone Use，在github上已经收获3.6k stars。
装上这个开源项目，用户可以用自然语言描述任务，AI就能自己打开App、读懂页面、点击、滑动、输入文字、整理列表，电脑侧边栏可以实时展示手机屏幕。
现在这个项目已经可以稳定满足各种常用APP的操作，刷微信朋友圈、总结微信群聊、去淘宝里下单买东西、点个美团外卖、发篇小红书帖子都能干。
马上不是要进入双十一购物季了，各个平台的国补、满减、优惠券、积分兑换规则越来越复杂，光研究怎么买最便宜，可能就得折腾半天。
于是，项目作者干脆把这件事交给iPhone Use。
AI一通操作之后，居然发现他的拼多多账户里还有不少积分可以兑换优惠券。
这波直接帮他省下了99元。
还有那些跨App的“脏活累活”也可以交给iPhone Use。
比如每个月打开微信、支付宝、信用卡App，把散落在不同地方的账单明细找出来，再汇总成一份消费报告。过去自己做，不仅要来回切App、翻记录，还得担心重复和遗漏。现在可以进一步让它统一整理、交叉去重，就是时间会比较长。
还有网友尝试让iPhone Use处理手机里拍好的几件闲置物品，直接帮忙上架闲鱼，最后真的卖出去了。
项目开源之后，社区很快开始给它扩展各种玩法。
iPhone Use最初主要面向Codex，后来其他开发者陆续把这套能力接到了更多Agent上。
开发者Shunpu Tang提交PR，让豆包工作和WorkBuddy也支持了iPhone Use，相关代码随后被作者合并。
另一位开发者Lord Andy™则进一步动手改造，让iPhone Use可以运行在Hermes Agent里。
01
把AI的“眼睛”和“手”接到
真实的iPhone上
iPhone Use使用WebDriverAgent（WDA）与iPhone通信，包含本地MCP服务、安装与使用技能，以及实时屏幕 widget。
它优先复用现有连接与构建。控件定位失败时，会指导模型查看截图并尝试坐标点击。
遇到密码、验证码、Face ID等身份认证环节时，AI会暂停操作，提示用户在手机上完成认证，之后再继续执行任务。项目还强调将内容输入与最终提交分开处理。对于发送消息、提交订单等操作，AI需要先核对接收人、商品数量、金额等关键信息，再执行后续步骤，并检查最终结果。
项目作者在产品设计上围绕“自然语言描述任务—AI观察并行动—人随时可以接管”这条闭环来设计。
将微信点击做了针对性优化，已知导航目标可以直接看图点击。AirDrop文件传输也有了技能指引，方便把手机里的图片、视频和文档传回Mac。这些细节让iPhone Use能真正用在日常场景里，不只停留在演示阶段。
02
安装教程
iPhone Use目前主要面向Mac和iPhone用户。
正式安装之前，需要准备一台Mac、一部通过USB连接的iPhone，并在电脑上安装完整版本的 Xcode，同时准备好 Python、Node.js 和 npm 等基础环境。
（1）如果使用 Codex，就把下面的安装提示词丢给它：
或解锁需要我操作时，告诉我明确步骤，等我完成再继续。（2）使用WorkBuddy，提示词如下：
需要我接管时，说明具体步骤并等我完成；不要照搬作者的设备标识或签名信息。（3）使用豆包工作，提示词如下：
需要我接管时，说明具体步骤并等我完成；不要照搬作者的设备标识或签名信息。关注+星标，获取AI前沿进展与开源一线动态
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
