iOS
Midscene 通过 WebDriverAgent 连接 iOS 设备,可自动化 App 和系统界面。
本指南介绍 WebDriverAgent 配置、模型配置、Playground 体验,以及 @midscene/ios 的 JavaScript SDK 集成。
效果展示
提示词: 打开美团,帮我下单一杯 Manner 超大杯冰美式咖啡,选择加浓、少冰,并在进入结算页面后等待确认。
查看完整报告,或浏览更多 Midscene 案例。
快速开始
准备 iOS 环境
WebDriver 是 W3C 制定的浏览器自动化标准协议。它提供统一的 API,用于控制不同的浏览器和应用。该协议定义了客户端与服务端之间的通信方式,使自动化工具可以跨平台控制界面。
Appium 团队和其他开源社区维护了多种 WebDriver 工具。这些工具可以把桌面端和移动端的自动化操作转换为 WebDriver 协议:
- Appium:跨平台移动自动化框架。
- WebDriverAgent:用于 iOS 设备自动化的服务。
- Selenium:Web 浏览器自动化工具。
- WinAppDriver:Windows 应用自动化工具。
Midscene 支持 WebDriver 协议。你可以使用 AI 模型自动化任何兼容设备。除了点击和输入,Midscene 还可以理解界面上下文、执行多步骤操作、验证结果并提取数据。
在 iOS 上,Midscene 通过 WebDriverAgent 连接设备。连接后,你可以使用自然语言指令控制 iOS App 和系统界面。
继续之前,请确保 WebDriverAgent 可以 与设备通信。
安装 Node.js
安装 Node.js 18 或以上版本。
配置 WebDriverAgent
在开始之前,你需要先设置 iOS 开发环境:
- macOS(iOS 开发必需)
- Xcode 和 Xcode 命令行工具
- iOS 模拟器或真机设备
配置 WebDriverAgent
在使用 Midscene iOS 之前,需要先准备 WebDriverAgent 服务。
WebDriverAgent 版本需要 >= 7.0.0
请参考官方文档进行设置:
- 模拟器配置:Run Prebuilt WDA
- 真机配置:Real Device Configuration
验证 WebDriverAgent
配置完成后,可以通过访问 WebDriverAgent 的状态接口来验证 服务是否启动:
访问地址:http://localhost:8100/status
正确响应示例:
如果能够正常访问该端点并返回类似上述的 JSON 响应,说明 WebDriverAgent 已经正确配置并运行。
启动 Playground
Playground 是验证连接的最快方式。无需编写代码,即可体验 aiAct、aiQuery 和 aiAssert 等核心能力。它与 @midscene/ios 共享相同的核心,因此在 Playground 中通过的流程,在脚本中运行会保持一致。
- 启动 Playground CLI:

