平台环境配置
本章节汇总了各平台的环境准备指南。在接入 Midscene Test 或 JavaScript SDK 之前,请先选择你的目标平台,完成设备或浏览器连接,并通过 Playground 验证模型与界面交互。
Midscene 基于多模态视觉模型理解屏幕截图,直接面向最终渲染的视觉界面进行自动化操作,而不依赖底层的 DOM 或原生控件树。因此,同一套交互与断言方式可以通用于原生应用及各类跨平台技术栈。
选择平台
环境验证流程
各平台的环境准备均遵循以下四步流程:
- 安装基础依赖:准备 Node.js、模型配置,以及对应平台的连接工具与系统权限。
- 建立连接并启动 Playground:验证设备或浏览器连通性,启动 Playground 并确认实时预览画面正常。
- 试跑操作与断言:在 Playground 中执行一条
aiAct指令,再用aiAssert校验界面结果,并查看执行步骤与截图。 - 接入测试或脚本:环境验证通过后,按需接入测试框架或独立脚本。
其中,Web 平台的 Chrome 插件 Playground 主要用于快速验证模型与页面交互;工程中由 Playwright / Puppeteer 启动的浏览器,以及通过 Chrome Bridge 建立的 Node.js 连接,仍需在对应工程中单独验证。移动端与桌面端的 Playground 则直接连接已就绪的目标设备或显示器。
下一步
完成环境与 Playground 验证后,可根据使用场景选择接入方式:
- 编写 YAML 测试:通过 Midscene Test 初始化项目、运行测试用例并查看报告。
- 接入现有 JavaScript 测试:Web 场景推荐接入 Playwright Test,移动端与桌面端推荐接入 Vitest。
- 编写独立自动化脚本:阅读编写独立自动化脚本,参考对应平台的完整代码示例。
注意:在 Playground 界面中填写的模型配置仅保存在本地浏览器中,不会自动同步到测试或脚本进程。接入工程时,请将验证通过的模型配置写入项目的 .env 文件并按文档说明加载,同时保持设备连接工具、后台服务及相关系统权限处于可用状态。

