• 简体中文
  • 平台环境配置

    本章节汇总了各平台的环境准备指南。在接入 Midscene Test 或 JavaScript SDK 之前,请先选择你的目标平台,完成设备或浏览器连接,并通过 Playground 验证模型与界面交互。

    Midscene 基于多模态视觉模型理解屏幕截图,直接面向最终渲染的视觉界面进行自动化操作,而不依赖底层的 DOM 或原生控件树。因此,同一套交互与断言方式可以通用于原生应用及各类跨平台技术栈。

    选择平台

    平台npm 包连接方式典型场景
    Web@midscene/webChrome 插件(Playground 体验);Playwright / Puppeteer(工程接入)网页测试与浏览器自动化
    Chrome Bridge@midscene/webChrome 插件复用桌面 Chrome 已有的登录状态与标签页
    Android@midscene/androidadbAndroid 应用与系统界面自动化
    iOS@midscene/iosWebDriverAgentiOS 应用与系统界面自动化
    HarmonyOS@midscene/harmonyHDCHarmonyOS NEXT 应用与系统界面自动化
    桌面端@midscene/computer原生键鼠控制或 RDPWindows、macOS 和 Linux 桌面应用自动化

    环境验证流程

    各平台的环境准备均遵循以下四步流程:

    1. 安装基础依赖:准备 Node.js、模型配置,以及对应平台的连接工具与系统权限。
    2. 建立连接并启动 Playground:验证设备或浏览器连通性,启动 Playground 并确认实时预览画面正常。
    3. 试跑操作与断言:在 Playground 中执行一条 aiAct 指令,再用 aiAssert 校验界面结果,并查看执行步骤与截图。
    4. 接入测试或脚本:环境验证通过后,按需接入测试框架或独立脚本。

    其中,Web 平台的 Chrome 插件 Playground 主要用于快速验证模型与页面交互;工程中由 Playwright / Puppeteer 启动的浏览器,以及通过 Chrome Bridge 建立的 Node.js 连接,仍需在对应工程中单独验证。移动端与桌面端的 Playground 则直接连接已就绪的目标设备或显示器。

    下一步

    完成环境与 Playground 验证后,可根据使用场景选择接入方式:

    注意:在 Playground 界面中填写的模型配置仅保存在本地浏览器中,不会自动同步到测试或脚本进程。接入工程时,请将验证通过的模型配置写入项目的 .env 文件并按文档说明加载,同时保持设备连接工具、后台服务及相关系统权限处于可用状态。