sim-use

sim-use 快速入门

sim-use 是一个专为 AI Agent 设计的移动端操控框架。它让 AI Agent 能够在 iOS 模拟器和 Android 模拟器（甚至真机）上操作 App——就像人类用户一样点击、滑动、输入文字。它的核心理念是”给 AI Agent 装上眼睛和手”：通过 Accessibility API 获取屏幕元素信息（眼睛），然后模拟触控操作（手）。

由日本 LY Corporation 开发，sim-use 使用 Swift 实现，优先支持 Apple 生态。它于 2026 年 6 月底开源（Apache-2.0），短短十天内收获了 570+ Stars，显示出移动端 AI Agent 交互的巨大潜力。

功能特性

双平台模拟器操控

sim-use 同时支持 iOS Simulator 和 Android Emulator/Device。对于 iOS 端，它通过 Xcode Simulator 的 Accessibility API 获取 UI 元素树；对于 Android 端，它通过 ADB 和 Accessibility Service 实现同样的能力。Agent 不需要理解每个平台的差异——sim-use 提供了统一的抽象层。

Accessibility API 驱动的视觉层

与传统的基于截图的视觉方案不同，sim-use 使用 Accessibility API 获取精确的 UI 元素信息——包括元素类型、位置、文本内容、交互状态。这比 OCR 截图识别更可靠，且不受分辨率、字体、主题变化的影响。

AI Agent 原生接口

sim-use 的设计从第一天起就是为 AI Agent 服务的。它的 API 返回结构化的 UI 元素列表，Agent 可以直接基于这些信息做出操作决策。不需要中间转换层，不需要额外的视觉理解模型。

Swift 原生高性能

使用 Swift 语言实现，在 Apple 生态中性能优异。与 Appium 等基于 WebDriver 协议的传统方案相比，sim-use 的 Accessibility API 直连方式延迟更低，元素定位更精确。

竞品对比

与 Appium 对比：Appium 是移动端自动化测试的行业标准，支持 WebDriver 协议，生态成熟。但 Appium 为脚本自动化设计——需要开发者手写测试脚本。sim-use 为 AI Agent 设计——提供结构化 UI 信息供 Agent 自主决策。两者的使用范式不同。

与 Playwright Mobile 对比：Playwright 的移动端支持通过设备模拟实现，本质上仍是 Web 测试。sim-use 直接操控原生模拟器，可以测试原生 App 而不仅是 Web 页面。

适用场景

AI Agent 移动端测试：让 AI Agent 自动在移动 App 上执行回归测试、探索性测试。Agent 可以自主发现 UI 问题、记录操作路径、生成测试报告。

移动端自动化工作流：将 sim-use 集成到 Agent 工作流中，实现跨 App 的自动化操作——例如”打开邮件 App → 提取验证码 → 切换到目标 App → 输入验证码”。

移动 App 交互研究：研究人员可以使用 sim-use 让 Agent 批量操作 App，收集交互数据，分析 UI 设计模式。

参考链接

• sim-use GitHub — 源码、Issues 与文档
• Appium 文档 — 竞品对比：移动端自动化行业标准
• Playwright 文档 — 竞品对比：Web 测试框架
• LY Corporation GitHub — 开发者组织主页