testpilot

这是什么？适合谁？

TestPilot（H0nGzA1/testpilot）是一个Agentic 端到端测试：Agentic 端到端测试平台：自然语言测试用例由浏览器 Agent 在真实 Chrome 中执行，LLM 依据视频/截图证据判定结果。

核心价值：一个 Agentic 端到端测试平台：用自然语言描述测试用例，由浏览器 Agent 在真实 Chrome 中执行，LLM 依据视频与截图证据判定结果，让 AI 驱动 E2E 测试、减少手工维护脚本的成本。

适合人群：

• 想用自然语言写 E2E 测试的 QA
• 做 AI 驱动的测试自动化团队
• 探索浏览器 Agent 的开发者

使用前提：Python 环境与 Chrome

准备工作

1. 安装：pip 安装并配置
2. 环境：Python + Chrome
3. 准备：被测网站与测试场景
4. 成本：MIT 开源免费（LLM API 另计）
5. 时间：配置 + 跑通一个用例约 40 分钟

快速上手（3 步）

第一步：安装配置

pip install testpilot  # 按 README 配置

安装 TestPilot

第二步：编写用例

# 用自然语言描述测试场景

编写自然语言测试用例

第三步：执行判定

# 浏览器 Agent 执行，LLM 依据证据判定

得到带证据的测试结果

成功判定：用自然语言跑通一个 E2E 用例并获得带视频/截图证据的判定结果。

初级用法

自然语言用例

用自然语言描述测试

真实浏览器

在真实 Chrome 中执行

证据判定

LLM 依据视频/截图判定

高级玩法

批量测试

批量执行多场景用例

回归测试

集成到 CI 做回归

自定义判定

定制 LLM 判定规则

小技巧

1. 用例描述要具体可判定
2. 关注 LLM 判定准确率
3. 结合 Playwright 补充稳定用例
4. 注意 LLM API 成本
5. 保留证据用于复现

常见踩坑

踩坑 1：判定不准

• 现象：判定不准
• 原因：LLM 误判结果
• 解决：人工复核 + 优化判定提示

踩坑 2：浏览器不稳定

• 现象：浏览器不稳定
• 原因：执行偶发失败
• 解决：增加重试与等待

踩坑 3：自然语言歧义

• 现象：自然语言歧义
• 原因：用例被误解
• 解决：写明确可判定步骤

踩坑 4：项目很新

• 现象：项目很新
• 原因：文档有限
• 解决：以 README 为准

踩坑 5：API 成本

• 现象：API 成本
• 原因：LLM 调用费用
• 解决：控制用例规模

常见问题 FAQ

Q: 它是什么？

A: AI 驱动的端到端测试平台。

Q: 免费吗？

A: MIT 开源，LLM API 另计。

Q: 需要编程吗？

A: 写用例用自然语言，环境需 Python。

Q: 有证据吗？

A: 有视频/截图证据。

Q: 适合谁？

A: QA 与 AI 测试团队。

进阶学习建议

掌握基础后，建议深入：

1. 深入研究浏览器 Agent 执行机制
2. 对比 Playwright/BrowserUse 的测试方案
3. 探索 LLM 判定测试结果的可信度

参考链接

• 官方仓库

最后更新：2026-09-03 · 作者：MagicNetWorld · 基于公开资料整理，关键数据经 GitHub API 独立实测核验，AI 辅助生成