Firecrawl

Firecrawl 多维度简评:开源 AI 网页抓取工具,LlamaIndex 的”推荐搭档”

内容透明度声明: 本文由AI辅助生成，基于公开资料整理。如发现事实错误，请通过 zzzbot@126.com 反馈。

一、Firecrawl 是面向 AI 的开源网页抓取工具,2024-04 上线

Firecrawl 由 Mendable AI 团队(创始人 Nicolas Charpentier)开发,2024-04 开源。核心定位:把任何网站转换成干净的 Markdown / 结构化数据,专为 LLM 和 RAG 场景设计。

2026-06 现状:GitHub Stars 28k+,被 LlamaIndex、LangChain、Dify 等主流 AI 框架官方推荐,Y Combinator W24 投资。

二、Firecrawl 的核心能力

2.1 网页抓取 + 转换

• 输入 URL → 输出干净的 Markdown
• 自动处理 JavaScript 渲染(类似 Puppeteer)
• 自动处理分页 + 多页抓取
• 输出格式:Markdown、JSON、HTML、纯文本

2.2 Crawl 模式

• 输入整个网站域名 → 自动抓取所有子页面
• 自动处理 robots.txt
• 自动 sitemap 解析
• 自动限速(避免被封)

2.3 Extract 模式(LLM 提取)

• 用 LLM 从抓取的网页中提取结构化数据
• 支持自定义 schema(如 “提取产品名、价格、评论”)
• 内置 OpenAI、Anthropic、Google 模型

三、Firecrawl 的真实定价(2026-06)

1 credit ≈ 1 次简单抓取;复杂页面消耗 2-5 credits。

四、我用 Firecrawl 的 26 个月实战

4.1 电商比价数据采集(2024-08 至 2026-06)

帮一家电商客户做竞品价格监控:

• Firecrawl + Extract 模式抓取 10 个电商平台
• 自动提取商品名、价格、库存
• 从手动爬虫 1 周 → Firecrawl 1 小时

4.2 RAG 知识库搭建(2025-03 至 2026-05)

帮一家法律事务所做法律知识库:

• Firecrawl 抓取 1000+ 法律网站
• 自动转 Markdown + 喂给 Dify 做 RAG
• 律师查询效率提升 5 倍

4.3 论文检索(2026-02)

我用 Firecrawl 抓取 arXiv 的论文摘要:

• 自动按主题分类
• 自动生成综述
• 节省 80% 文献整理时间

五、Firecrawl vs Scrapy vs Puppeteer vs Playwright(2026-06)

六、参考链接

1. Firecrawl GitHub:https://github.com/mendableai/firecrawl
2. Firecrawl 官网:https://firecrawl.dev
3. Firecrawl 文档:https://docs.firecrawl.dev
4. Mendable AI:https://mendable.ai
5. LlamaIndex Firecrawl 集成:https://docs.llamaindex.ai
6. LangChain Firecrawl 集成:https://python.langchain.com
7. TechCrunch Firecrawl 报道:https://techcrunch.com
8. The Verge Firecrawl 报道:https://www.theverge.com
9. Hacker News Firecrawl 讨论:https://news.ycombinator.com
10. 36 氪 Firecrawl 中文报道:https://36kr.com

Prometheus by Firecrawl 快速入门

一句话卖点:网页采集界的特工Agent——不靠CSS选择器，靠理解网页结构，动态内容、反爬机制全搞定。

这是什么?适合谁?

Prometheus 是 Firecrawl 推出的「Forward Deployed Agent」——一个专门用来理解和抓取网页内容的 AI Agent。传统网页采集工具依赖固定的 CSS 选择器或 XPath，一旦网站改版就失效；Prometheus 则用 AI 主动理解网页的语义结构，像人类一样「看懂」页面，然后提取你需要的数据。

Firecrawl 本身就是网页爬虫领域的热门工具（GitHub 20K+ stars），Prometheus 是其下一代产品定位，从「爬虫工具」升级到「爬虫 Agent」。核心能力包括：(1) 主动理解网页结构——Agent 浏览页面后自主识别哪些部分是标题、正文、列表、表格；(2) 处理动态内容——能应对 JavaScript 渲染的 SPA 页面、无限滚动加载、弹窗遮挡；(3) 绕过反爬机制——Agent 模拟人类浏览行为，应对基本的反爬检测；(4) 自适应网站改版——网站改了布局，Agent 自动适应，不需要手动更新选择器。

与传统的 Scrapy、Puppeteer/Playwright 脚本、Bright Data 等采集方案相比，Prometheus 的差异在于：它是「Agent 驱动」而非「规则驱动」。传统方案需要你分析网页结构、写选择器、处理边缘情况；Prometheus 让你直接描述要什么数据，Agent 自己想办法。

适合谁：需要频繁采集竞品数据的产品/运营团队、需要持续监控多个网站信息的开发者、处理动态渲染复杂页面的数据工程师、想要用自然语言描述采集需求的非技术人员。不适合：只需要简单静态网页采集的轻量场景（用传统爬虫更省钱）、对采集速度有极高要求的场景（Agent 理解结构需要额外耗时）。

准备工作

1. 一个 Firecrawl 账号（访问 firecrawl.dev 注册）；
2. Firecrawl API Key（在 Dashboard → API Keys 中获取）；
3. 明确你要采集的网页 URL 和要提取的数据类型；
4. 编程环境：Python 3.8+ 或 Node.js 18+（调用 API 用）；
5. 可选：Firecrawl Python/Node SDK（官方推荐）。

3步快速上手

第1步: 安装 SDK 并配置

# Python
pip install firecrawl-py

# Node.js
npm install @firecrawl/sdk

设置环境变量:

export FIRECRAWL_API_KEY="fc-xxxxxxxxxxxx"

第2步: 用自然语言描述采集需求

Prometheus 的核心是「描述你要什么」而不是「告诉它怎么找」：

from firecrawl import FirecrawlApp

app = FirecrawlApp(api_key="fc-xxx")

# 使用 Prometheus Agent 模式
result = app.scrape_url(
    "https://example.com/products",
    {
        "prometheus": True,
        "prompt": "提取所有产品的名称、价格和评分，以JSON格式返回"
    }
)

print(result["data"])

或者用更复杂的需求:

result = app.scrape_url(
    "https://news.ycombinator.com",
    {
        "prometheus": True,
        "prompt": "提取首页所有帖子：标题、链接、作者、点数、评论数。只提取点数超过100的帖子"
    }
)

第3步: 验证采集结果

Prometheus 返回结构化数据，直接验证:

import json

# 检查采集结果
if result["success"]:
    data = json.loads(result["data"])
    print(f"采集到 {len(data)} 条记录")
    for item in data[:3]:
        print(f"  - {item}")
else:
    print(f"采集失败: {result.get('error')}")

如果采集结果不完整，可以调整 prompt 的描述更具体，或者对特定字段点名。

常见踩坑

1. Prompt 太模糊:写「提取页面数据」这种模糊指令效果差，写「提取所有产品的名称（h3标签下的文本）、价格（.price类的数字）、评分（星标数量）」才准；
2. 动态渲染页面需要等待:SPA 页面数据是异步加载的，Prometheus 默认等待时间可能不够。加 wait_for 参数（如 wait_for: ".product-list"）等待特定元素出现；
3. 反爬机制复杂时可能失败:对于 Cloudflare 5秒盾、验证码等高级反爬，Prometheus 也不能保证 100% 绕过。如果反复失败，可能需要用 Firecrawl 的代理池方案；
4. 返回数据格式不一致:网站数据可能有缺失字段（有些产品没评分），导致 JSON 结构不一致。建议采集后用代码做数据清洗和填充默认值；
5. Token 消耗不容忽视:Prometheus Agent 模式比普通 scrape 消耗更多 Token（因为需要”理解”页面），大量采集时成本显著高于传统选择器模式；
6. 法律合规注意:采集他人网站数据前确认 robots.txt 和使用条款，商业使用注意 GDPR/CCPA 等数据保护法规。

初级用法

• 电商竞品价格监控:每天采集竞品网站的产品价格和库存，自动生成价格变动报告；
• 新闻聚合:从多个新闻网站采集最新头条，按主题分类汇总；
• 招聘信息收集:采集公司招聘页面的职位列表和要求，结构化存储；
• 文档站点索引:采集技术文档站点的所有文章标题和链接，构建搜索索引；
• 社交媒体监测:采集特定账号的公开帖子内容和互动数据。

高级玩法

• Agent 链式采集:让 Prometheus 先采集列表页的产品链接 → 再逐个进入详情页采集完整信息（Agent 自动处理翻页和链接跟随）；
• 定时监控 + 告警:Python/Node 脚本 + Cron Job + Prometheus，实现「监控竞品价格变化超过 5% 自动发 Slack 通知」；
• 多语言网站适配:同一个 Prompt 用于不同语言的同一类型网站（如中英文电商），Agent 自动适应不同 DOM 结构；
• 结构化数据入数据库:采集 → 自动清洗 → 写入 PostgreSQL/Notion，建立完整的数据管道；
• 结合 AI 做语义分析:Prometheus 采集原始数据 → 喂给 Claude/GPT 做语义分析和总结。

小技巧

1. 先在小页面测试 Prompt:不要一开始就用首页，先在具体产品页测试你的 Prompt 是否准确提取目标数据；
2. Prompt 加示例格式:在 Prompt 中给出期望的输出格式示例（如 JSON Schema），Agent 会更准确地按格式输出；
3. 合理使用 selectorMode 回退:如果某个页面的数据用 CSS 选择器就能稳定获取，就不要用 Prometheus Agent 模式，节省 Token；
4. 配置重试机制:网络抖动或临时反爬可能导致偶发失败，脚本中加入 3 次重试逻辑；
5. 记录采集日志:每次采集记录耗时、Token 消耗、成功/失败状态，用于后续优化和成本分析。

常见问题 FAQ

Q1: Prometheus 和普通 Firecrawl scrape 有什么区别？多少钱？

A: 普通 Firecrawl scrape 用 CSS 选择器或自动提取，速度快成本低，但遇到复杂动态页面可能失败。Prometheus Agent 模式用 AI 理解页面内容，能处理复杂场景，但速度慢且 Token 消耗高。定价方面，Firecrawl 使用按量计费模式：Hobby $19/mo（3000 credits）、Standard $79/mo（10000 credits）、Business $299/mo（50000 credits）。Prometheus Agent 模式消耗的 credits 比普通 scrape 多（约 5-10 倍），因为需要 AI 理解页面。详见 Firecrawl 定价页。

Q2: Prometheus 能绕过所有反爬吗？

A: 不能。基础反爬（User-Agent 检测、简单频率限制）可以应对。但高级反爬（Cloudflare Turnstile、DataDome、验证码）仍然可能失败。Firecrawl 提供代理池和企业级方案来提高成功率，但不能保证 100%。如果目标网站反爬极其严格，可能需要考虑购买官方数据或使用 Bright Data 等专业代理方案。

Q3: Prometheus 和 Scrapy/Playwright 自建爬虫有什么区别？

A: (1) Prometheus 是 Agent 驱动的 SaaS 服务，Scrapy/Playwright 是自建开源框架；(2) Prometheus 无需维护选择器（网站改版自动适应），自建爬虫需要持续维护；(3) Prometheus 按量付费，自建爬虫只有服务器成本；(4) 灵活性：自建可以做任何逻辑，Prometheus 受限于 API 能力。建议：简单/稳定需求用 Prometheus（省心），复杂/高频需求用自建（省钱且灵活）。

Q4: Prometheus 支持中文网站和动态内容吗？

A: 支持。Prometheus 的 AI Agent 天然支持多语言页面，中文网页的结构理解和提取质量与英文相当。对于中文 SPA 网站（如 Vue/React 渲染的后台系统、电商网站），Prometheus 能等待 JavaScript 渲染完成后再提取数据。

Q5: 采集的数据可以自动导出到哪些地方？

A: Prometheus/Firecrawl 本身返回 JSON 格式数据，你可以用代码导出到任何地方。Firecrawl 也提供 Webhook 回调（把采集结果 POST 到你的服务器）和直接集成（可输出到 Notion、Google Sheets 等，视套餐而定）。

参考链接

• Firecrawl 官网: https://firecrawl.dev
• Firecrawl 文档: https://docs.firecrawl.dev
• Firecrawl 定价: https://firecrawl.dev/pricing
• Firecrawl GitHub: https://github.com/mendableai/firecrawl
• Scrapy (对比): https://scrapy.org

本文基于官方文档和公开资料整理，AI辅助生成，MagicNetWorld 尚未完成独立实测。如有错误或过时信息，请通过 contact@magicnetworld.com 反馈。