chubbyskills

这是什么？适合谁？

Chubby Skills（MIT，Python，v0.11.0）是一套面向个人知识库和 AI Agent 的中文全渠道内容采集、整理、检索工具集——14 个 Agent Skill 把 B站、YouTube、抖音、TikTok、微博、知乎、小红书、微信公众号、X/Twitter、播客（小宇宙/喜马拉雅/RSS）等内容统一转成带 frontmatter 的 Markdown，入库 Obsidian vault，再通过内置 MCP server 让 Claude Code、Codex、OpenCode、OpenClaw、Hermes 等 Agent 直接检索和调用你的知识库。

它的定位是三层管道：

1. 采集层：tools/chubby_ingest.py 一条链接进来，自动识别平台，输出统一 Markdown（标题/平台/来源/作者/标签全在 frontmatter）。
2. 知识层：tools/vault_index.py 给 vault 建 SQLite 索引，支持全文搜索、语义检索、最近笔记、统计；vault_curator.py 自动归档、生成知识卡片。
3. Agent 层：knowledge-base-management/scripts/mcp_server.py 暴露 6 个 MCP 工具（search_vault / semantic_search_vault / read_kb_note / list_recent_notes / reindex_vault / vault_index_stats），Agent 带来源回答你知识库里的问题。

关键差异化是字幕优先转录策略：B站/YouTube 视频优先抓现成字幕，抓不到才落到 ffmpeg + FunASR/faster-whisper 音频转录——大部分场景零 GPU、零 API 费用。README 自称「中文 Agent 内容采集的事实标准」，在中文平台覆盖上确实没有同量级开源对手（feedgrab 7 平台、RSSHub 只管订阅源、Readwrite/NotebookLM 是云端订阅制）。

适合谁：中文内容创作者（把爆款笔记/视频/公众号沉淀成选题库）；学习者（视频播客转文字做笔记闪卡）；研究者（搭能被 Agent 检索的本地资料库）；Agent 玩家（skill + CLI + MCP + vault 串工作流）。

不适合谁：要抓英文内容为主的用户（平台全部面向中文生态）；商用批量爬取场景（README 明确禁止：仅限个人学习研究）；不想碰命令行的用户。

使用前提：Python 3 环境；轻量模式（X 图文/小红书图文/公众号基础/知识库）零重依赖，视频转录才需要 ffmpeg + yt-dlp + funasr/torch。

准备工作

1. 环境：Python 3；git；可选 ffmpeg/yt-dlp（视频转录）
2. 获取：git clone https://github.com/chubbyguan/chubbyskills.git（Gitee 镜像：gitee.com/chubbyguan/chubbyskills）
3. 成本：MIT 免费；零依赖档位零 API 费用；内容加工（摘要/标签/翻译）可选 DEEPSEEK_API_KEY，语义检索默认零依赖 semantic-lite，真实向量可选 OPENAI_API_KEY 或本地 sentence-transformers
4. 时间：clone + quickstart 约 10 分钟；配齐视频转录重依赖约 30-60 分钟
5. 前置知识：会用命令行；有 Obsidian（或任意 Markdown 目录）当知识库载体；懂「Agent Skill / MCP」概念才能玩透 Agent 层
6. 替代方案：feedgrab（采集面窄且只抓不存）、RSSHub（订阅源非正文采集）、Readwise/ima/NotebookLM（商业云端、覆盖差）、自写 yt-dlp + whisper 脚本（无统一协议无知识层）

快速上手（3 步）

第一步：克隆并跑离线首跑验收

git clone https://github.com/chubbyguan/chubbyskills.git
cd chubbyskills
python3 tools/chubby.py quickstart

quickstart 是离线首跑验收，不抓真实平台内容，只检查：配置与运行目录可写、X 链接 dry-run 路由正确、示例 Markdown 符合输出协议、平台定义完整、示例 vault 能索引和语义检索、MCP 依赖可用。

预期产出：一连串检查通过，证明环境健康。

第二步：分档安装依赖

bash setup.sh          # 默认 light：轻量能力（图文采集 + 知识库）
bash setup.sh video    # 视频转录重依赖
bash setup.sh podcast  # 播客转录
bash setup.sh wechat   # 公众号/PDF 处理
bash setup.sh all      # 全部
bash setup.sh doctor   # 只做环境体检

预期产出：按需装好对应档位依赖；doctor 输出体检报告。

第三个任务：采一条真实内容并入库

python3 tools/chubby_ingest.py "https://mp.weixin.qq.com/s/xxx" -o output/
python3 tools/chubby_ingest.py "https://www.bilibili.com/video/BVxxxx" --vault ~/Documents/Obsidian/Inbox

自动识别平台失败时显式指定：--skill youtube。批量场景把链接逐行放进 inbox/links.txt，然后 python3 tools/chubby.py run / status --failed / retry --all-failed 三连——每条 source 的状态、错误、输出路径、run_id 都记在 .chubby/runs.jsonl，每日运行报告落在 runs/YYYY-MM-DD.md。

预期产出：output/ 或 vault Inbox 里出现带完整 frontmatter 的 Markdown（title/platform/source/created/author/tags + schema v1 的 run_id/source_hash/captured_at 等字段）。

常见踩坑（症状 → 原因 → 解决）

1. B站视频转录巨慢/卡死。原因：该视频无现成字幕，落到了 ffmpeg + FunASR 音频转录的 fallback 路径，首次还要下模型。解决：耐心等首跑；高频用户装 bash setup.sh video 预热依赖；只想快速拿文字时优先挑有字幕的视频。
2. 小红书采集拿到空正文。原因：小红书对未登录请求返回不完整内容。解决：设置 XHS_COOKIE 环境变量带入自己账号的登录态（README 强调仅在自己账号和授权范围内使用）；实在不行用 --fallback-text 手动粘贴正文。
3. X/Twitter 链接抓不动。原因：风控、地区限制或链接过期。解决：图文档位零依赖本不该挂——先跑 python3 tools/platform_smoke.py --mode offline --check 分层定位（offline/fallback/live 三层 smoke 是显式设计）；live smoke 需自己 export CHUBBY_SMOKE_X_SOURCE 指定链接。
4. 语义检索结果不相关。原因：默认 semantic-lite 是零依赖的轻量方案，语义理解能力有限。解决：换真实向量——export OPENAI_API_KEY 后 vault_index.py embed --provider openai，或 pip install sentence-transformers 走本地模型（--provider local），零 API 费。
5. 公众号 PDF 转出来是乱码。原因：基础档只有 beautifulsoup4，PDF 增强需要 markitdown/pymupdf。解决：bash setup.sh wechat 装齐 PDF 档；复杂排版 PDF 建议保留原件用 --fallback-text。
6. MCP server 起来但 Agent 搜不到东西。原因：vault 没建索引或 VAULT_DIR 指错。解决：先 python3 tools/vault_index.py index <vault路径> 建索引；MCP 启动时 VAULT_DIR 环境变量必须指向同一 vault；跑官方 python3 tools/mcp_workflow_demo.py 用 fixtures 演练一遍「检索 → 读原文 → 带来源回答」。

初级用法

• 采集后自动加工：export DEEPSEEK_API_KEY 后加 --enrich 参数——content-enrich skill 自动补摘要、要点、标签、领域和价值判断，原文保留不动。
• 爆款拆解：小红书 skill 支持「爆款拆解」和「衍生选题」模式，直接产出内容创作素材而非纯存档。
• 每日情报雷达：industry-intelligence-radar skill 做多源情报扫描和趋势简报，配合 chubby.py 的批量队列就是每日自动简报管道。

高级玩法

• MCP 闭环：pip install mcp 后 VAULT_DIR=<vault> python3 knowledge-base-management/scripts/mcp_server.py，在 Claude Code / Hermes 里直接问「我知识库里关于内容策略的笔记有哪些」——search_vault + read_kb_note 两个工具组合让 Agent 带来源回答。
• 自动归档 + 知识卡片：vault_curator.py 默认 dry-run，确认规则后 --apply 真正执行：00_Inbox 待处理 → 有 summary 和 processed 标签的进 20_Processed，其余按平台进 10_Sources；card 子命令为单篇笔记生成带来源/标签/要点的知识卡片。
• 贡献新平台：不要复制旧目录——platform_adapter.py new hacker-news --name "Hacker News" --sample-source ... --match news.ycombinator.com 生成最小可验证骨架，再跑 platform_health.py --check + platform_smoke.py --mode offline --check 验证。
• 质量保障层：validate_outputs.py --schema-v1 校验输出协议、golden_outputs.py 防示例输出结构被改坏、platform_health.py 校验平台定义与状态页新鲜度——把内容管道当软件工程做。
• 学习笔记自动化：learning-notes-automation skill 从转录文本生成学习笔记、闪卡和知识图谱，接 Anki 类工具闭环。

小技巧

1. 先跑 quickstart 再装重依赖——它是离线验收，30 秒内告诉你环境哪里有问题，比装完 2GB torch 才发现路径错误省太多时间。
2. runs.jsonl 里每条 source 有 source_hash，重试按 hash 去重——批量队列里同一链接不会重复处理。
3. 每个平台在 platforms/*.yaml 有状态定义（依赖/fallback/样例 source），采集失败先查这个文件而不是瞎猜。
4. docs/platform-fallbacks.md 给了失败分型指南——「无字幕」「无 cookie」「链接过期」各有既定 fallback 路径，别自己发明。
5. 在 Claude Code 等支持 Skill 的 Agent 里可以一句话装：「帮我安装这个 skill：https://github.com/chubbyguan/chubbyskills/tree/main/」。

常见问题 FAQ

Q1: 采集内容会不会侵权？

A: README 合规条款明确：仅限个人学习与研究，遵守目标平台服务条款、robots.txt 和法律法规，禁止批量抓取、商用爬取、二次分发；内容版权归原作者，引用转载需授权。工具本身中立，用途合规责任在使用者。

Q2: 和直接用 yt-dlp + whisper 自己写脚本有什么区别？

A: 三点：统一输出协议（所有平台同一套 frontmatter + schema v1 元数据，可校验可入库）；知识层（SQLite 索引/语义检索/自动归档，自己写脚本没有这些）；Agent 层（MCP server + 14 个 skill 可被主流 Agent 直接编排）。自己写脚本每个平台都是新项目，这里是统一管线。

Q3: 完全离线能用吗？

A: 图文采集 + 知识库 + semantic-lite 检索可以全离线（本地 vault + 零依赖检索）。视频转录需要在线抓视频流；content-enrich 需要 DeepSeek API；真实向量检索可选本地 sentence-transformers（模型下载后离线可用）。

Q4: 支持 Windows 吗？

A: 仓库以 Python + bash 脚本为主，setup.sh 需要 bash 环境（Windows 用 Git Bash/WSL 可跑）；Python 部分跨平台。ffmpeg/funasr 等重依赖在 Windows 上装配较繁琐，视频转录建议 WSL。

Q5: 14 个 skill 能单独装吗？

A: 能。每个 skill 是独立目录（带 SKILL.md），README 明确「也可以只安装你需要的那个」；Agent 用户可以按单 skill URL 让 Agent 直接装。

Q6: 为什么叫「事实标准」？谁认定的？

A: 这是 README 的自我定位（生态位声明），依据是 Agent Skills 生态 140 万+ 技能包里泛化开发技能多、中文内容采集垂直领域无同量级开源对手。属于项目方主张，本站未独立核实其市场地位，但平台覆盖面（10 平台 vs feedgrab 7 平台）确为可查证优势。

免责声明

本文基于公开资料整理（GitHub README 中文全文与仓库 API 元数据，核验日期 2026-09-16），AI 辅助生成，未在本站环境实际安装运行或验证各平台采集成功率。平台可用性受 cookie、地区、风控影响可能随时变化；合规使用边界以项目 README 条款为准。仓库数据：GitHub API 实测 2026-09-16，★679/🔱91，MIT，v0.11.0，创建于 2026-06-08，最近 push 2026-08-19。

参考链接

• GitHub 仓库 chubbyguan/chubbyskills
• 英文 README
• 平台状态页
• 失败分型与 fallback 指南
• Gitee 镜像