real-world-ai-agents-workshop
Towards AI 出品的多 Agent 系统实战 Workshop:Deep Research Agent + LinkedIn 写作工作流,双 MCP server + FastMCP + Gemini grounding + 评估器-优化器循环 + LLM-as-judge 评估,含 25 张工单的自实现骨架。
这是什么?适合谁?
Designing Real-World AI Agents Workshop(MIT,Python 3.12+)是 Paul Iusztin(Towards AI / Decoding AI 联合创始人)在 AI Engineering Conference Europe 现场讲授的多 Agent 系统实战 Workshop,完整代码、2 小时视频、幻灯片全部开源。你将亲手搭出两个 MCP server:
- Deep Research Agent:
user topic → deep_research × N → analyze_youtube_video → gap-fill 补查 → compile_research → research.md——用 Gemini + Google Search grounding 做事实性研究,还能原生分析 YouTube 视频内容,最终产出约 2 万 token 的带来源结构化研究简报。 - LinkedIn Writing Workflow:
research.md + guideline → 生成草稿 → [review → edit] × N → post.md → generate image——评估器-优化器循环(evaluator-optimizer loop)跑 3 轮评审修改,v0 冗长草稿到 v3 紧凑成稿的全过程在 README 里有真实对照示例。
这不是又一个「调用一下 API」的 demo,而是一套生产级模式的可运行教学件,覆盖六个核心 pattern:
- Tool-use agents——LLM 自己决定调哪个工具、何时调
- Evaluator-optimizer loop——生成/评审/编辑循环改进
- Grounded search——Gemini + Google Search grounding 防编造
- Structured LLM output——Pydantic schema 类型安全响应
- MCP server design——FastMCP 注册 tools/resources/prompts
- LLM-as-judge evaluation——Opik 自动化质量评分
适合谁:想从「会调 API」进阶到「会设计 Agent 系统」的 AI 工程师;正在选型多 Agent 架构、想看真实权衡(单 Agent + 工具 vs 多 Agent)的技术负责人;想给团队找一套有代码、有视频、有作业的 Agent 培训教材的团队长。
不适合谁:零编程基础学习者(要求 working Python 知识 + LLM 基础概念);想找开箱即用产品的人(这是教学仓库不是产品);不想配 Google API Key 的人(所有 LLM 调用走 Gemini,必需)。
使用前提:Python 3.12+(uv 可代装)、uv 0.7+、GNU Make、Google API Key(aistudio.google.com/apikey 免费申请);Opik 账号可选(评估环节用)。
准备工作
- 环境:Python 3.12+、uv 0.7+(
curl -LsSf https://astral.sh/uv/install.sh | sh)、GNU Make(Windows:choco install make) - 获取:
git clone https://github.com/iusztinpaul/designing-real-world-ai-agents-workshop.git - 成本:仓库 MIT 免费;Google AI Studio 有免费额度,跑完整 workshop 的 Gemini 调用费用极低(研究+写作+配图一轮估算在免费额度量级,具体以你的账单为准);Opik 有免费档
- 时间:三种模式任选——看视频 2 小时 / 跑现成代码 30 分钟 / 自己从零实现 2-4 小时(25 张预梳理工单)
- 前置知识:Python 熟练;知道 LLM、prompt、tool calling 是什么;最好用过 Claude Code 或 Cursor(MCP harness 部分)
- 替代方案:LangChain 官方教程(框架绑定较深)、Anthropic MCP 官方示例(无完整教学叙事)、各家 agent 框架的 getting started(缺评估器循环与 LLM-as-judge 实践)
快速上手(3 步)
第一步:克隆并配置
git clone https://github.com/iusztinpaul/designing-real-world-ai-agents-workshop.git
cd designing-real-world-ai-agents-workshop
cp .env.example .env # 填入 GOOGLE_API_KEY(+ 可选 OPIK_API_KEY)
uv sync
预期产出:依赖装完(uv 会自动处理 Python 版本)。
第二步:端到端验证
make test-end-to-end # 跑通 research + writing 全管线
预期产出:命令无报错完成,证明 API Key、依赖、管线全部就绪。
第三个任务:在 Claude Code / Cursor 里完成第一次深度研究
仓库的 .mcp.json 已预配置——直接在 Claude Code 或 Cursor 里打开项目,两个 MCP server(deep-research / linkedin-writer)自动启动。调用 MCP prompt research_workflow,给它一个你关心的主题(例如「AI Agent 架构:什么时候该用多 Agent」),它会引导你走完整个流程;也可以用预置斜杠命令:
/research <主题>→ 产出outputs/{topic-slug}/research.md/write-post→ 从已有研究生成post.md+post_image.png/research-and-write→ 全管线一条龙
预期产出:outputs/ 下出现带来源的 research.md、经 3 轮评审修改的 post.md 和 AI 生成配图——与 README 里 Phil Tobaloo 的示例输出同构。
常见踩坑(症状 → 原因 → 解决)
uv sync报 Python 版本错误。原因:本机 Python < 3.12。解决:uv python install 3.12再重跑uv sync——uv 会托管该版本,不污染系统 Python。- Gemini 调用报 429/配额不足。原因:免费档 rate limit 较紧,深度研究会并发多轮
deep_research调用。解决:等窗口重置;或升级付费档;研究主题太大时分两步跑(先核心问题再 gap-fill)减少单轮查询数。 - Windows 上
make命令不存在。原因:仓库所有入口都封装在 Makefile 里。解决:choco install make,或直接读 Makefile 找到对应uv run/python命令手动执行;WSL 体验最顺。 - MCP server 在 harness 里不自动启动。原因:
.mcp.json的自动加载依赖 harness 版本(Claude Code / Cursor 对项目级 MCP 配置的支持策略不同)。解决:确认 harness 是较新版本;或按「Manual server start」用make run-research-server/make run-writing-server(stdio 传输)手动起,再在 harness 里接。 - 评估环节跑不起来。原因:
make eval-*系列依赖 Opik 账号与 OPIK_API_KEY,且首次会自动上传数据集。解决:跳过评估不影响主线学习;要用就在 .env 补 OPIK_API_KEY,先make upload-eval-dataset验证连通。 implement_yourself/模式下 Agent 直接抄了答案。原因:在仓库根目录打开 harness,Agent 能看到../src/参考实现。解决:README 明确要求直接在implement_yourself/文件夹里打开 harness,让工作目录被限定在骨架内——agent 看不到、grep 不到参考实现,这才是设计好的「无作弊」体验。
初级用法
- Streamlit UI 一键演示:
make run-ui起一个本地聊天界面,丢进一个主题(或上传 .md/.txt 种子文件),全程可视化看进度:搜索计数、来源收集数、评估器-优化器循环轮次、配图生成——不需要任何 harness。 - 研究种子写法:参照 README 的 seed 格式——2-3 个关键问题 + 参考链接,比一句话主题的产出质量高得多。
- 写作 guideline 写法:Topic/Angle/Target Audience/Key Points/Tone 五段式 guideline 直接决定成稿方向,README 有完整模板可抄。
高级玩法
- 1:1 复刻挑战:
implement_yourself/是剥空的骨架 + 25 张预梳理工单 + 自定义/implementClaude Code skill(编排 SWE Agent 和 Tester Agent 循环,一张工单一张工单推进直到目录与src/一致)——用 Agent 工程的方式学 Agent 工程,2-4 小时。 - LLM-as-judge 评估管线:datasets/ 目录带预构建的 LinkedIn 帖子数据集(seeds/guidelines/research/ground truth/生成输出),
make eval-dev/eval-test/eval-online用 LLM 按结构、语气、准确性打分并上传 Opik 追踪——把「感觉输出变好了」变成可量化的回归测试。 - 批量数据集跑批:
make run-dataset-writing对全数据集跑研究+写作+配图(-no-image版更快),适合调参后批量对比。 - 架构判断力训练:README 的示例输出本身就是一堂「何时该用多 Agent」的课——单 Agent + 工具在紧耦合任务上赢了 12-Agent 设计、「context rot」(超 10-20 个工具 LLM 选择能力退化)等结论都有真实案例支撑。
- 接自己的 harness:两个 MCP server 遵循标准 Model Context Protocol,任何 MCP 兼容 harness(不止 Claude Code/Cursor)都能编排它们——把 research → write 管道嵌进自己的工作流。
小技巧
- 先看视频再动手(2 小时)——MCP server 设计的「为什么」比「怎么写」更值钱,视频里讲了架构决策过程。
examples/目录有完整端到端样本(seed → research → 各版草稿 → review → final post + image),跑之前先看样本,知道每步的合格产出长什么样。- deep_research 的 gap-fill 阶段是精髓:首轮研究后自动识别信息缺口再补查——自己写研究 Agent 时把这个两阶段模式抄走。
- evaluator-optimizer 循环轮数 N 是可调的,3 轮之后边际收益骤减(README 的 v0→v3 对照可证),别盲目加轮数烧 token。
- Pydantic schema 定义在
src/*/models/——读这两个目录是理解「structured LLM output」最直接的教材。
常见问题 FAQ
Q1: 这是免费课程还是导流课的广告?
A: 仓库本身(代码/视频/幻灯片/骨架)MIT 开源免费。README 中部有 Towards AI 的付费 Agentic AI Engineering Course 推广(34 课/3 项目/证书),属于明确的商业导流,但 workshop 内容完整自足、不买课也能学完全部六个 pattern。
Q2: 必须用 Gemini 吗?能换 OpenAI/Claude 吗?
A: 当前代码通过 google-genai SDK 深度绑定 Gemini——grounded search 和 YouTube 视频分析用到 Gemini 原生能力,直接换模型会丢这两个特性。想换模型需要自己改 src/*/utils/ 里的客户端封装,工作量不小。
Q3: 和 LangChain / CrewAI 官方多 Agent 教程比学哪个?
A: 定位不同:框架教程教你「用某框架干活」,本 workshop 教「不依赖重型框架的系统设计」(FastMCP + Pydantic + 原生 SDK,无 LangChain/CrewAI 依赖)——学完理解的是模式本身,可迁移到任何栈。有框架经验者反而收获更大。
Q4: 没有生产场景,学了怎么用?
A: 六个 pattern 全部直接可迁移:evaluator-optimizer 循环用在任何迭代改进型生成任务(文案/代码/报告);LLM-as-judge 用在上线前的自动质检;MCP server 设计用在把自己团队内部工具暴露给 Agent。仓库的 implement_yourself/ 模式本身就是一套「用 Agent 学 Agent」的方法论。
Q5: workshop 时长和难度?
A: 三档:看视频约 2 小时、跑现成代码约 30 分钟、自实现 2-4 小时(25 工单)。难度定位为「有 Python + LLM 基础的中级开发者」,advanced 门槛主要在 MCP 概念与系统设计思维,不在代码量。
Q6: 项目还在更新吗?
A: 仓库最近 push 2026-06-03(本站核验 2026-09-16,约 3 个月前 ⚠️),属 workshop 材料的常态——内容完成度高(代码/视频/幻灯片/数据集/骨架全齐),主要风险是 Gemini API 演进后示例代码可能需要小修。
免责声明
本文基于公开资料整理(GitHub README 全文、仓库结构与 API 元数据,核验日期 2026-09-16),AI 辅助生成,未在本站环境实际运行该 workshop 或验证管线产出质量。课程推广链接已按中立原则处理(身份源为 GitHub 仓库,非推广 UTM 链接);「rated 5/5 by 300+ students」等课程宣传数字未独立核实。仓库数据:GitHub API 实测 2026-09-16,★507/🔱139,MIT,创建于 2026-03-27,最近 push 2026-06-03。
参考链接
📊 评分与标签
评分说明
总分 8.0/10 · P_优选
📊 可观测社区指标(采集日期:2026-09-16)
- GitHub: iusztinpaul/designing-real-world-ai-agents-workshop ★507, 🔱139(GitHub API 实时核验,2026-09-16;仓库创建 2026-03-27,约 6 个月)
- License: MIT(Copyright 2026 Paul Iusztin, Towards AI Inc);Python 3.12+
- 最近 push 2026-06-03(⚠️ 超 3 个月未更新,workshop 材料常态但需关注 API 演进风险);2 open issues
- 作者:Paul Iusztin(Towards AI / Decoding AI 联合创始人)+ Louis-François Bouchard(AI Engineer知名博主)+ Samridhi Vaid
- 配套:2 小时 YouTube 完整视频 + Google Drive 幻灯片 + 25 张工单自实现骨架 + 数据集
评分依据可追溯至公开来源,每项分数均有明确理由和数据支撑。
⚙️ 功能完整度 2.2/2.5
- 教学件完整度极高:双 MCP server(deep-research:deep_research/analyze_youtube_video/compile_research;linkedin-writer:generate_post/edit_post/generate_image)+ MCP prompts + 预置斜杠命令(/research /write-post /research-and-write)+ Streamlit UI + Makefile 脚本入口 + 评估管线 + 数据集 + 自实现骨架,五种使用模式覆盖
- 六大 pattern 全部有可运行实现:tool-use agents、evaluator-optimizer loop、grounded search、structured output(Pydantic)、MCP server design(FastMCP)、LLM-as-judge(Opik)
- 竞品对比 1(Anthropic MCP 官方示例):单点示例无完整叙事;本 workshop 端到端成体系
- 竞品对比 2(框架官方教程):绑定框架;本方案 FastMCP + 原生 SDK,模式可迁移到任意栈
- 限制:LLM 深度绑定 Gemini(google-genai SDK),换模型丢 grounding/YouTube 分析;无英文之外语言特别处理
✨ 输出质量 2.2/2.5
- 教学质量证据充分:README 展示真实端到端产出(v0 冗长草稿 → v3 紧凑成稿的评审循环对照);examples/ 目录有完整样本(seed → research → drafts → reviews → final post + image);datasets/ 带标注数据集与 ground truth
- 架构观点有真实案例支撑(12-Agent 设计输给单 Agent + 工具、「context rot」阈值现象)
- 竞品对比 1(理论型教程/书籍):无代码验证;本 workshop 每个结论可跑通复现
- 竞品对比 2(低质 demo 合集):占位输出;本 workshop 产出物(约 2 万 token research.md)达到实用级
- 限制:本站未实际运行管线验证产出质量;LLM-as-judge 评分的校准度未实测;「rated 5/5 by 300+ students」为课程方宣传数字,未独立核实
🖐️ 易用性 1.1/1.5
uv sync+make test-end-to-end两步验证;.mcp.json预配置让 Claude Code/Cursor 打开即用;三档时长自选(2 小时看 / 30 分钟跑 / 2-4 小时自实现);前置条件表(Python/uv/Make/API Key)一目了然- 竞品对比 1(读论文学 Agent 系统):抽象门槛高;本 workshop 视频+代码+作业三管齐下
- 竞品对比 2(自搭环境教程):环境地狱;uv + Makefile 标准化程度高
- 限制:仍要求 working Python + LLM 概念基础(README 明示 assumes);Windows 用户需 choco/WSL 配 make;评估环节要 Opik 账号;Gemini API 免费档限流需应对
💰 性价比 1.5/1.5
- 仓库 MIT 完全免费(代码/视频/幻灯片/骨架/数据集);Google AI Studio 免费额度可覆盖学习用量;Opik 免费档可用;无任何强制付费点
- 来源:GitHub 仓库(采集日期 2026-09-16)
- 竞品对比 1(付费 Agent 工程课程):数百至数千美元;本 workshop 覆盖同款核心 pattern 零成本
- 竞品对比 2( conference 现场 workshop):门票与差旅;本仓库是同一内容的开源版本
- 注:README 含付费课程导流(Agentic AI Engineering Course),属可选项不影响 workshop 本体
🔒 稳定性 0.5/1.0
- 仓库 6 个月 ★507/🔱139(fork 比例高,教学仓库典型分布);但最近 push 2026-06-03(⚠️⚠️ 超 3 个月无提交)——workshop 材料天然趋稳,风险在于 Gemini API 演进后示例代码可能过时
- 来源:GitHub API(pushed_at 2026-06-03)
- 作者为业界活跃教育者(Towards AI 生态),内容权威性有背书
- 竞品对比 1(个人实验仓库):维护随意;本仓库由机构背书、完成度高、issues 少
- 竞品对比 2(持续迭代的框架教程):随框架更新而更新;本仓库是时点快照,教学价值不随时间衰减但代码可能需小修
- 限制:无版本发布节奏(无 Releases);依赖 Google Gemini API 行为稳定性这一外部因素
🛡️ 隐私安全 0.5/1.0
- 纯本地运行的教学仓库,代码可审计(MIT 开源);数据集为公开 LinkedIn 帖子
- 竞品对比 1(在线课程平台):学习数据进平台;本仓库零注册零追踪
- 竞品对比 2(云端 Agent 教学环境):代码跑在别人机器;本仓库全在本机
- 限制:使用需 .env 存 GOOGLE_API_KEY(明文文件,属常规做法但勿提交);研究主题与生成内容发往 Google API;README 含 UTM 追踪链接的课程导流(本站收录已按中立原则剥离,身份源取 GitHub 仓库);无安全审计需求场景(非生产软件)
🏷️ 标签说明
- 实战教程: 端到端可运行的教学件(代码+视频+幻灯片+25 工单骨架+数据集),非理论课。来源:GitHub README
- MCP工具: 核心教学内容即 MCP server 设计(FastMCP),成品是两个可被 Claude Code/Cursor 编排的 MCP server。来源:GitHub README
- 多Agent: 深度讲解单 Agent + 工具 vs 多 Agent 的架构选型,Deep Research + Writing 双系统协同工作。来源:GitHub README
- 开源免费: MIT License,全部教学材料(含 2 小时视频)免费。来源:GitHub 仓库
- AI教育: AI Engineering Conference Europe 现场 workshop 的开源版本,作者为 Towards AI 联合创始人。来源:GitHub README
📋 来源核实
- ✅ 已核验: GitHub 仓库 — 2026-09-16 GitHub API 实时核验:★507、🔱139、MIT、创建 2026-03-27、pushed_at 2026-06-03、Python
- ✅ 已核验: README 全文 — 2026-09-16 抓取:双 MCP server 架构、六 pattern 清单、三种使用模式、前置条件表、项目结构、评估管线、示例产出对照
- ⚠️ 未验证: YouTube 视频与 Google Drive 幻灯片可达性未逐一核验;课程宣传数字(5/5、300+ 学生、34 课)未独立核实
- ⚠️ 未实测:本站未运行管线,research.md 产出质量、评审循环效果、Opik 评估准确度以官方示例为准;Gemini 免费额度实际用量上限未测
同分类推荐
AI教育 分类下的其他工具