Microsoft SkillOpt

Microsoft SkillOpt 快速入门

一句话卖点：微软研究院出品——把你的 SKILL.md 当「可训练参数」自动优化，不改模型权重就让 Agent 分数 +20 分。

这是什么？适合谁？

Microsoft SkillOpt 是 Microsoft Research 发布的 Agent Skill 优化框架。它的核心思路非常创新：把 SKILL.md（文本形式的 Skill 描述）视为一种「文本空间的可训练状态」，通过自动迭代优化——不是修改 AI 模型本身，而是把你的 Skill 文档改得更好。
官方数据：通过 SkillOpt 优化后的 Skill，在 Codex 上得分提升 +24.8 分，Claude Code 上提升 +19.1 分，全程不需要微调模型、不需要改权重、不需要标注数据。
技术原理简化：

1. 你提供一个初始 SKILL.md；
   
2. SkillOpt 自动生成多个变体（改措辞、重组结构、增加示例）；
   
3. 在测试任务上跑每个变体，打分；
   
4. 保留高分变体，迭代继续优化；
   
5. 输出最优版 SKILL.md。
   适合谁？Skill 作者——你写了一个 Skill 但不满意效果，用 SkillOpt 自动调优。企业团队——有大量内部 Skill 需要标准化和优化。
   不适合只是在用别人 Skill 的普通用户——SkillOpt 是给 Skill 开发者用的优化工具。
   

准备工作

1. Python 3.10+；
   
2. 一个待优化的 SKILL.md 文件；
   
3. 一组测试任务（用于评估 Skill 效果）；
   
4. API Key（OpenAI / Anthropic / Azure OpenAI 任意一个）；
   
5. （推荐）GPU 环境——虽然 SkillOpt 主要在文本空间操作，但评估任务可能涉及大量 API 调用，建议有稳定的网络和 API 额度。
   

3 步快速上手

第 1 步：安装

# Clone 仓库<br>
git clone https://github.com/microsoft/skillopt.git<br>
cd skillopt<br>
# 安装依赖<br>
pip install -r requirements.txt<br>
# 或使用 pip 安装<br>
pip install skillopt<br>
```<br>
### 第 2 步：配置<br>
创建配置文件 `config.yaml`：<br>
```yaml<br>
# config.yaml<br>
skill:<br>
path: ./my-skill.md          # 你的 Skill 文件路径<br>
optimizer:<br>
iterations: 10                # 优化迭代次数<br>
variants_per_iteration: 5    # 每轮生成的变体数<br>
evaluator:<br>
provider: anthropic           # 或 openai / azure<br>
model: claude-sonnet-4-5<br>
test_tasks: ./tests/          # 测试任务目录<br>
api:<br>
anthropic_key: ${ANTHROPIC_API_KEY}<br>
```<br>
设置环境变量：<br>
```bash<br>
export ANTHROPIC_API_KEY="your-key"<br>
# 或<br>
export OPENAI_API_KEY="your-key"<br>
```<br>
### 第 3 步：首次使用<br>
运行优化：<br>
```bash<br>
# 启动优化流程<br>
skillopt optimize --config config.yaml<br>
# 输出：optimized-skill.md（最优版 Skill 文件）<br>
```<br>
整个流程大约 30 分钟到 2 小时（取决于迭代次数和测试任务复杂度）。优化完成后对比原版和优化版的评分：<br>
```bash<br>
skillopt compare original-skill.md optimized-skill.md --test-dir ./tests/<br>
```<br>
输出类似：<br>
```<br>
Original Skill:  62.3 points<br>
Optimized Skill: 81.4 points (+19.1)<br>
```<br>
## 常见踩坑<br>
1. **测试任务设计差导致优化方向错误**：SkillOpt 完全依赖你提供的测试任务来评估 Skill 好坏。如果测试任务不具代表性，优化出来的 Skill 可能在你真正关心的场景表现更差。<br>
2. **API 费用**：每轮迭代会大量调用 LLM（生成变体 + 评估），10 轮、每轮 5 变体 ≈ 50+ API 调用。用 Opus 级别模型可能花费数十美元。<br>
3. **过拟合**：迭代次数太多可能导致 Skill 对测试任务过拟合，换新任务效果下降。建议留一部分测试任务做 holdout 验证。<br>
4. **长 Skill 优化慢**：如果 SKILL.md 超过 5000 词，单轮评估变慢，整个流程可能跑数小时。<br>
5. **不支持所有 AI 平台**：SkillOpt 的评估器默认支持 Anthropic 和 OpenAI。如果想评估在其他平台（如 Gemini、Codex）上的效果，需要自定义 evaluator。<br>
## 初级用法<br>
- **单次优化**：给一个 SKILL.md，跑默认配置，得到优化版；<br>
- **A/B 对比**：`skillopt compare` 对比原版和优化版在不同任务上的表现。<br>
## 高级玩法<br>
- **自定义变异策略**：SkillOpt 默认用 LLM 生成变体，你也可以写自定义变异规则（如强制添加示例、调整结构）；<br>
- **多目标优化**：同时优化「精准度」和「Token 消耗」两个指标；<br>
- **CI 集成**：把 SkillOpt 加入 CI pipeline，每次更新 Skill 自动跑一轮优化验证。<br>
## 小技巧<br>
1. **从小迭代开始**：先用 3 轮 3 变体快速验证流程，确认测试任务合理再加大迭代；<br>
2. **关注优化日志**：每轮优化会输出分数变化，观察是否在持续提升；<br>
3. **对比不同模型评估**：同一 Skill 在不同 AI 模型上效果不同，用 `--model` 切换评估模型；<br>
4. **保存中间结果**：`--save-intermediate` 保存每轮最优 Skill，方便回滚。<br>
## 常见问题 FAQ<br>
**Q1: SkillOpt 和 Prompt Engineering 有什么区别？**<br>
A: Prompt Engineering 是人工调 prompt，SkillOpt 是自动调 prompt。SkillOpt 本质上是把 prompt 优化自动化——通过强化学习式的「生成→评估→保留」循环找到最优 Skill 文本。人工调需要经验和时间，SkillOpt 更快更系统。<br>

**Q2: 优化一次要多少钱？**<br>
A: 取决于 API 调用量。粗略估算：10 轮 × 5 变体 × 2 次 API 调用（生成 + 评估）= 约 100 次 API 调用。用 Claude Sonnet 约 $2-5/次完整优化。用 Opus 可能 $10-20。<br>

**Q3: 优化后的 Skill 会不会「过拟合」？**<br>
A: 会。如果测试任务太少（比如只有 5 个任务），优化后的 Skill 可能只在测试任务上高分。建议测试任务 ≥ 20 个，且覆盖不同场景。<br>

**Q4: 支持非英文 Skill 吗？**<br>
A: SkillOpt 本身语言无关——你的 SKILL.md 是中文就用中文评估，是英文就用英文评估。但评估模型（如 Claude）在不同语言上的表现可能影响优化效果。<br>

**Q5: 和 Prompt Refinement 类工具（如 DSPy）有什么区别？**<br>
A: DSPy 优化的是「程序化 prompt」（有明确的输入输出模板），SkillOpt 优化的是「描述性 Skill」（自由格式的指导文档）。SkillOpt 更适用于 Claude Code Skills 这类自由文本 Skill。<br>
## 参考链接<br>
- Microsoft SkillOpt 仓库：<https://github.com/microsoft/skillopt><br>
- Microsoft Research 主页：<https://www.microsoft.com/en-us/research/><br>
- Claude Code Skills 文档：<https://docs.anthropic.com/en/docs/claude-code/skills><br>
- DSPy（相关工具）：<https://github.com/stanfordnlp/dspy>