Unsloth

Unsloth 快速入门

在自己电脑的显卡上跑和微调开源大模型：训练快、显存省，2026 年 10 月起连桌面端应用（Unsloth Desktop）都开源免费了。

这是什么?适合谁?

Unsloth（unsloth.ai，GitHub 开源仓库 unslothai/unsloth，Apache-2.0 协议）是一个本地大模型运行与训练工具包。它最有名的标签是「微调更快、显存更省」——通过手写的 Triton 内核、精确的梯度检查点等底层优化，在消费级显卡上做 LoRA/QLoRA 微调，官方口径是比常规 Hugging Face 路线快约 2 倍、省约 70% 显存（不同模型/显卡实测有差异）。

2026 年 10 月官方发布了 Unsloth Desktop（当前 v0.1.61-beta）：一个 Mac / Windows / Linux 三平台的桌面应用，把「下载模型 → 聊天 → 无代码微调 → 生图生视频 → 接给 Claude Code/Codex 当本地后端」打包进一个本地工作台，官方强调「Open-source. Free. 100% Local.」。

适合谁：

• 有一张 8G–24G 显存的消费级显卡（或 Apple Silicon Mac），想自己微调开源模型的人
• 想给 Claude Code / Codex 这类编码 Agent 接本地模型、省 API 费的开发者
• 想本地跑图像/视频生成（Qwen-Image、FLUX、Wan 等）又不想装一堆 Python 环境的用户

不适合谁：只想网页聊天、完全不想碰本地环境的用户——直接用在线服务更省事。

准备工作

• 硬件：NVIDIA 显卡（微调建议 ≥8GB 显存，QLoRA 下 4GB 也能跑小模型）或 Apple Silicon Mac；纯 CPU 可推理但很慢
• 系统：Windows 10+ / macOS（Apple Silicon 和 Intel 都有 .dmg）/ Ubuntu 及兼容发行版（.deb）
• 时间预算：装环境 + 跑通第一个微调，约 30–60 分钟
• 费用：工具本身完全免费（Apache-2.0 开源）；成本只有电费和硬件
• 前置知识：会用命令行、大致知道 LoRA 是什么（不知道也行，先用桌面端无代码流程）

三步上手（Unsloth Desktop 路线，最简单）

1. 下载安装：到官网 Download 或 GitHub Releases 拿对应平台的安装包（macOS .dmg / Windows .exe / Ubuntu .deb），双击安装
2. 下载模型并开始聊天：打开应用，在内置模型库里挑一个适合你显存的量化版本（比如 4-bit 量化），点击下载，加载后即可对话
3. 无代码微调：用内置的无代码工作流，选模型、丢数据集、点开始——训练完的 LoRA 适配器可以直接在应用内继续使用

三步上手（Python 库路线，进阶）

1. 安装（NVIDIA GPU）：pip install unsloth（详细环境要求见官方文档；Windows 下官方推荐 WSL2）
2. 用官方 notebook 起步：仓库和文档站提供 Llama / Qwen / Gemma / GLM 等主流模型的现成微调 notebook，从抄改开始
3. 训练完导出：LoRA 适配器可导出为 GGUF / MLX / vLLM 等格式，跨工具使用

初级用法

• 给本地模型开 OpenAI 兼容 API：Unsloth Desktop 可以把本地模型暴露成 OpenAI 兼容端点，已有脚本和 SDK 直接换个 base_url 就能接上
• 接编码 Agent：官方给的操作流是——启动 Unsloth、加载模型、打开项目目录、运行 unsloth start claude（Codex 同理）；换模型不用改 Agent 工作流
• 本地图像生成：桌面端支持 Qwen-Image-2.1、MiniMax-H3、FLUX、Z-Image 等模型及 LoRA 适配器，可以做变换、修补、扩图、放大、参考图编辑
• 本地视频生成：支持 Wan、LTX 模型；官方给过一个参考数字——在 NVIDIA B200 上 MiniMax-H3 生成 960×544、124 帧视频用时 13 秒（8 步，此前需 70+ 步）
• 免费联网搜索：桌面端内置免费、私有的网页搜索，配合 Deep Research 模式可产出带引用的报告

高级玩法

1. Day Zero 支持新模型：Qwen3.8、GLM、Gemma 等新发布模型常在发布当天就适配，赶新模型时优先看 Unsloth 的模型页而不是自己从头改代码
2. 量化训练组合拳：QLoRA（4-bit 基座 + LoRA 适配器）在 8G 显存上微调 7–8B 模型是社区主流玩法；配合 Unsloth 的内核优化可以再压一档显存
3. 自愈工具调用：桌面端宣称工具调用准确率最高提升 50%，靠自动检测-修复-重试失败的工具调用；给本地模型接 Agent 时先开这个再谈准确率
4. 远程访问本地模型：通过免费 Cloudflare Tunnel 把本地或 Colab 模型以 HTTPS 暴露出去，手机上也能查看运行
5. 导出到生产格式：微调产物导出 GGUF 后可直接给 llama.cpp / Ollama 用，导出 MLX 给 Mac 生态用——训练在 Unsloth、部署在你选的运行时

小技巧

• 显存不够先降三样：换 4-bit 量化、降上下文长度、减小 batch size（配合梯度累积）
• 源语言选错识别模型会明显变慢，桌面端 Ultra/EagleEye 模型会自动检测语言，不想纠结就选它们
• unsloth start 命令族是接 Agent 的关键入口，先在官方 setup guide 里读一遍再动手
• 模型库里每个模型都标注了所需显存，按数字挑比按名气挑靠谱
• 遇到报错先查 GitHub Issues——7.7 万 star 的社区里大部分坑已有人踩过

常见踩坑

1. 现象：Windows 直接 pip install 后训练报 CUDA 内核错误。原因：部分内核对原生 Windows 支持不完整。解决：官方推荐 Windows 用户走 WSL2 或直接用桌面版。
2. 现象：微调时显存爆掉。原因：上下文长度或 batch 设太大。解决：开 QLoRA、把上下文降到任务够用的最小值、用梯度累积替代大 batch。
3. 现象：下载模型速度极慢。原因：HuggingFace 直连网络不稳。解决：配置镜像源（如 hf-mirror）后重试；桌面端模型库走自己的下载通道，可对比选快的。
4. 现象：训练完的模型「变笨了」。原因：LoRA 秩（r）或学习率不合适、数据集质量差。解决：先用官方 notebook 的默认超参跑通，再小步调参；数据清洗优先于调参。
5. 现象：接 Claude Code 后工具调用经常失败。原因：小参数模型的工具调用能力有限。解决：选支持自愈工具调用的模型配置，或在 Agent 侧降低工具复杂度。
6. 现象：桌面版启动后找不到某模型。原因：beta 版模型目录还在快速迭代。解决：升级到最新版（10 月版本号迭代很快），或回 Python 路线用官方 notebook。

常见问题 FAQ

Q1: Unsloth 和 Ollama / llama.cpp 是什么关系？

A: 定位不同。Ollama / llama.cpp 是「运行时」，负责跑模型；Unsloth 主打「训练/微调」，但也提供运行能力（桌面端聊天、OpenAI 兼容 API）。典型组合是：Unsloth 微调 → 导出 GGUF → Ollama 部署。

Q2: 免费吗？有商业限制吗？

A: 仓库 unslothai/unsloth 为 Apache-2.0 协议，商用友好；桌面版官方口径也是开源免费。企业级支持等增值服务以官网为准。

Q3: 没有显卡能用吗？

A: 推理勉强可以但体验差；微调基本不可行。替代方案：Google Colab 免费档（官方很多 notebook 就是为 Colab 写的），或租云 GPU。

Q4: 和 Axolotl、LLaMA-Factory 这类微调框架比怎么选？

A: Axolotl 配置灵活、功能全面；LLaMA-Factory 有中文界面和广模型覆盖（本站也收录了它）。Unsloth 的差异化是速度/显存优化和桌面端无代码体验。想要图形界面 + 极致省显存选 Unsloth；想要 Web UI 全流程中文体验选 LLaMA-Factory；想要细粒度 YAML 控制选 Axolotl。

Q5: Unsloth Desktop 稳定吗？

A: 当前是 beta（v0.1.61-beta，2026-10 发布），功能迭代很快。生产关键任务建议走 Python 库路线，桌面版适合快速试验。

参考链接

• Unsloth 官网
• GitHub 仓库 unslothai/unsloth
• 官方文档
• Unsloth Desktop 下载（GitHub Releases）