Stable Diffusion

Stable Diffusion 快速入门

装到自己电脑里,免费无限次生成AI图片——开源图像生成生态的事实标准。

这是什么?适合谁?

Stable Diffusion 是由 Stability AI 联合 CompVis、Runway 等团队在 2022 年发布的开源图像生成模型,代码与权重以 CreativeML Open RAIL-M 许可证公开,意味着任何人都可以免费下载、本地运行、二次分发甚至商用(需遵守许可证条款)。截至 2026 年初,它已经从最初的 SD 1.5 演进到 SD 3.5、SDXL 等多个版本,生态里又衍生出 ComfyUI、Automatic1111、InvokeAI 等数十种部署前端,以及 Civitai 上数以万计的社区模型(Checkpoint、LoRA、ControlNet 等),构成目前最庞大的开源 AI 图像生态。

它和 Midjourney、DALL-E 3 的最大区别在于”可控性”:你可以挑选任意基础模型,叠加 LoRA 控制特定画风,用 ControlNet 锁定人物姿势,甚至自己写脚本批量出图。对于完全不想折腾的纯小白,Stable Diffusion 不如 Midjourney、即梦那样”开箱即用”;但只要愿意花一个下午装环境,后续每次出图的边际成本几乎为零,而且没有内容审查、没有次数限制、没有水印。

适合谁:愿意折腾硬件与命令行的技术爱好者、需要批量出图或做特定风格训练的中小工作室、对数据隐私敏感不能把图片传给云端的企业用户、想从零理解扩散模型原理的学生。不适合只想”点一下就有图”的纯小白(建议先用即梦 AI、LiblibAI 跑通流程再考虑)。

准备工作

• 操作系统:Windows 10/11 64 位、macOS 12+、主流 Linux 发行版均可
• 显卡(强烈推荐):NVIDIA 显卡,显存 6GB 起(出 512×512 图够用),8GB+ 可出 1024×1024,12GB+ 跑 SDXL 流畅;Mac 可用 Apple Silicon 的 MPS 加速
• 硬盘:至少 20GB 可用空间(模型 + 依赖)
• Python:3.10 或 3.11 版本
• Git:用来克隆仓库
• 耐心:首次安装需要 30-90 分钟,包括下载约 5GB 的模型权重

3 步快速上手

第 1 步:安装 ComfyUI(推荐前端)

ComfyUI 是目前最流行的可视化节点式前端,工作流可以保存为 JSON 分享,适合从入门到生产全阶段。打开 PowerShell(Windows)或 Terminal(macOS/Linux),执行:

git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
pip install -r requirements.txt

国内访问 GitHub 慢的话,可以用 ghproxy 镜像:

git clone https://gh-proxy.com/https://github.com/comfyanonymous/ComfyUI.git

如果使用 NVIDIA 显卡但 PyTorch 默认装的是 CPU 版,需要单独重装:

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121

第 2 步:下载模型权重并放入目录

到 Hugging Face 的 Stability AI 仓库下载 SD 1.5 或 SDXL 基础模型(以官方为权威来源):

• SD 1.5
• SDXL 1.0

下载 .safetensors 格式的文件(不要下载 .ckpt,因为后者有 pickle 注入风险),放入:

ComfyUI/models/checkpoints/

启动 ComfyUI:

python main.py

浏览器会自动打开 http://127.0.0.1:8188,看到节点画布就说明服务跑起来了。

第 3 步:跑第一个文生图任务

在 ComfyUI 默认画布里,你已经能看到 “CLIP Text Encode (Positive)”、“KSampler”、“Empty Latent Image”、“VAE Decode”、“Save Image” 这几个节点。只需修改正向提示词节点的内容,例如:

masterpiece, best quality, 1girl, white dress, garden, sunlight,
soft focus, cinematic lighting

负向提示词节点写:

lowres, bad anatomy, bad hands, text, error, missing fingers

点右上角 “Queue Prompt”,等待 10-30 秒,生成的图片就会自动保存到 ComfyUI/output/ 目录,也直接在画布右侧预览。任务完成——你刚刚在本地、零成本生成了第一张 AI 画作。

常见踩坑

1. 显存不足报错(OOM):出图时弹出 “CUDA out of memory”。把 KSampler 节点的 batch_size 改成 1,把 Empty Latent Image 的分辨率从 1024 降到 768 或 512,模型换成 SD 1.5 而不是 SDXL。
2. 出图全是噪点或全黑:通常是 VAE 没匹配。SDXL 必须搭配专用 VAE 文件(从同一个 Hugging Face 仓库下载 sdxl_vae.safetensors,放到 ComfyUI/models/vae/)并连接到 VAE Decode 节点。
3. pip install 装到一半失败:网络问题。国内用户可以临时切换镜像:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt。
4. 启动后浏览器没自动打开:手动访问 http://127.0.0.1:8188;如果端口冲突,加 --port 8189 启动。
5. 生成的图人脸崩、手指多一根:在负向提示词加 extra fingers, fewer fingers, extra digit, bad hands,并启用 ADetailer 插件做面部修复。
6. Mac 出图极慢:确认在 ComfyUI 设置里把 device 选成 mps 而不是 cpu;Apple Silicon 跑 SDXL 也能用,但速度只有 N 卡 3060 的 1/3 左右。

初级用法

1. 套用别人的工作流:在 ComfyUI 官网 comfy.org 的 Examples 板块,或 civitai.com 的 ComfyUI 频道,下载 .json 工作流文件,直接拖进 ComfyUI 画布就能用。
2. 加载社区 LoRA:LoRA(Low-Rank Adaptation)是几十 MB 的小模型,叠加在基础模型上就能学会特定画风/角色。例如想画宫崎骏风格,下载宫崎骏 LoRA 放到 ComfyUI/models/loras/,在 KSampler 前加一个 “Load LoRA” 节点即可。
3. 文生图 + 放大:出 512×512 小图后,用 “Ultimate SD Upscale” 节点或外置工具(如 Real-ESRGAN)放大到 4K,既能保持细节又不会爆显存。

高级玩法

1. ControlNet 控制姿势:下载 ControlNet 模型(如 control_v11p_sd15_openpose),上传一张人物照片,ComfyUI 会自动提取骨骼姿态,再叠文生图提示词,人物姿势和参考图完全一致。
2. Inpainting 局部重绘:用 ComfyUI 的 “VAE Encode (for Inpainting)” 节点,对图片的某一块蒙版区域重绘,常见于”把头像里戴的眼镜擦掉”。
3. 自己训练 LoRA:用 kohya_ss 训练脚本(项目地址 github.com/bmaltais/kohya_ss),准备 20-50 张同一主题的图片,跑 30 分钟到几小时,就能生成专属风格模型。

小技巧

1. 模型不要乱下:Civitai 上的模型质量参差不齐,优先选下载量 > 1 万、评分 4.5+ 的;未知来源的 .ckpt 可能有恶意代码,务必只下 .safetensors。
2. CFG Scale 调到 7-9 出图最稳:低于 5 图会”失神”,高于 12 图会过饱和、颜色失真。
3. Sampler 选 DPM++ 2M Karras:综合速度与质量,是 ComfyUI 默认之外的”事实标准”。
4. 关键词顺序有讲究:越靠前的关键词权重越高,主语放在第一行,质量词放最前(masterpiece, best quality, ...)。
5. 常用提示词模板:masterpiece, best quality, absurdres, highres 四个加在正向提示词开头能稳定提升画面质量。

常见问题 FAQ

Q1: Stable Diffusion 生成的图片版权归谁?能商用吗?

A: 取决于 Stable Diffusion 的具体条款和你的订阅方案。免费版本通常限制商用,付费版本通常授予完整商用权。具体以 https://stability.ai 的服务条款为准。商用前务必仔细阅读授权协议,避免侵权。

Q2: Stable Diffusion 生成的图片质量不好,如何改进?

A: 改进方法:1) prompt 更具体(主题/风格/光线/构图);2) 使用 negative prompt 排除不想要的元素;3) 提高生成步数(20-50 步常见);4) 调整 guidance scale(7-12 常见);5) 参考优秀 prompt 案例。多尝试,prompt 调优是经验活。

Q3: Stable Diffusion 的图片生成要多久?费用如何?

A: 取决于模型复杂度和服务器负载。简单图 5-20 秒,复杂图 30-60 秒。免费版本通常有每日生成数量限制,付费版本按次或按积分扣费。具体以官网定价为准。

Q4: Stable Diffusion 适合做什么?不适合做什么?

A: 适合:社交媒体配图、博客配图、设计灵感、营销素材、个人创作。不适合:高分辨率商业印刷(需专业软件)、精确文字渲染(AI 模型普遍弱)、人物肖像精确复刻(版权和伦理问题)。

Q5: 怎么用 Stable Diffusion 配合其他工具提升效率?

A: 建议组合:1) Stable Diffusion 生成初稿图片;2) Photoshop/GIMP 精修;3) Topaz Gigapixel 提升分辨率;4) Remove.bg 去背景;5) Canva 加文字排版。这样能弥补 AI 模型的不足。

参考链接

• 官方主页
• ComfyUI 项目
• Hugging Face 模型仓库
• 社区模型库
• ControlNet 文档
• 训练脚本 kohya_ss
• 入门视频教程(Bilibili 搜索 “ComfyUI 教程”)

更多学习资源

• Stability AI 官网 - 获取最新模型发布和技术博客
• ComfyUI GitHub - 最流行的节点式前端,工作流可视化
• Hugging Face 模型仓库 - 官方模型下载,含 SD 1.5/SDXL/SD 3.5
• Civitai 社区模型库 - 30万+社区模型(Checkpoint/LoRA/ControlNet)
• AUTOMATIC1111 WebUI - 另一主流前端,界面更传统

本文基于官方文档和公开资料整理，AI辅助生成，MagicNetWorld 尚未完成独立实测。如有错误或过时信息，请通过 contact@magicnetworld.com 反馈。