Qwen

Qwen 快速入门

阿里通义千问开源版,中文天花板之一,大小尺寸齐全,本地跑、商用、微调都顺手。

这是什么?适合谁?

Qwen(通义千问)是阿里云推出的开源大语言模型系列,自 2023 年起持续迭代,Qwen、Qwen1.5、Qwen2、Qwen2.5、Qwen3 等多个版本,是中国开源大模型中口碑最好、生态最完善的一个系列。它的衍生模型还包括 Qwen-VL(视觉)、Qwen-Audio(语音)、Qwen-Coder(代码)、QwQ(推理)、Qwen-Math(数学)等垂直版本。

它适合这些用户:第一,做中文应用的开发者,Qwen 在中文理解和生成上长期处于开源第一梯队;第二,做本地部署的企业,需要数据不出域,Qwen 提供清晰的商用许可(Tongyi Qianwen LICENSE);第三,做代码助手、AI 编程工具的团队,Qwen-Coder 在 HumanEval、MBPP 等代码评测上排名靠前;第四,做 Agent、Copilot 类应用的工程师,Qwen 系列较早支持 Function Calling 和长上下文。

Qwen 的核心优势:一,中文能力一流,在 C-Eval、CMMLU 等中文评测上长期领先;二,模型尺寸从 0.5B 到 72B,甚至还有 MoE 架构,适合不同硬件;三,衍生模型丰富,视觉、音频、代码、数学都覆盖;四,在 Hugging Face、ModelScope 等平台同步开源,国内外都能下。

注意:模型权重许可随版本变化,使用前确认 LICENSE;大模型(72B)需要多张 A100,小模型(0.5B/1.5B)在笔记本都能跑。

准备工作

• 硬件需求根据模型大小:0.5B/1.5B 适合笔记本和手机,7B 消费级显卡(8GB+),72B 需要多卡
• Linux / macOS / Windows(WSL2)
• Python 3.8+,PyTorch 2.0+
• CUDA / ROCm / Apple Silicon MPS
• 至少 20GB 磁盘(7B),72B 约 150GB
• 基础的 Python 和命令行能力

3 步快速上手

第 1 步:安装推理工具

最简单的方案是 Ollama:

curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen2.5

如果用 Python + Transformers:

pip install torch transformers accelerate

生产推荐 vLLM 或 LMDeploy:

pip install vllm
# 或
pip install lmdeploy

第 2 步:下载模型

从 Hugging Face 下载:

pip install huggingface_hub
huggingface-cli login

# 下载 Qwen2.5-7B-Instruct
huggingface-cli download Qwen/Qwen2.5-7B-Instruct \
  --local-dir Qwen2.5-7B-Instruct

国内用户用 ModelScope(魔搭社区)更快:

pip install modelscope
python -c "from modelscope import snapshot_download; snapshot_download('qwen/Qwen2.5-7B-Instruct', cache_dir='./')"

第 3 步:跑通对话

用 Transformers,新建 chat_qwen.py:

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "Qwen2.5-7B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

messages = [{"role": "user", "content": "用一句话介绍通义千问大模型。"}]
text = tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
input_ids = tokenizer(text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

如果用 Ollama,终端直接对话,或者调 API:

curl http://localhost:11434/api/chat -d '{
  "model": "qwen2.5",
  "messages": [{"role": "user", "content": "你好"}]
}'

常见踩坑

1. 下载慢:Hugging Face 国内访问慢,推荐 ModelScope(魔搭)或 hf-mirror 镜像。
2. 显存不够:Qwen2.5 7B bf16 需 ~15GB,4-bit 量化版 ~5GB;72B 量化后还要 ~40GB。
3. 特殊 token 用错:Qwen 用 ChatML 格式(<|im_start|>system\n...),别自己拼字符串,用 apply_chat_template。
4. 微调时数据格式:Qwen 微调用 ChatML JSON 格式,数据准备要符合规范,否则训练会失败。
5. 许可证看清楚:Qwen 多数版本用 Apache 2.0 或 Tongyi Qianwen LICENSE,商用前确认条款。
6. 多卡并行:大模型需要张量并行或流水线并行,单卡放不下,记得配 deepspeed 或 accelerate 配置。

初级用法

• Ollama 本地跑:终端 ollama run qwen2.5,直接聊天,几分钟搞定。
• Web UI:Open WebUI、LM Studio 等 GUI 工具直接选 Qwen 模型。
• API 部署:vLLM 或 LMDeploy 启动 OpenAI 兼容 API,接应用。

高级玩法

• LoRA / QLoRA 微调:用 peft + transformers 微调,小数据集也能出效果。
• Function Calling:Qwen2.5 支持 tool use,可以做 Agent。
• RAG:配合 LangChain、LlamaIndex 做企业知识问答。
• 量化:bitsandbytes 4-bit、GPTQ、AWQ 等方案,显存紧张就用量化版。
• 代码任务:Qwen2.5-Coder 在代码补全和审查上效果很好,做编程助手直接选它。
• 视觉多模态:Qwen2-VL 支持图像输入,可以做图片理解、OCR、视频分析。

小技巧

• 个人学习用 Qwen2.5 7B 或 14B,质量高、消费级显卡可跑;中文场景强烈推荐。
• 国内业务、中文任务选 Qwen 是稳妥选择,许可清晰、生态成熟、文档完善。
• 用 ModelScope 下载模型速度飞起,推荐国内开发者首选。
• vLLM 部署 Qwen,吞吐量高,生产环境标配。
• Qwen-Coder 写代码能力一流,做 IDE 插件或代码审查工具直接选它。
• 长文档任务用 Qwen2.5-1M(支持 100 万 token 上下文),整本书丢进去不丢信息。
• 中文 RAG 场景,Qwen + BGE 嵌入 + Milvus/Qdrant 是经典组合,效果稳定。

常见问题 FAQ

Q1: Qwen 开源模型可以免费商用吗？

A: Qwen 小尺寸开源模型（0.5B—72B）多数使用 Apache 2.0 或 Tongyi Qianwen LICENSE 协议，通常允许商用。但旗舰版本（如 Qwen3.7-Max）是闭源的，仅通过阿里云 API 提供服务。使用前务必确认具体模型版本的 LICENSE 文件。开源模型从 Hugging Face/ModelScope 免费下载，API 调用按 Token 计费（Qwen3.7-Max 输入 ¥12/百万 Token，输出 ¥36/百万 Token）。

Q2: Qwen 开源模型和 API 版本有什么区别？

A: 开源版可本地部署、数据不出域、免费使用但需自备 GPU；API 版由阿里云托管、按量付费、无需硬件投入。开源版模型规模较小（最大 72B），API 版有更强大的闭源旗舰（如 Qwen3.7-Max 支持 100 万 Token 上下文）。

Q3: 国内下载 Qwen 模型太慢怎么办？

A: 推荐使用 ModelScope（魔搭社区）国内镜像下载，速度远快于 Hugging Face。也可使用 hf-mirror.com 等 HF 镜像站。部分小模型可直接通过 Ollama 一键拉取。

Q4: Qwen 的中文能力在开源模型中处于什么水平？

A: Qwen 系列在 C-Eval、CMMLU 等中文评测中长期处于开源第一梯队，中文理解和生成能力明显优于 Llama、Mistral 等海外开源模型。中文场景下 Qwen 是目前最稳妥的开源选择之一。