Mistral AI

Mistral AI 快速入门

法国 AI 新星,小模型大能量,Mistral 7B 在同尺寸里至今仍是一线水准。

这是什么?适合谁?

Mistral AI 是 2023 年成立于法国巴黎的 AI 公司,由前 Google DeepMind 和 Meta 的研究人员创立,以”高质量开源模型 + 商业友好许可”为特色,迅速成为欧洲最具影响力的 AI 初创之一。代表模型包括 Mistral 7B、Mixtral 8x7B(MoE 架构)、Mistral Small/Medium/Large、Codestral(代码专精)等。

它适合这些用户:第一,做本地部署的开发者,Mistral 模型以”小尺寸高质量”著称,7B 就能跑出接近 13B 的效果;第二,做欧洲业务的团队,Mistral 提供 GDPR 合规友好的云服务(Le Plateforme);第三,做混合云架构,既想用托管 API 又想本地部署的团队;第四,做多语言应用,Mistral 在法语、英语、德语、意大利语等欧洲语言上特别强。

Mistral 的核心优势:一,开源许可友好(Apache 2.0,商用无忧);二,小模型质量高,推理成本低;三,MoE 架构(Mixtral)在保持推理速度的同时提升容量;四,有专门的代码模型 Codestral;五,提供 Le Chat 网页端 + Le Plateforme API,生态逐步完善。

注意:部分新模型(Mistral Large 2 等)走商业许可,不是所有权重都开源。

准备工作

• 消费级显卡可跑 7B(8GB+ 显存),24GB 可跑 quantized 版本 Mixtral
• Linux / macOS / Windows(WSL2)
• Python 3.8+,PyTorch 2.0+
• CUDA(如果用 NVIDIA)或 Apple Silicon MPS
• 至少 30GB 磁盘(7B 模型约 14GB,Codestral 22B 约 44GB)
• 基础的 Python 和命令行能力

3 步快速上手

第 1 步:安装推理工具

推荐用 Ollama(最简单):

# 安装
curl -fsSL https://ollama.com/install.sh | sh

# 拉取并运行 Mistral 7B
ollama run mistral

或者用 Python + Transformers:

pip install torch transformers accelerate

生产环境推荐 vLLM(吞吐量高):

pip install vllm

第 2 步:下载模型(如果用 Transformers)

# 安装 CLI
pip install huggingface_hub
huggingface-cli login

# 下载 Mistral 7B Instruct
huggingface-cli download mistralai/Mistral-7B-Instruct-v0.3 \
  --local-dir Mistral-7B-Instruct-v0.3

或者用 ModelScope(国内快):

pip install modelscope
python -c "from modelscope import snapshot_download; snapshot_download('AI-ModelScope/Mistral-7B-Instruct-v0.2', cache_dir='./')"

第 3 步:跑通对话

用 Transformers,新建 chat_mistral.py:

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "Mistral-7B-Instruct-v0.3"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

messages = [{"role": "user", "content": "用一句话介绍 Mistral AI。"}]
input_ids = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt"
).to("cuda")

outputs = model.generate(input_ids, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

如果用 Ollama,直接在终端对话,或者调 API:

curl http://localhost:11434/api/chat -d '{
  "model": "mistral",
  "messages": [{"role": "user", "content": "你好"}]
}'

如果想用 Mistral 官方云 API(免本地部署):

from mistralai import Mistral

client = Mistral(api_key="你的key")
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "用一句话介绍 Mistral。"}]
)
print(response.choices[0].message.content)

常见踩坑

1. gated repo 需登录:Mistral 模型在 Hugging Face 上需要同意许可才能下载,先用 huggingface-cli login。
2. 显存不够:7B bf16 需 ~14GB,4-bit 量化版 ~6GB;Mixtral 8x7B(46B 总量)量化后 ~24GB。
3. 对话模板要匹配:Mistral 7B v0.3 默认用 ChatML 风格模板,旧版本(0.1)用 [INST] 风格,代码里要用对应的 apply_chat_template。
4. 中文能力一般:Mistral 在欧洲语言上强,中文不如 Qwen、ChatGLM,中文场景建议选国产模型。
5. 下载速度慢:Hugging Face 国内访问慢,推荐 ModelScope 或 hf-mirror 镜像。
6. vLLM 版本兼容:Mistral 在 vLLM 上支持越来越好,但偶尔有兼容问题,装最新版本更稳。

初级用法

• Ollama 本地跑:终端 ollama run mistral,直接聊天。
• Web UI:Open WebUI、LM Studio 等 GUI 工具都能跑 Mistral。
• API 部署:vLLM 启动 OpenAI 兼容 API,直接接应用。

高级玩法

• LoRA 微调:用 peft + transformers 微调 Mistral,在垂直领域(法语对话、欧洲法律)效果提升明显。
• Function Calling:Mistral Small/Large 支持 tool use,可以做 Agent。
• RAG 集成:配合 LangChain、LlamaIndex 做企业知识问答。
• 量化部署:bitsandbytes 4-bit、GPTQ、AWQ 等,把模型压到消费级显卡。
• 多模型对比:Mistral 7B、Qwen 2.5 7B、Llama 3 8B 同一尺寸可以横向对比,选最适合业务的。

小技巧

• 小项目/学习用 Mistral 7B + Ollama,五分钟跑起来;生产用 Mistral Small/Medium + Le Plateforme API。
• Mistral 7B 在推理速度和质量平衡上是同尺寸标杆之一,值得作为本地 LLM 默认选项。
• 欧洲业务、多语言应用优先 Mistral,北美业务用 Llama/GPT,中文业务用 Qwen/ChatGLM。
• 用 vLLM 部署 Mistral Mixtral 8x7B,吞吐量惊人,适合高并发生产环境。
• 微调时 Mistral 对 LoRA 很友好,小数据集也能出效果。
• Codestral 是 Mistral 的代码专精模型,适合做代码补全和审查。

常见问题 FAQ

Q1: Mistral AI 是免费的吗？

A: Mistral 提供免费套餐（Le Chat Free），每天约 25 条消息，可访问 Medium 和 Small 模型。Pro 版 $14.99/月，解锁全部模型（含 Large）、更多消息额度（约 150 条/天）、No Telemetry 隐私模式。学生认证可享 $5.99/月。API 按 token 计费，Mistral Large 约 $2/百万 tokens 输入、$6/百万 tokens 输出。

Q2: Mistral 的开源模型可以商用吗？

A: Mistral 7B、Mixtral 8x7B 等开放权重模型使用 Apache 2.0 许可，研究和个人使用免费。商业部署需遵守 Mistral 的商用许可条款。较新的模型（如 Mistral Large 2）部分为商业许可，并非所有权重都开源。使用前请核对具体模型的许可协议。

Q3: Mistral 的中文能力怎么样？

A: Mistral 在欧洲语言（法语、英语、德语等）上表现优秀，中文能力不如国产模型（Qwen、ChatGLM）和 GPT-4。中文场景建议优先使用国产模型，或配合翻译使用 Mistral 的英文能力。

Q4: Mistral 支持本地部署吗？

A: 支持。Mistral 7B 等模型可通过 Ollama、vLLM、Transformers 等工具本地部署。7B 模型需约 14GB 显存（bf16），量化版约 6GB。Mixtral 8x7B 量化后约需 24GB 显存。也可通过 Mistral 官方 API（La Plateforme）免部署调用。

Q5: Mistral 和 Llama、GPT 怎么选？

A: 欧洲业务/多语言应用推荐 Mistral；北美业务推荐 Llama 或 GPT；中文业务推荐 Qwen/ChatGLM；代码场景可用 Mistral 的 Codestral。小尺寸模型中 Mistral 7B 在同参数量下表现一线，推理成本低。