Llama

Llama 快速入门

开源大模型的全球标杆,本地能跑、微调自由、生态最丰富,做 LLM 项目绕不开它。

这是什么?适合谁?

Llama 是 Meta(Facebook 母公司)推出的开源大语言模型系列,从 2023 年的 Llama 1 到 2024 年的 Llama 3 系列,再到 2025 年的 Llama 4,在全球开源大模型里长期处于第一梯队,是整个开源 LLM 生态的事实标准。

它适合这几类用户:第一,做严肃 AI 应用的工程师和研究人员,想要一个性能强、文档全、社区活跃的开源底座;第二,做本地部署、私有云的团队,数据不能上云,Llama 是首选;第三,做开源项目、二次开发、教学演示的开发者,Llama 的衍生模型(Llama 2、Llama 3、Code Llama、Llama Guard 等)覆盖了几乎所有场景;第四,做学术研究,几乎所有 LLM 论文都拿 Llama 做基线对比。

Llama 的核心优势:一,模型权重完全开源,可商用(遵守 Llama 社区许可);二,版本从 8B 到 405B,小模型能跑在笔记本,大模型能跑在服务器集群;三,生态完善,几乎所有 LLM 工具(LangChain、LlamaIndex、vLLM、Ollama 等)第一时间支持;四,Meta 持续投入,模型质量稳步提升。

注意:需要申请 Meta 许可才能下载 Llama 权重(填个表单就行),国内下载可能需要走镜像站。

准备工作

• 硬件需求差异大:8B 模型消费级显卡可跑(8GB+ 显存),70B 需要 A100 多卡,405B 需要服务器集群
• Linux / macOS / Windows(WSL2)均可
• Python 3.8+,PyTorch 2.0+
• CUDA 11.8+(NVIDIA)或 ROCm(AMD)或 Apple Silicon MPS
• 磁盘空间根据模型大小,8B 约 16GB,70B 约 140GB
• 基础的命令行和 Python 能力

3 步快速上手

第 1 步:申请并下载模型

去 https://llama.meta.com 申请访问,填个简短表格,Meta 会发邮件给你下载链接。

或者用 Hugging Face 页面直接下载(也需要同意 Meta 许可):

# 安装 CLI
pip install huggingface_hub
huggingface-cli login

# 下载 Llama 3.1 8B Instruct
huggingface-cli download meta-llama/Llama-3.1-8B-Instruct \
  --local-dir Llama-3.1-8B-Instruct

国内用户推荐用 hf-mirror.com 镜像。

第 2 步:安装推理工具

推荐 Ollama(超简单,一行命令跑起来):

# 安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh

# 拉取并运行 Llama 3.1
ollama run llama3.1

如果用 Python + Transformers:

pip install torch transformers accelerate

如果用 vLLM(生产推荐):

pip install vllm

第 3 步:跑通对话

用 Transformers 推理,新建 chat_llama.py:

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "Llama-3.1-8B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

messages = [{"role": "user", "content": "用一句话介绍 Llama 大模型。"}]
input_ids = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt"
).to("cuda")

outputs = model.generate(input_ids, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

用 Ollama 的话,在终端直接和模型聊天,或者调 API:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "你好"}]
}'

常见踩坑

1. 没有申请许可就下载:Llama 权重需要先在 Meta 网站同意许可,否则 Hugging Face 上会返回 403。
2. 显存不够:Llama 3 8B bf16 需要 ~16GB 显存,4-bit 量化版 ~6GB,70B 模型要 140GB+ 显存或量化到 8-bit。
3. 对话模板不匹配:Llama 3 用 <|begin_of_text|>、<|start_header_id|> 等特殊 token,直接传字符串会效果差,必须用 apply_chat_template。
4. 中文能力偏弱:Llama 在英文上一流,但中文不如 Qwen、ChatGLM,纯中文场景建议选国产模型。
5. 网络下载失败:Hugging Face 国内访问慢,用 hf-mirror.com 或 ModelScope 镜像。
6. 商用许可条款:Llama 社区许可对月活 7 亿以上的产品有特殊要求,大公司上线前咨询法务。

初级用法

• Ollama 本地聊天:终端跑 ollama run llama3.1,直接对话。
• Web UI:装个 Open WebUI(原 Ollama WebUI),浏览器聊天。
• API 部署:vLLM 或 LMDeploy 启动 OpenAI 兼容 API。

高级玩法

• LoRA / QLoRA 微调:用 transformers + peft + bitsandbytes 微调,消费级显卡也能训练大模型。
• RAG:配合 LangChain、LlamaIndex 做企业知识问答。
• Function Calling:Llama 3.1+ 支持 tool use,做 Agent 应用。
• 量化:GPTQ、AWQ、bitsandbytes 4-bit 等方案,把模型压到消费级显卡能跑。
• Code Llama / Llama Guard:同系列还有专门代码模型和安全审核模型,按需选用。

小技巧

• 个人学习用 Llama 3.1 8B 性价比最高,消费级显卡就能跑;生产环境推荐 70B 或量化版。
• 国内用户优先用 Ollama + 国内镜像,部署最简单;或用 vLLM 启动 API,吞吐量高。
• Llama 3.1 支持 128K 上下文,适合长文档任务。
• 微调时数据量小用 LoRA,大点用 QLoRA,显存吃紧就上 4-bit 量化。
• 衍生项目(Code Llama、Llama 3、Llama Guard)直接复用原版生态,工具链完全兼容。
• 多卡推理用 device_map="auto" 或 accelerate launch,自动并行;大模型需要张量并行。

常见问题 FAQ

Q1: Llama 免费吗？

A: Meta 以开源社区许可发布 Llama 模型,可免费下载、使用、修改和商用。但月活超 7 亿用户需向 Meta 申请额外许可。通过 API 调用(如 OpenRouter、DeepInfra)通常按 token 收费,小模型(8B)约 $0.02-0.05/百万 token。

Q2: Llama 模型怎么用？

A: 三种方式:1) 本地部署——用 Ollama、vLLM 等工具在自己的电脑/服务器上运行;2) 云 API——通过 OpenRouter、Together AI、DeepInfra 等平台调用;3) 在线体验——Hugging Face 上有多家提供的免费 Demo。

Q3: Llama 和 ChatGPT/Claude 比怎么样？

A: Llama 是开源模型,可本地部署,数据隐私好、无订阅费;ChatGPT/Claude 是闭源商业产品,综合能力更强、开箱即用。Llama 4 系列(Maverick/Scout)能力接近商业模型,适合有技术能力的用户自部署。

Q4: Llama 有桌面或手机客户端吗？

A: Meta 官方不提供消费者客户端。但可通过 Ollama(桌面端)或第三方 App 在本地使用。也可通过 LM Studio、GPT4All 等工具一键安装使用。

Q5: Llama 支持中文吗？

A: Llama 3/4 系列支持多语言包括中文,但中文能力不如专门的国产模型(如 Qwen、DeepSeek)。中文场景建议优先考虑国产开源模型。