ChatGLM

ChatGLM 完整使用指南

清华大学 KEG 实验室与智谱 AI 联合打造的 GLM 系列开源大模型,从中英双语对话到多模态、视觉推理,覆盖完整的开源模型矩阵。

评分: 8.8/10 价格: 开源权重免费 + 商用需授权/云端 API 付费 厂商: 智谱 AI(Zhipu AI) + 清华 THUDM 官网: zhipuai.cn

目录

1. 什么是ChatGLM
2. 核心功能
3. 如何使用
4. 价格方案
5. 竞品对比
6. 优缺点
7. 常见问题
8. 总结建议
9. 快速开始

快速开始

⏱ 预计耗时:5 分钟 · 难度:小白友好

测试编辑:Mnet 测试日期:2026-06-15 测试环境:Windows 11 / macOS 15 / Chrome 138

第 1 步:准备工作

• 操作系统:Windows 10+/macOS 12+/Ubuntu 20.04+
• Python 3.9+ 与 pip
• GPU 显存 ≥ 6GB(Int4 量化版 9B)/19GB(BF16 9B),推荐 RTX 3090/4090 24GB
• 安装 Git LFS:https://git-lfs.com
• 配置 Hugging Face 镜像(国内网络加速):

export HF_ENDPOINT=https://hf-mirror.com   # Windows PowerShell: $env:HF_ENDPOINT="https://hf-mirror.com"

第 2 步:跟着做

1. 克隆清华 KEG 实验室的 GLM-4 仓库(代码:THUDM/GLM-4):

git clone https://github.com/THUDM/GLM-4.git
cd GLM-4
pip install -r requirements.txt

2. 下载 GLM-4-9B-Chat 模型权重(约 18GB,BF16;显存不够可改 Int4 量化版):

git lfs install
git clone https://huggingface.co/THUDM/glm-4-9b-chat

显存紧张(<16GB)可改用 Int4 量化版:https://hf-mirror.com/THUDM/glm-4-9b-chat-int4(约 6GB 显存可跑)

3. 用 Python 一键对话(把下面代码保存为 demo.py 并运行):

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("THUDM/glm-4-9b-chat", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    "THUDM/glm-4-9b-chat",
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
).eval()

response, history = model.chat(tokenizer, "你好,请用一句话介绍 ChatGLM", history=[])
print(response)

python demo.py

首次运行会下载权重并加载,等待 1-3 分钟后看到中文回复即成功。

4. 想要 Web 聊天界面,启动官方 Streamlit demo:

streamlit run composite_demo/src/main.py
# 浏览器打开 http://localhost:8501

第 3 步:验证

• 成功标志:终端打印出与提问相关的中文回答(例如「ChatGLM 是清华大学……」),Web 页面输入问题 1-3 秒内流式输出
• 国内若 huggingface.co 拉取失败,把 URL 前缀换成 https://hf-mirror.com/
• 下一步建议:① 想跑 API 服务给 Dify/LangChain 接入,执行 python basic_demo/openai_api_server.py,兼容 OpenAI 格式;② 想免本地部署,直接用 bigmodel.cn 云端 API,新用户有免费额度;③ 商用前查阅智谱 AI 官方 LICENSE(MODEL_LICENSE),按规则申请授权

什么是ChatGLM

ChatGLM 是由清华大学知识工程实验室(KEG)与智谱 AI 联合开发并开源的 GLM(General Language Model)系列大模型,GitHub 组织为 THUDM(Tsinghua University Data Mining and Knowledge Management Lab)。项目起源于 GLM 预训练架构,2023 年 3 月开源 ChatGLM-6B 后引发广泛关注,此后陆续推出 ChatGLM2-6B、ChatGLM3-6B、GLM-4-9B(含 Chat/Chat-1M/9B-Chat 多种变体)、GLM-4V-9B 多模态、GLM-4.5/4.5-Air、GLM-4.5V 视觉推理等版本,以及 2024 年发布的轻量级 C++ 推理项目 chatglm.cpp。模型覆盖 6B、9B、12B(激活参数)、106B(总参数)等不同规模,在 Hugging Face 累计下载量与 GitHub star 数量长期位居国产开源大模型前列。

ChatGLM 的目标用户包括:学术研究者(尤其是中文信息处理领域)、需要在本地或私有化环境部署大模型的企业开发者、做 AI Agent 与工具调用集成的应用层团队,以及对多模态、视觉推理、桌面助手等前沿能力有需求的开发者。智谱 AI 同步提供「智谱清言」C 端应用、GLM 系列 API(BigModel 开放平台)以及企业级私有化方案,形成「开源 + 闭源 + API + 应用」的四层产品矩阵。GLM 系列在国内最早支持 Function Call、All Tools、Agent 长流程等特性,生态覆盖 LangChain、LlamaIndex、Dify 等主流框架,适合作为中文场景下的通用基座。

核心功能

1. 多规模基座模型 — 提供 6B/9B/9B-Chat/9B-Chat-1M/9B-V 多模态等多种规格,支持 BF16/Int4/Int8 多种精度量化,适配不同显存。
2. 超长上下文(GLM-4-9B-Chat-1M) — 支持 1M tokens 上下文,约 200 万中文字符,可一次性处理 2 本《红楼梦》或约 125 篇论文。
3. Function Call 与 All Tools — 在 Berkeley Function-Calling Leaderboard 上表现稳定,支持网页浏览、代码执行、自定义工具调用,适配 Agent 工作流。
4. 多模态能力(GLM-4V-9B) — 支持 1120×1120 高分辨率下的中英双语多轮对话,覆盖场景理解、OCR、图表理解、视觉推理等任务。
5. 视觉推理旗舰(GLM-4.5V) — 106B 总参数/12B 激活参数,在 42 个多模态榜单中拿下 41 项 SOTA(以官方公开数据为准),开源配套桌面助手。

如何使用

注册和入门

如使用 GLM 的云端 API,需访问 bigmodel.cn 或智谱 AI 官网注册账号,完成实名认证后申请 API Key,新用户通常有免费试用额度。本地部署只需准备 Python 3.9+、PyTorch 2.0+、Git LFS 等基础环境,从 Hugging Face 下载对应模型权重即可。推荐硬件:GLM-4-9B-Chat BF16 约需 19GB 显存,Int4 约 6GB;9B-Chat-1M 因上下文长度大,建议 24GB 以上;多模态 GLM-4V-9B 需约 28GB BF16 显存。

基础操作流程

1. 克隆代码仓库:

git clone https://github.com/THUDM/GLM-4.git
cd GLM-4
pip install -r requirements.txt

2. 下载模型权重(以 GLM-4-9B-Chat 为例):

git lfs install
git clone https://huggingface.co/THUDM/glm-4-9b-chat

3. Python API 调用示例:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("THUDM/glm-4-9b-chat", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("THUDM/glm-4-9b-chat", torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True)
model = model.eval()

response, history = model.chat(tokenizer, "你好,介绍下你自己", history=[])
print(response)

4. 启动 OpenAI 兼容 API 服务(便于在 Dify/LangChain 中接入):

python basic_demo/openai_api_server.py

5. 启动 Web 演示(Streamlit):

streamlit run composite_demo/src/main.py

高级技巧

• C++ 轻量推理:社区项目 chatglm.cpp 支持 int4/int8 量化的 CPU 推理,适配 x86/ARM/Apple Silicon,适合无 GPU 环境部署。
• 多模态本地部署:使用 GLM-4V-9B 时,需额外下载视觉塔权重;在 24GB 显存的 RTX 4090 上可流畅运行,但显存不足时建议改用 Int4 量化。
• Agent 工作流:通过 composite_demo 启动带网页浏览、代码执行、工具调用的复合 Agent,需要配置 Bing 搜索 API Key(可选)。
• Docker 容器化:项目支持一键 Docker 构建,适合在 Kubernetes 等生产环境中标准化部署。
• LangChain 集成:使用 langchain_openai.ChatOpenAI 接入智谱 BigModel API,设置 openai_api_base 为 https://open.bigmodel.cn/api/paas/v4/ 即可。

价格方案

竞品对比

优缺点

优点:

• 中英双语能力均衡,中文榜单长期稳居国产开源模型前列
• 工具调用/Agent 能力国内最早商业化落地,Function Call 在 Berkeley 榜单上表现稳定
• 1M 超长上下文版本在长文档/代码仓库分析场景实用价值高
• 多模态/视觉推理产品线更新快,GLM-4.5V 等旗舰模型在多模态榜单上拿到大量 SOTA
• 文档与示例代码相对完善,LangChain/LlamaIndex/Dify 等框架集成顺畅

缺点:

• 商用授权需走智谱 AI 官方流程,部分版本对月活用户/收入门槛有约束,中小团队需仔细阅读 LICENSE
• 9B 模型对显存要求略高于 Qwen2.5 同尺寸(尤其 1M 版本),需要 24GB+ 显卡
• 闭源旗舰版本(GLM-4.5/4.5V)与开源版本在能力上有差距,需要付费 API 才能用上最新能力
• GLM 早期版本(ChatGLM-6B)的「双语退步」问题在社区曾引发讨论,新版本已改善但仍需关注
• 训练数据与训练细节的完全公开度,弱于 Qwen、DeepSeek 等技术报告透明的项目

常见问题

Q1: ChatGLM 与 GLM 是什么关系? A1: 严格意义上,ChatGLM 是 GLM 架构下的对话模型系列(以 Chat 后缀为主),GLM 是更广义的预训练语言模型家族。GLM-4-9B、GLM-4V-9B、GLM-4.5V 等是 GLM 系列下的不同规格与模态,ChatGLM 则是面向对话的版本。目前社区习惯将两者视为同一系列。

Q2: GLM-4-9B 1M 上下文模型对硬件有什么要求? A2: 官方公开数据显示,GLM-4-9B-Chat-1M 在 BF16 精度下约需 7.4GB 显存用于处理 200K tokens 输入;在 24GB 显存的 RTX 4090 上可运行,推荐使用 1M 上下文的硬件环境为 A100 40GB/80GB 或同等配置。Int4 量化版本可显著降低显存占用。

Q3: ChatGLM 商用有什么限制? A3: 模型权重对学术研究完全开放,商用需向智谱 AI 申请书面授权,具体条款以官方协议为准;部分较新版本(如 GLM-4.5 系列)对月活用户数或营收设有门槛,小团队/个人项目通常免费,大流量商业产品需联系商务。建议商用前直接咨询智谱 AI 获取最新条款。

Q4: GLM-4V 与 GLM-4.5V 有什么区别? A4: GLM-4V-9B 是 9B 参数规模的多模态模型,支持图像+文本输入;GLM-4.5V 是基于 GLM-4.5-Air 架构的旗舰视觉推理模型,总参数 106B、激活参数 12B,支持图像/文本/视频输入,主打复杂视觉推理与 Grounding 定位能力,适合 GUI 自动化、长视频分析等高阶任务。

Q5: 部署 GLM-4 时推荐哪种推理框架? A5: 个人研究推荐 Transformers + bitsandbytes(Int4 量化)即可;生产环境推荐 vLLM、TGI(Text Generation Inference)或 SGLang,可获得显著吞吐提升;边缘/无 GPU 环境推荐 chatglm.cpp 或 llama.cpp 等 C++ 实现。

总结建议

ChatGLM/GLM 系列是国内「学术 + 商业」结合最紧密的开源大模型项目之一,适合以下几类用户:1)中文 NLP 研究者与高校学生,作为中文基座模型的首选候选之一;2)需要本地/私有化部署的中大型企业,尤其是金融、政企、医疗等合规要求高的行业;3)做 Agent 工具调用、AI 助手、AI 搜索等应用层产品的团队,GLM 的 Function Call 与 All Tools 生态在国内最为成熟;4)对超长上下文(1M)、多模态(视觉问答)、GUI 自动化(桌面助手)有专门需求的开发者。建议从 9B-Chat 开始体验,生产部署根据并发量选择 Int4 量化 + vLLM,或直接调用 BigModel API。如以英文为主,可同步评估 Qwen2.5、Llama 3;如侧重代码/数学,DeepSeek-V3 与 Qwen-Coder 是不错的对比对象。商用前务必查阅智谱 AI 官方最新版 LICENSE 与商用授权说明。