GLM-4.5：推理、代码与智能体能力
1. GLM-4.5：推理、代码与智能体能力
我们最新的前沿模型系列，在推理、代码和智能体任务上表现卓越。
1.1. 快速链接
1.2. 简介
今天，我们介绍 GLM 家族的两位新成员：GLM-4.5 和 GLM-4.5-Air——我们最新的旗舰模型。GLM-4.5 拥有 3550 亿总参数和 320 亿激活参数，而 GLM-4.5-Air 拥有 1060 亿总参数和 120 亿激活参数。两者都旨在将推理、代码和智能体能力统一到单个模型中，以满足快速发展的智能体应用中日益复杂的需求。
GLM-4.5 和 GLM-4.5-Air 都是混合推理模型，提供用于复杂推理和工具使用的思考模式，以及用于即时响应的非思考模式。您可以在 Z.ai、Z.ai API 上使用它们，开放权重模型已在 HuggingFace 和 ModelScope 上提供。
1.2.1. 背景
大语言模型（LLM）的目标始终是实现跨广泛领域的人类级别认知能力，而非为特定任务而设计。一个好的 LLM 模型，必须能够处理通用问题求解、泛化、常识推理和自我提升。
在过去五年中，OpenAI 的 GPT-3 学习了常识知识，而 o1 使用强化学习在响应前进行思考，显著提升了在代码、数据分析和复杂数学方面的推理能力。然而，最终得到的模型仍非真正通用：有些模型擅长编程，有些擅长数学，有些擅长推理，但没有一个能在所有不同任务上都达到最佳性能。GLM-4.5 正朝着统一所有这些不同能力的目标努力。
1.3. 整体性能
我们在 12 个基准测试上，将 GLM-4.5 与来自 OpenAI、Anthropic、Google DeepMind、xAI、阿里巴巴、Moonshot 和 DeepSeek 的多个模型进行了比较，这些基准覆盖了智能体（3 个）、推理（7 个）和代码（2 个）三大领域。总体而言，GLM-4.5 排名第三，GLM-4.5-Air 排名第六。
1.3.1. 智能体任务
GLM-4.5 是为智能体任务优化的基础模型。它提供 128k 的上下文长度和原生的函数调用能力。我们在𝜏-bench 和 BFCL-v3（伯克利函数调用排行榜 v3）上衡量了它的智能体能力。在这两个基准上，GLM-4.5 的性能与 Claude 4 Sonnet 相当。
网页浏览是一种流行的智能体应用，需要复杂的推理和多轮工具使用。我们在 BrowseComp 基准上评估了 GLM-4.5，这是一个具有挑战性的网页浏览基准，包含需要简短答案的复杂问题。通过使用网页浏览工具，GLM-4.5 正确回答了 26.4% 的问题，明显优于 Claude-4-Opus（18.8%），并接近 o4-mini-high（28.3%）。下图显示了 GLM-4.5 在 BrowseComp 上的测试时扩展准确率。
下表列出了不同对比模型在用于评估模型智能体能力的三个基准上的详细结果。
| 基准测试 | GLM-4.5 | GLM-4.5-Air | o3 | o4-mini-high | GPT-4.1 | Claude 4 Opus | Claude 4 Sonnet | Gemini 2.5 Pro | Qwen3 235B Thinking 2507 | DeepSeek-R1-0528 | DeepSeek V3 0324 | Kimi K2 | Grok 4 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| TAU-bench | 70.1 | 69.4 | 61.2 | 57.4 | 62.0 | 70.5 | 70.3 | 62.5 | 73.2 | 58.7 | 57.6 | 62.6 | 67.5 |
| BFCL v3 (Full) | 77.8 | 76.4 | 72.4 | 67.2 | 68.9 | 61.8 | 75.2 | 61.2 | 72.4 | 63.8 | 64.7 | 71.1 | 66.2 |
| BrowseComp | 26.4 | 21.3 | 49.7 | 28.3 | 4.1 | 18.8 | 14.7 | 7.6 | 4.6 | 3.2 | 1.5 | 7.9 | 32.6 |
1.3.2. 推理能力
在思考模式下，GLM-4.5 和 GLM-4.5-Air 可以解决包括数学、科学和逻辑问题在内的复杂推理问题。
| 基准测试 | GLM-4.5 | GLM-4.5-Air | o3 | Claude 4 Opus | Gemini 2.5 Pro | DeepSeek-R1-0528 | Qwen3-235B-Thinking 2507 | Grok 4 |
|---|---|---|---|---|---|---|---|---|
| MMLU Pro | 84.6 | 81.4 | 85.3 | 87.3 | 86.2 | 84.9 | 84.5 | 86.6 |
| AIME24 | 91.0 | 89.4 | 90.3 | 75.7 | 88.7 | 89.3 | 94.1 | 94.3 |
| MATH 500 | 98.2 | 98.1 | 99.2 | 98.2 | 96.7 | 98.3 | 98.0 | 99.0 |
| SciCode | 41.7 | 37.3 | 41.0 | 39.8 | 42.8 | 40.3 | 42.9 | 45.7 |
| GPQA | 79.1 | 75.0 | 82.7 | 79.6 | 84.4 | 81.3 | 81.1 | 87.7 |
| HLE | 14.4 | 10.6 | 20.0 | 11.7 | 21.1 | 14.9 | 15.8 | 23.9 |
| LiveCodeBench (2407-2501) | 72.9 | 70.7 | 78.4 | 63.6 | 80.1 | 77.0 | 78.2 | 81.9 |
| AA-Index (Estimated) | 67.7 | 64.8 | 70.0 | 64.4 | 70.5 | 68.3 | 69.4 | 73.2 |
对于 AIME 和 GPQA 基准，我们分别报告了 32 个和 8 个样本的平均准确率（Avg@32, Avg@8），以减少结果的方差。我们使用了一个 LLM 进行答案的自动验证。对于 HLE 基准，我们只评估了基于文本的问题，其正确性由 gpt-4o 判断。
1.3.3. 代码能力
GLM-4.5 在编程方面表现出色，包括从零开始构建代码项目和在现有项目中以智能体方式解决编程任务。它可以与现有的编程工具包如 Claude Code、Roo Code 和 CodeGeex 无缝结合。为了评估其编程能力，我们在 SWE-bench Verified 和 Terminal Bench 上比较了不同模型。下表展示了结果。
| 基准测试 | GLM-4.5 | GLM-4.5-Air | o3 | GPT-4.1 | Claude 4 Opus | Claude 4 Sonnet | Gemini 2.5 Pro | DeepSeek-R1-0528 | Kimi K2 |
|---|---|---|---|---|---|---|---|---|---|
| SWE-bench Verified¹ | 64.2 | 57.6 | 69.1 | 48.6 | 67.8 | 70.4 | 49.0 | 41.4 | 65.4 |
| Terminal-Bench² | 37.5 | 30 | 30.2 | 30.3 | 43.2 | 35.5 | 25.3 | 17.5 | 25.0 |
¹ 对于 SWE-bench Verified，我们使用 OpenHands v0.34.0，运行限制在 100 次迭代，并进行历史截断以防超出 128K 上下文限制，配置为 temperature=0.6, top_p=1.0。
² 对于 Terminal-Bench，我们使用 Terminus 框架进行评估。我们使用标准的函数调用而非直接提示进行评估。
我们对所有对比模型进行了帕累托前沿（Pareto Frontier）分析（如下图所示）。GLM-4.5 和 GLM-4.5-Air 在与同等规模模型的比较中表现出卓越的性能，在性能 - 规模的权衡边界上实现了最优效率。
GLM-4.5 展示了全面的全栈开发能力，能够无缝创建包含前端实现、数据库管理和后端部署的 Web 应用程序。由 GLM-4.5 生成的前端界面功能更强，美观度更高，显示出与人类设计偏好的高度一致性。此外，GLM-4.5 在生成包括幻灯片和海报在内的演示材料方面表现更优，当与用于信息检索和上下文增强的智能体工具集成时，其能力得到显著增强。
为了评估 GLM-4.5 的智能体编程能力，我们使用 Claude Code，在 52 个横跨前端开发、工具开发、数据分析、测试和算法实现的编程任务中，与 Claude-4-Sonnet、Kimi K2 和 Qwen3-Coder 进行了性能比较。所有评估均在隔离的测试环境中通过多轮人机交互进行，并采用标准化的评估标准以确保一致性和可复现性。实验结果表明，GLM-4.5 对 Kimi K2 的胜率为 53.9%，对 Qwen3-Coder 则以 80.8% 的成功率展现出主导性能。虽然 GLM-4.5 表现出有竞争力的性能，但与 Claude-4-Sonnet 相比仍有进一步优化的空间。
值得注意的是，GLM-4.5 在工具调用成功率上达到了 90.6% 的最高平均值，超过了 Claude-4-Sonnet（89.5%）、Kimi-K2（86.2%）和 Qwen3-Coder（77.1%），在智能体编程任务中展现了卓越的可靠性和效率。所有 52 个编程任务的完整轨迹已在此处 公开，供社区进一步研究。
1.4. 功能演示
1.4.1. 代码生成物 (Artifacts)
GLM-4.5 增强了 GLM-4 四月版本中引入的复杂代码生成能力。该模型现在可以创建复杂的独立代码生成物——从交互式小游戏到物理模拟——支持 HTML、SVG、Python 等多种格式。这些改进提供了卓越的用户体验，同时为先进的智能体编程应用奠定了基础。
- 示例：Flappy Bird 游戏
- 示例：3D 第一人称迷宫
- 示例：支持拖拽和搜索的待办事项列表
- 示例：SVG 动画：语言模型的演进
- 示例：嵌套旋转六边形的 Python 模拟
- 示例：关于麦克斯韦方程组的 Beamer 幻灯片
1.4.2. 幻灯片创作
利用 GLM-4.5 强大的智能体工具使用和 HTML 编码能力，我们开发了一款模型原生的 PPT/海报智能体。用户可以要求简单或复杂的设计，或上传文档，智能体便能自主搜索网络或检索图片，然后创建幻灯片。
- 示例：塔代伊·波加查的成就
- 示例：PDF 转 PPT：ChatGLM 的论文
- 示例：蒙娜丽莎的内心独白
- 示例：生活大爆炸
- 示例：宠物领养
1.4.3. 全栈开发
GLM-4.5 在前端和后端开发方面都表现出色，使其在构建现代 Web 应用方面非常强大。为了更好地展示其能力，我们开发了一款受 Claude Code 启发的编程智能体。通过提供一个基础的全栈网站样板，该智能体使用户仅用几句话就能创建整个网站。用户可以通过多轮对话轻松添加功能和完善项目，使编程过程流畅而愉快。只需放松，让 GLM-4.5 在 Z.ai 上将您的想法变为现实。
- 示例：🌟 宝可梦图鉴 Live
- 示例：📚 中世纪诗歌生成器
- 示例：🧩 赛博朋克卡牌 AI 生成器
1.5. 开始使用 GLM-4.5
1.5.1. 在 Z.ai 上与 GLM-4.5 对话
通过 Z.ai 平台选择 GLM-4.5 模型即可访问。该平台全面支持代码生成物、演示幻灯片创建和全栈开发能力。
1.5.2. 通过 Z.ai API 调用 GLM-4.5
Z.ai API 平台 为 GLM-4.5 和 GLM-4.5-Air 模型提供与 OpenAI 兼容的接口。有关详细的 API 文档和集成指南，请参阅 https://docs.z.ai/guides/llm/glm-4.5。
1.5.3. 将 GLM-4.5 与编程智能体结合使用
有关将 GLM-4.5 与 Claude Code 及其他编程智能体框架集成的详细说明，请参阅 Z.ai API 的文档。
1.5.4. 在本地部署 GLM-4.5
GLM-4.5 和 GLM-4.5-Air 的基础版和对话版模型权重均已在 HuggingFace 和 ModelScope 上公开。对于本地部署，GLM-4.5 支持包括 vLLM 和 SGLang 在内的推理框架。详细的部署说明可在官方 GitHub 仓库 中找到。
1.6. 技术细节
1.6.1. 模型架构与预训练
在 GLM-4.5 系列中，我们采用了混合专家模型（MoE）架构，提高了训练和推理的计算效率。我们为 MoE 层采用了无损平衡路由（loss-free balance routing）和 sigmoid 门。与 DeepSeek-V3 和 Kimi K2 不同，我们减小了模型的宽度（隐藏层维度和路由的专家数量），同时增加了高度（层数），因为我们发现更深的模型具有更好的推理能力。在自注意力组件中，我们采用了带有部分 RoPE 的分组查询注意力（Grouped-Query Attention）。此外，我们使用了 2.5 倍多的注意力头（对于 5120 的隐藏层维度，使用 96 个头）。与直觉相反的是，虽然增加头数并未比头数较少的模型改善训练损失，但它持续提升了在 MMLU 和 BBH 等推理基准上的性能。对于 GLM-4.5，我们使用了 Muon 优化器，它能加速收敛并容忍更大的批量大小。我们还引入了 QK-Norm 来稳定注意力 logits 的范围。对于 GLM-4.5 和 GLM-4.5-Air，我们增加了一个多词预测（MTP）层，以支持推理过程中的推测解码。
我们的基础模型经历了多个训练阶段。在预训练期间，模型首先在 15T 词元的通用预训练语料库上训练，随后在 7T 词元的代码与推理语料库上训练。预训练后，我们引入了额外的阶段，以进一步增强模型在关键下游领域的性能。与早期在大型通用文档上的预训练阶段不同，这些阶段利用了中等规模的领域特定数据集，包括指令数据。
1.6.2. 使用 slime 进行大规模模型的强化学习
为了支持像 GLM-4.5 这样的大规模模型所需的高效强化学习（RL）训练，我们设计、开发并开源了 slime。这个 RL 基础设施专为卓越的灵活性、效率和可扩展性而设计，我们积极鼓励社区使用和贡献。
slime 的主要创新旨在克服常见的 RL 瓶颈，尤其是在复杂的智能体任务中。
- 灵活的混合训练架构： slime 的核心优势在于其多功能的混合架构。它既支持同步、同地训练（适用于推理和通用 RL 等传统应用），也支持解耦的异步训练模式。这种异步范式对于高级智能体 RL 至关重要，因为在这些场景中，数据生成可能是一个缓慢的外部过程。通过将训练与数据收集解耦，它确保我们的训练 GPU 保持完全饱和，从而最大化硬件利用率。
- 解耦的面向智能体的设计： 智能体 RL 在环境交互（rollout）过程中常因缓慢和长尾的延迟分布而严重制约训练吞吐量。为解决此问题，slime 实现了一个完全解耦的基础设施，将交互引擎与训练引擎分开。这些组件在不同的硬件上独立运行，将数据生成瓶颈转变为一个并行的、非阻塞的过程。此设计对于加速长程智能体任务至关重要。
- 使用混合精度加速数据生成： 为进一步提高吞吐量，slime 采用混合精度推理来加速交互过程。它策略性地使用高效的 FP8 格式进行数据生成，同时为模型训练循环保留 BF16 的稳定性。这种技术在不牺牲训练质量的情况下，显著提高了数据生成速度。
这种统一的设计使得 slime 能够无缝集成多个智能体框架，支持多样化的任务，并通过一个统一、强大的接口高效管理长程交互。
1.6.3. 使用强化学习进行智能体能力的后训练
后训练对于 LLM 通过自我生成的探索性经验来迭代增强其策略至关重要。强化学习（RL）已成为推动模型能力边界的关键步骤。对于 GLM-4.5，除了整合来自 GLM-4-0414 的通用能力和来自 GLM-Z1 的推理能力外，我们特别增强了其智能体能力，包括智能体编程、深度搜索和通用工具使用。
该过程始于在精选的推理数据和合成的智能体场景上进行监督微调，随后是一个专门的 RL 阶段，分别培养专家模型。
- 对于推理，我们在完整的 64K 上下文上进行单阶段 RL，并采用基于难度的课程学习，我们发现这优于渐进式调度。我们引入了改进的 RL 技术以确保稳定性：动态采样温度以平衡探索与利用，以及自适应裁剪以实现对 STEM 问题的稳健策略更新。
- 对于智能体任务，训练在两个可验证的任务上进行：基于信息寻求的问答和软件工程。我们开发了可扩展的策略，基于人机协同的提取和对网页内容的选择性混淆来合成基于搜索的问答对。编程任务则由对真实世界 SWE 任务的基于执行的反馈驱动。
尽管 RL 课程针对一组有限的可验证任务，但由此产生的增益可以迁移到相邻的能力，如通用工具使用。接下来，专家蒸馏将这些专业技能整合起来，使 GLM-4.5 在所有任务上都具备全面的实力。