Hy4 正式版开源:多模态 MoE,770B 激活 49B,首次新增视觉能力!
腾讯混元开源 Hy4 正式版多模态 MoE 模型,770B 总参数仅激活 49B,首次实现视觉理解与电脑操作能力,提供对话、基座及 FP8 量化三个版本。
⭐ 推荐理由
腾讯混元开源多模态 MoE 旗舰 Hy4:770B 总参仅激活 49B,首次加入视觉理解与电脑操作,含对话、基座、FP8 三版本。579 个金融任务众测超 DeepSeek、Kimi、GLM 对比型号,另开源 HyCell、HyPDE 科研模型。关注开源生态与多模态者值得一读。
昨天2474 字 (约 10 分钟)
摘要
腾讯混元团队正式开源 Hy4 系列多模态大模型,采用混合专家(MoE)架构,总参数 770B 仅激活 49B,显著提升推理效率。模型首次集成视觉理解与电脑操作能力,支持文本和图像输入。提供三个版本:Hy4(后训练对话模型)、Hy4-base(预训练基座)及 Hy4-FP8(FP8 量化推理模型)。在实际任务场景中表现突出,包括卫星图像定位、前端游戏开发、金融办公、科研等。金融众测中在 579 个真实任务上得分 3.04/4,科研任务在 123 项中获第一。提供 vLLM 和 SGLang 本地部署方案,支持 BF16 和 FP8 模型。
主要内容
- 1. Hy4 采用 770B 参数 MoE 架构,激活 49B 实现高效推理
混合专家模型通过稀疏激活机制,在保持强大能力的同时显著降低推理成本,提升实际应用可行性。 - 2. 首次实现视觉理解与电脑操作能力
模型能处理图像输入,支持 Blender、CAD 等专业软件操作,实现细粒度图像处理、复杂图表分析及跨应用长程任务。 - 3. 在真实任务场景中表现卓越
金融众测 579 个任务得分 3.04/4,科研评测 123 项中获第一,游戏开发任务提升 19.1%和 9.8%。 - 4. 提供完整的本地部署方案
支持 vLLM 和 SGLang 部署,提供 BF16 和 FP8 量化模型,官方推荐 8 张 H200/B200 或 4 张 B300/GB300 配置。

腾讯混元正式开源首个支持视觉理解与电脑操作的多模态大模型 Hy4,提供对话、基座及 FP8 量化三个版本,在金融办公、科研及开发等真实任务场景中表现卓越。
腾讯混元开源 Hy4 正式版 ,这是一个支持视觉理解与电脑操作的多模态大模型,面向开发、办公、深度研究等任务。
相比 Hy4 preview,Hy4 扩大了预训练和后训练规模, 首次引入了视觉能力 ,并大幅提升了指令遵循、长文理解、长程任务、深度研究等各项综合能力。

本次开源三个版本:
- Hy4 为后训练模型,用于对话与任务执行;
- Hy4-base 为预训练基座,面向后续微调与研究;
- Hy4-FP8 为 FP8 量化版本,用于低精度推理部署。
开源地址:
- 模型权重
https://modelscope.cn/models/Tencent-Hunyuan/Hy4 - 预训练基座
https://modelscope.cn/models/Tencent-Hunyuan/Hy4-base - FP8 量化模型
https://modelscope.cn/models/Tencent-Hunyuan/Hy4-FP8
01
面向真实任务的应用能力
在基础能力提升的同时,腾讯混元团队结合腾讯内部产品与业务的实际需求,持续优化 Hy4 在视觉与电脑操作、开发、金融办公、科研及个人助理等场景中的表现。
视觉与电脑任务
Hy4 新增视觉能力,可以结合感知、推理和工具调用,完成细粒度图像处理、复杂图表分析等任务。同时,Hy4 支持电脑操作,可以结合使用命令行与图形界面。团队针对 Blender、CAD 等专业软件,以及跨应用长程任务开展专项训练,优化模型在专业任务中的规划与执行能力。
比如,在卫星图定位任务中,用户要求找到屋顶写有“KLOOSTERBOER”的仓库,并定位其右上方光伏板区域中最东侧的白色方形构件。任务需要结合文字识别、空间关系理解和细粒度目标定位。
前端与游戏开发
视觉理解能力的引入,也推动了 Hy4 在前端与游戏开发场景中的能力提升。针对前端开发,团队重点优化复杂交互、业务逻辑、状态管理和前后端联动,使生成的界面兼顾视觉呈现与功能可用性。
在游戏开发场景中,腾讯混元团队与腾讯 IEG 专业游戏开发者合作,持续优化训练数据与评测质量,重点提升功能实现、玩法逻辑、状态理解和资产处理能力,适配 UE、Unity、Godot 等主流引擎,并开始扩展至多人联机游戏开发。
相比 Hy4 preview,Hy4 在 GameDev 和 GameLogic 评测中分别提升 19.1% 和 9.8%。
比如,“腾讯企鹅岛”任务要求使用 Three.js 构建可离线打开的单文件 HTML,将建筑、道路、海岸、植被、人车放在一个可旋转、可地面漫游的三维场景中。场景需要呈现腾云中心、云海大厦、企鹅公寓、腾讯螺旋和科技馆五组建筑,尤其要求腾讯螺旋的建筑立面自身连续回旋,而不是用外挂圆环替代。
交互功能包括轨道观察、第一与第三人称漫游、天气昼夜、小地图、建筑详情、楼层剖切、电影导览,以及截图和录制。
金融与办公场景
团队基于真实金融场景构建了数千个工作空间和上万个高质量任务,覆盖基金研究、证券分析、量化策略、资产配置、公司金融、财税会计等方向,让模型学习专业流程与规范。
腾讯混元联合腾讯金融科技 FiT 开展了 213 位专家参与的金融众测,其中 153 位来自外部头部金融机构,约七成拥有五年以上工作经验。
在 579 个真实金融任务上,Hy4 综合得分为 3.04/4,高于参与对比的 DeepSeek-V4.1-Flash-1017(2.97/4)、Kimi K3.1 Pro(2.68/4)和 GLM-5.3(2.68/4)。
在金融智能体公司讯兔科技的内部评测 IRAB 中,Hy4 较 Hy4 preview 提升 12.03 个百分点。
为提升金融及其他办公任务的实用性,团队还针对时效检索、多源信息整合和事实一致性校验开展搜索优化。在自建测试中,Hy4 的幻觉率从 Hy4 preview 的 15.76% 降至 5.45%,猜测导致的错误率从 23.1% 降至 5.6%。
Hy4 同时强化了办公场景中的人机双写能力,支持用户与模型实时协作编辑 Word、Excel、PPT 等文件。盲评显示,相比 Hy4 preview,Hy4 在文档美观度、稳定性和可用性上均有提升。
比如,在金融估值建模任务中,用户要求使用 global-equity-research 和 neodata 制作特斯拉建模报告,交付 Excel 模型与对应的 PDF 报告,并交代估值逻辑和数字来源,结合多家机构的研究进行分析。
科研与模型研发
Hy4 将复杂推理、科学编程与长程任务执行相结合,提升端到端推进科研工作的能力。在涵盖 7 大学科、123 项可执行研究任务的 TenureTrail 内部评测中,团队公布的结果显示,Hy4 在参评开源模型中排名第一,任务覆盖数学构造、物理建模、地球环境、系统工程和社会经济决策等领域。
团队也在为递归自我改进(RSI)做准备,提升 Hy4 在模型研发任务中的能力。结合 Hyra 2.0 脚手架,Hy4 优化了内部同架构小模型的预训练基础设施,并自动完成 Jev 模型训练。得到的 Hyra-Jev 在 8 项基准评测中有 6 项优于官方 Jev。

此外,团队开源了由 Hy4 协同 Hyra 2.0 研发的单细胞表征基础模型 HyCell 和物理场基础模型 HyPDE,将模型辅助科研的成果提供给社区复用。
长期个人助理
Hy4 持续提升上下文学习能力,以理解来自不同来源的复杂信息。借助 WorkBuddy 的企业微信套件,Hy4 可以连通聊天记录、邮件、文档、日程与会议等日常工作信息。
当多个项目并行推进时,Hy4 可以梳理各项目的推进历史与最新进展,识别待跟进任务、需要准备的会议和临近截止的事项,提醒用户并协助安排优先级。团队还介绍,由 Hy4 支撑的团队协作功能将随新版“项目”在 WorkBuddy 上线。
比如,“Daily Focus”任务要求综合聊天记录、邮件、日历、会议和文档,生成可离线打开的单文件交互式 HTML 每日事项看板。看板不是逐条复述消息,而是跨来源去重、整合值得关注的事项,按重要性和紧急性排序,并用通俗语言说明每件事发生了什么、当前进展以及下一步需要做什么。
02
本地部署与推理
Hy4 当前支持 vLLM 和 SGLang 部署,提供 BF16、FP8 指令模型及 base 预训练模型。官方部署方案主要使用 FP8 权重,支持 8 张 H200/B200 或 4 张 B300/GB300;以下采用 8 卡配置。
下载模型
安装 ModelScope,并根据用途选择权重:
pip install modelscope
# BF16 指令模型
modelscope download Tencent-Hunyuan/Hy4 \
--local-dir Tencent-Hunyuan/Hy4
# FP8 指令模型
modelscope download Tencent-Hunyuan/Hy4-FP8 \
--local-dir Tencent-Hunyuan/Hy4-FP8
# 预训练基础模型
modelscope download Tencent-Hunyuan/Hy4-base \
--local-dir Tencent-Hunyuan/Hy4-base
以下服务示例使用 FP8 指令模型:
export MODEL_DIR=“$PWD/Tencent-Hunyuan/Hy4-FP8”
vLLM 服务部署
拉取 Hy4 专用镜像:
docker pull vllm/vllm-openai:hy4
挂载本地 FP8 权重并启动服务:
docker run --gpus all \
--privileged --ipc=host \
-p 127.0.0.1:8000:8000 \
--mount “type=bind,src=$MODEL_DIR,dst=/model,readonly” \
-e VLLM_USE_RUST_FRONTEND=1 \
vllm/vllm-openai:hy4 /model \
--dtype bfloat16 \
--limit-mm-per-prompt ‘{“image”:1,“video”:0}’ \
--tensor-parallel-size 8 \
--enable-auto-tool-choice \
--reasoning-parser hy_v4 \
--tool-call-parser hy_v4 \
--speculative-config ‘{“num_speculative_tokens”:5,“method”:“dfly”}’ \
--attention-backend FLASHMLA_SPARSE \
--host 0.0.0.0 --port 8000 \
--served-model-name hy4
默认每个请求最多输入一张图片,不启用视频输入,可根据显存调整 --limit-mm-per-prompt。
SGLang 服务部署
拉取支持 x86 和 Arm 的专用镜像:
docker pull lmsysorg/sglang:hy4
使用本地 FP8 权重启动服务:
docker run --gpus all --ipc=host \
-p 127.0.0.1:8000:8000 \
--mount “type=bind,src=$MODEL_DIR,dst=/model,readonly” \
lmsysorg/sglang:hy4 \
sglang serve \
--model-path /model \
--tp 8 \
--reasoning-parser auto \
--tool-call-parser auto \
--speculative-algorithm DFLY \
--host 0.0.0.0 \
--port 8000 \
--served-model-name hy4
OpenAI 兼容 API 调用
安装客户端:
pip install openai
vLLM 与 SGLang 选择一种启动后,即可通过统一接口调用:
from openai import OpenAI
client = OpenAI(
base_url=" http://127.0.0.1:8000/v1 ",
api_key=“EMPTY”,
)
response = client.chat.completions.create(
model=“hy4”,
messages=[
{“role”: “user”, “content”: “简要解释稀疏注意力的作用。”},
],
temperature=0,
max_tokens=2048,
extra_body={
“chat_template_kwargs”: {
“reasoning_effort”: “no_think”
}
},
)
print(response.choices[0].message.content)
点击阅读原文,即可跳转模型合集~
👇点击关注ModelScope公众号获取更多技术信息~