Hy4 正式版开源:多模态 MoE,770B 激活 49B,首次新增视觉能力!

腾讯混元开源 Hy4 正式版多模态 MoE 模型,770B 总参数仅激活 49B,首次实现视觉理解与电脑操作能力,提供对话、基座及 FP8 量化三个版本。

⭐ 推荐理由

腾讯混元开源多模态 MoE 旗舰 Hy4:770B 总参仅激活 49B,首次加入视觉理解与电脑操作,含对话、基座、FP8 三版本。579 个金融任务众测超 DeepSeek、Kimi、GLM 对比型号,另开源 HyCell、HyPDE 科研模型。关注开源生态与多模态者值得一读。

魔搭ModelScope社区

昨天2474 字 (约 10 分钟)

查看原文 →

摘要

腾讯混元团队正式开源 Hy4 系列多模态大模型,采用混合专家(MoE)架构,总参数 770B 仅激活 49B,显著提升推理效率。模型首次集成视觉理解与电脑操作能力,支持文本和图像输入。提供三个版本:Hy4(后训练对话模型)、Hy4-base(预训练基座)及 Hy4-FP8(FP8 量化推理模型)。在实际任务场景中表现突出,包括卫星图像定位、前端游戏开发、金融办公、科研等。金融众测中在 579 个真实任务上得分 3.04/4,科研任务在 123 项中获第一。提供 vLLM 和 SGLang 本地部署方案,支持 BF16 和 FP8 模型。

主要内容

  • 1. Hy4 采用 770B 参数 MoE 架构,激活 49B 实现高效推理
    混合专家模型通过稀疏激活机制,在保持强大能力的同时显著降低推理成本,提升实际应用可行性。
  • 2. 首次实现视觉理解与电脑操作能力
    模型能处理图像输入,支持 Blender、CAD 等专业软件操作,实现细粒度图像处理、复杂图表分析及跨应用长程任务。
  • 3. 在真实任务场景中表现卓越
    金融众测 579 个任务得分 3.04/4,科研评测 123 项中获第一,游戏开发任务提升 19.1%和 9.8%。
  • 4. 提供完整的本地部署方案
    支持 vLLM 和 SGLang 部署,提供 BF16 和 FP8 量化模型,官方推荐 8 张 H200/B200 或 4 张 B300/GB300 配置。

腾讯混元正式开源首个支持视觉理解与电脑操作的多模态大模型 Hy4,提供对话、基座及 FP8 量化三个版本,在金融办公、科研及开发等真实任务场景中表现卓越。

腾讯混元开源 Hy4 正式版 ,这是一个支持视觉理解与电脑操作的多模态大模型,面向开发、办公、深度研究等任务。
相比 Hy4 preview,Hy4 扩大了预训练和后训练规模, 首次引入了视觉能力 ,并大幅提升了指令遵循、长文理解、长程任务、深度研究等各项综合能力。

image

本次开源三个版本:

  • Hy4 为后训练模型,用于对话与任务执行;
  • Hy4-base 为预训练基座,面向后续微调与研究;
  • Hy4-FP8 为 FP8 量化版本,用于低精度推理部署。

开源地址:

01

面向真实任务的应用能力

在基础能力提升的同时,腾讯混元团队结合腾讯内部产品与业务的实际需求,持续优化 Hy4 在视觉与电脑操作、开发、金融办公、科研及个人助理等场景中的表现。

视觉与电脑任务

Hy4 新增视觉能力,可以结合感知、推理和工具调用,完成细粒度图像处理、复杂图表分析等任务。同时,Hy4 支持电脑操作,可以结合使用命令行与图形界面。团队针对 Blender、CAD 等专业软件,以及跨应用长程任务开展专项训练,优化模型在专业任务中的规划与执行能力。
比如,在卫星图定位任务中,用户要求找到屋顶写有“KLOOSTERBOER”的仓库,并定位其右上方光伏板区域中最东侧的白色方形构件。任务需要结合文字识别、空间关系理解和细粒度目标定位。

前端与游戏开发

视觉理解能力的引入,也推动了 Hy4 在前端与游戏开发场景中的能力提升。针对前端开发,团队重点优化复杂交互、业务逻辑、状态管理和前后端联动,使生成的界面兼顾视觉呈现与功能可用性。
在游戏开发场景中,腾讯混元团队与腾讯 IEG 专业游戏开发者合作,持续优化训练数据与评测质量,重点提升功能实现、玩法逻辑、状态理解和资产处理能力,适配 UE、Unity、Godot 等主流引擎,并开始扩展至多人联机游戏开发。
相比 Hy4 preview,Hy4 在 GameDev 和 GameLogic 评测中分别提升 19.1% 和 9.8%。
比如,“腾讯企鹅岛”任务要求使用 Three.js 构建可离线打开的单文件 HTML,将建筑、道路、海岸、植被、人车放在一个可旋转、可地面漫游的三维场景中。场景需要呈现腾云中心、云海大厦、企鹅公寓、腾讯螺旋和科技馆五组建筑,尤其要求腾讯螺旋的建筑立面自身连续回旋,而不是用外挂圆环替代。
交互功能包括轨道观察、第一与第三人称漫游、天气昼夜、小地图、建筑详情、楼层剖切、电影导览,以及截图和录制。

金融与办公场景

团队基于真实金融场景构建了数千个工作空间和上万个高质量任务,覆盖基金研究、证券分析、量化策略、资产配置、公司金融、财税会计等方向,让模型学习专业流程与规范。
腾讯混元联合腾讯金融科技 FiT 开展了 213 位专家参与的金融众测,其中 153 位来自外部头部金融机构,约七成拥有五年以上工作经验。
在 579 个真实金融任务上,Hy4 综合得分为 3.04/4,高于参与对比的 DeepSeek-V4.1-Flash-1017(2.97/4)、Kimi K3.1 Pro(2.68/4)和 GLM-5.3(2.68/4)。
在金融智能体公司讯兔科技的内部评测 IRAB 中,Hy4 较 Hy4 preview 提升 12.03 个百分点。
为提升金融及其他办公任务的实用性,团队还针对时效检索、多源信息整合和事实一致性校验开展搜索优化。在自建测试中,Hy4 的幻觉率从 Hy4 preview 的 15.76% 降至 5.45%,猜测导致的错误率从 23.1% 降至 5.6%。
Hy4 同时强化了办公场景中的人机双写能力,支持用户与模型实时协作编辑 Word、Excel、PPT 等文件。盲评显示,相比 Hy4 preview,Hy4 在文档美观度、稳定性和可用性上均有提升。
比如,在金融估值建模任务中,用户要求使用 global-equity-research 和 neodata 制作特斯拉建模报告,交付 Excel 模型与对应的 PDF 报告,并交代估值逻辑和数字来源,结合多家机构的研究进行分析。

科研与模型研发

Hy4 将复杂推理、科学编程与长程任务执行相结合,提升端到端推进科研工作的能力。在涵盖 7 大学科、123 项可执行研究任务的 TenureTrail 内部评测中,团队公布的结果显示,Hy4 在参评开源模型中排名第一,任务覆盖数学构造、物理建模、地球环境、系统工程和社会经济决策等领域。
团队也在为递归自我改进(RSI)做准备,提升 Hy4 在模型研发任务中的能力。结合 Hyra 2.0 脚手架,Hy4 优化了内部同架构小模型的预训练基础设施,并自动完成 Jev 模型训练。得到的 Hyra-Jev 在 8 项基准评测中有 6 项优于官方 Jev。

image

此外,团队开源了由 Hy4 协同 Hyra 2.0 研发的单细胞表征基础模型 HyCell 和物理场基础模型 HyPDE,将模型辅助科研的成果提供给社区复用。

长期个人助理

Hy4 持续提升上下文学习能力,以理解来自不同来源的复杂信息。借助 WorkBuddy 的企业微信套件,Hy4 可以连通聊天记录、邮件、文档、日程与会议等日常工作信息。
当多个项目并行推进时,Hy4 可以梳理各项目的推进历史与最新进展,识别待跟进任务、需要准备的会议和临近截止的事项,提醒用户并协助安排优先级。团队还介绍,由 Hy4 支撑的团队协作功能将随新版“项目”在 WorkBuddy 上线。
比如,“Daily Focus”任务要求综合聊天记录、邮件、日历、会议和文档,生成可离线打开的单文件交互式 HTML 每日事项看板。看板不是逐条复述消息,而是跨来源去重、整合值得关注的事项,按重要性和紧急性排序,并用通俗语言说明每件事发生了什么、当前进展以及下一步需要做什么。

02

本地部署与推理

Hy4 当前支持 vLLM 和 SGLang 部署,提供 BF16、FP8 指令模型及 base 预训练模型。官方部署方案主要使用 FP8 权重,支持 8 张 H200/B200 或 4 张 B300/GB300;以下采用 8 卡配置。

下载模型

安装 ModelScope,并根据用途选择权重:

pip install modelscope

# BF16 指令模型

modelscope download Tencent-Hunyuan/Hy4 \

--local-dir Tencent-Hunyuan/Hy4

# FP8 指令模型

modelscope download Tencent-Hunyuan/Hy4-FP8 \

--local-dir Tencent-Hunyuan/Hy4-FP8

# 预训练基础模型

modelscope download Tencent-Hunyuan/Hy4-base \

--local-dir Tencent-Hunyuan/Hy4-base

以下服务示例使用 FP8 指令模型:

export MODEL_DIR=“$PWD/Tencent-Hunyuan/Hy4-FP8”

vLLM 服务部署

拉取 Hy4 专用镜像:

docker pull vllm/vllm-openai:hy4

挂载本地 FP8 权重并启动服务:

docker run --gpus all \

--privileged --ipc=host \

-p 127.0.0.1:8000:8000 \

--mount “type=bind,src=$MODEL_DIR,dst=/model,readonly” \

-e VLLM_USE_RUST_FRONTEND=1 \

vllm/vllm-openai:hy4 /model \

--dtype bfloat16 \

--limit-mm-per-prompt ‘{“image”:1,“video”:0}’ \

--tensor-parallel-size 8 \

--enable-auto-tool-choice \

--reasoning-parser hy_v4 \

--tool-call-parser hy_v4 \

--speculative-config ‘{“num_speculative_tokens”:5,“method”:“dfly”}’ \

--attention-backend FLASHMLA_SPARSE \

--host 0.0.0.0 --port 8000 \

--served-model-name hy4

默认每个请求最多输入一张图片,不启用视频输入,可根据显存调整 --limit-mm-per-prompt。

SGLang 服务部署

拉取支持 x86 和 Arm 的专用镜像:

docker pull lmsysorg/sglang:hy4

使用本地 FP8 权重启动服务:

docker run --gpus all --ipc=host \

-p 127.0.0.1:8000:8000 \

--mount “type=bind,src=$MODEL_DIR,dst=/model,readonly” \

lmsysorg/sglang:hy4 \

sglang serve \

--model-path /model \

--tp 8 \

--reasoning-parser auto \

--tool-call-parser auto \

--speculative-algorithm DFLY \

--host 0.0.0.0 \

--port 8000 \

--served-model-name hy4

OpenAI 兼容 API 调用

安装客户端:

pip install openai

vLLM 与 SGLang 选择一种启动后,即可通过统一接口调用:

from openai import OpenAI

client = OpenAI(

base_url=" http://127.0.0.1:8000/v1 ",

api_key=“EMPTY”,

)

response = client.chat.completions.create(

model=“hy4”,

messages=[

{“role”: “user”, “content”: “简要解释稀疏注意力的作用。”},

],

temperature=0,

max_tokens=2048,

extra_body={

“chat_template_kwargs”: {

“reasoning_effort”: “no_think”

}

},

)

print(response.choices[0].message.content)

点击阅读原文,即可跳转模型合集~


👇点击关注ModelScope公众号获取更多技术信息~

阅读原文