Hy4 flash 开源:224B 激活 12B,用户盲测满意度接近 Haiku 5.5
腾讯混元开源 Hy4 flash 多模态模型,224B 总参数仅激活 12B,支持 1M 上下文,用户盲测满意度接近 Claude Haiku 5.5,提供本地部署和微调方案。
昨天2749 字 (约 11 分钟)
摘要
腾讯混元开源了 Hy4 flash 系列多模态大模型,总参数 224B(含 64B Engram 参数),单 token 激活 12B 参数,原生支持文本和图像输入、文本输出,提供 1M token 上下文窗口。模型在 WorkIndex 评测中得分 42.1(优于 Hy4 preview 的 39.7),用户盲测满意度达 2.79/4(接近 Claude Haiku 5.5 的 2.81/4),单任务成本最低为 0.26 元。开源包含三个版本:指令微调模型 Hy4 flash、FP8 量化指令模型 Hy4 flash-FP8 及预训练基座模型 Hy4 flash-base。提供 Transformers、vLLM、SGLang 三种本地部署方式,支持 BF16 和 FP8 模型。同时介绍了通过 ms-swift 进行纯文本和多模态监督微调的方案,支持全参数训练与 LoRA 两种方式。
主要内容
- 1. Hy4 flash 实现高效激活设计
224B 总参数仅激活 12B 参数,64B Engram 参数设计,在 1M 上下文窗口下实现了在效能与能力之间的平衡,显著降低了日常任务的使用成本。 - 2. 用户体验优于多位竞争模型
在 WorkBuddy 内部 85 位用户的 259 个日常工作任务盲测中,满意度 2.79/4(接近 Claude Haiku 5.5 的 2.81/4),单任务成本 0.26 元最低,端到端完成时间中位数仅 6.7 分钟。 - 3. 提供完整的本地部署与微调方案
支持 Transformers、vLLM、SGLang 三种部署方式,提供 BF16 和 FP8 模型选项;通过 ms-swift 实现纯文本和多模态监督微调,支持全参数训练与 LoRA,配套 GGUF 量化版本。 - 4. 在 WorkIndex 评测中表现优于前代模型
Hy4 flash 在 WorkIndex 内部任务评测中得分 42.1,优于 Hy4 preview 的 39.7 和 Hy4 的 51.4;在公开 Agent 任务中也实现了性能与成本的双提升。

腾讯混元开源Hy4 flash多模态模型,224B总参数仅激活12B,支持1M上下文,日常任务表现与成本优于前代,用户满意度接近Claude Haiku 5.5。
腾讯混元开源 Hy4 flash,总参数量为 224B ,其中包含 64B Engram 参数 ,每个 token 激活 12B 参数。模型原生支持文本和图像输入、文本输出,提供 1M token 上下文窗口 ,重点优化日常工作任务中的完成质量、使用成本与端到端用时。在 WorkIndex 评测中,Hy4 flash 的任务表现略优于 Hy4 preview;在 WorkBuddy 内部用户盲测中, 满意度接近 Claude Haiku 5.5 !

本次开源包含三个版本:
- Hy4 flash:为指令微调模型
- Hy4 flash-FP8:为 FP8 量化的指令微调模型
- Hy4 flash-base:为预训练基座模型。
前两个版本适用于对话与推理,Base 版本则不是经过指令微调的对话模型。
此外,AngelSlim 提供了 Hy4 flash 的 GGUF 量化版本,并且支持了128GB设备配套部署方案,更多设备方案也将逐步提供。AngelSlim 是面向大规模多模态模型的压缩工具包,支持常用量化算法、低比特量化和推测采样。
开源地址:
- 模型合集:
https://modelscope.cn/collections/Tencent-Hunyuan/Hy4-flash - GGUF 量化模型:
https://modelscope.cn/models/AngelSlim/Hy4-flash-GGUF
01
任务评测:效果与成本
Hy4 flash 的综合任务表现略优于 Hy4 preview,同时降低了单任务成本。在 WorkIndex 上,Hy4 flash 得分为 42.1 ,Hy4 preview 为 39.7 ,Hy4 为 51.4 。

上图是WorkIndex 内部任务的性能与成本对比。评测包含 PPT 制作、PPT 修改、PPT 人机双写、Markdown 人机双写、文档编辑、表格修复、音视频处理和视觉理解共 8 个内部评测集。

上图是公开 Agent 任务的性能与成本对比。评测包含 DeepSWE、ProgramBench、Terminal-Bench 4.0、APEX-Agents、AutomationBench、HLE 和 OSWorld 2.1 共 7 个公开基准。
对于深度搜索、文档处理、PPT 制作、简单前端展示和计算机操作等日常生产力任务,推荐使用 Hy4 flash;对于长程软件工程等复杂任务,则推荐使用智能上限更高的 Hy4。
02
用户盲测:日常工作体验
为衡量实际使用体验,团队邀请 85 位 WorkBuddy 内部用户 ,在 27 类、共 259 个日常工作任务 上进行盲测,对比用户满意度、端到端完成时间中位数和单任务成本。
Hy4 flash 的用户满意度为 2.79/4 ,接近 Claude Haiku 5.5 的 2.81/4 ;端到端完成时间中位数为 6.7 分钟 ,单任务成本为 0.26 元 。在此次盲测的四个参评模型中,Hy4 flash 的单任务成本最低,端到端完成时间中位数最短。

上图为WorkBuddy 内部用户盲测结果。外部参评模型 DeepSeek、Claude Haiku 和 GLM 均采用 high 档位。
03
本地部署与推理
Hy4-flash 支持 Transformers 本地推理,以及 vLLM、SGLang 服务部署,提供 BF16 和 FP8 指令模型。部署需要大显存多卡 GPU,以下服务示例采用官方给出的 8 卡配置。
下载模型
安装魔搭下载工具:
pip install modelscope
Transformers 示例使用 BF16 指令模型:
modelscope download Tencent-Hunyuan/Hy4-flash \
--local-dir Tencent-Hunyuan/Hy4-flash
vLLM 和 SGLang 示例使用 FP8 指令模型:
modelscope download Tencent-Hunyuan/Hy4-flash-FP8 \
--local-dir Tencent-Hunyuan/Hy4-flash-FP8
export MODEL_DIR=“$PWD/Tencent-Hunyuan/Hy4-flash-FP8”
Transformers 本地推理
安装包含 Hy4-flash 实现的指定源码版本:
pip install "transformers[torch,vision] @ git+ https://github.com/huggingface/transformers.git@refs/pull/50903/head "
将待分析图片保存为当前目录下的 image.jpg ,加载本地模型并生成图片描述:
from transformers import AutoModelForImageTextToText, AutoProcessor
model_path = “./Tencent-Hunyuan/Hy4-flash”
processor = AutoProcessor.from_pretrained(model_path)
model = AutoModelForImageTextToText.from_pretrained(
model_path, device_map=“auto”
)
messages = [{
“role”: “user”,
“content”: [
{“type”: “image”, “url”: “./image.jpg”},
{“type”: “text”, “text”: “用一句话描述这张图片。”},
],
}]
inputs = processor.apply_chat_template(
messages,
add_generation_prompt=True,
tokenize=True,
return_dict=True,
return_tensors=“pt”,
reasoning_effort=“no_think”,
).to(model.device)
outputs = model.generate(
**inputs, max_new_tokens=256,
do_sample=True, temperature=0.9, top_p=1.0,
)
print(processor.decode(
outputs[0, inputs[“input_ids”].shape[1]:], skip_special_tokens=True
))
vLLM 服务部署
拉取模型专用镜像:
docker pull vllm/vllm-openai:hy4-flash
挂载本地 FP8 权重:
docker run --gpus all \
-p 8000:8000 \
--ipc=host \
-v ~/.cache/huggingface:/root/.cache/huggingface \
vllm/vllm-openai:hy4-flash Tencent-Hunyuan/Hy4-flash-FP8 \
--tensor-parallel-size 8 \
--speculative-config ‘{“num_speculative_tokens”:5,“method”:“dfly”}’ \
--attention-backend FLASHMLA_SPARSE \
--tool-call-parser hy_v4 \
--reasoning-parser hy_v4 \
--enable-auto-tool-choice \
--port 8000 \
--served-model-name hy4-flash
SGLang 服务部署
拉取支持 x86 和 Arm 的模型专用镜像:
docker pull lmsysorg/sglang:hy4-flash
加载本地 FP8 权重:
docker run --gpus all \
-p 8000:8000 \
--ipc=host \
lmsysorg/sglang:hy4-flash \
sglang serve \
--trust-remote-code \
--model-path Tencent-Hunyuan/Hy4-flash-FP8 \
--tp 8 \
--cuda-graph-backend-prefill disabled \
--speculative-algorithm DFLY \
--speculative-dfly-block-size 6 \
--host 127.0.0.1 \
--port 8000
vLLM 与 SGLang 选择一种启动即可。
OpenAI 兼容 API 调用
服务就绪后,另开终端安装客户端:
pip install openai
通过标准 OpenAI SDK 调用本地服务:
from openai import OpenAI
client = OpenAI(base_url=" http://127.0.0.1:8000/v1 ", api_key=“EMPTY”)
response = client.chat.completions.create(
model=“hy4-flash”,
messages=[
{“role”: “user”, “content”: “Hello! Can you briefly introduce yourself?”},
],
temperature=0.9,
top_p=1.0,
extra_body={“chat_template_kwargs”: {“reasoning_effort”: “no_think”}},
)
print(response.choices[0].message.content)
04
模型微调
Hy4-flash 支持通过 ms-swift 进行纯文本和多模态监督微调,提供全参数训练与 LoRA 两种方式。两种方式均建议至少使用 4 台机器、共 32 张 GPU,每张 GPU 显存不低于 96 GB,每台机器 CPU 内存不低于 2 TB 。
安装与模型准备
在已配置好的 Hy4-flash 运行环境中安装 ms-swift,并下载 BF16 模型。
git clone https://github.com/modelscope/ms-swift
cd ms-swift
pip install -e.
pip install modelscope
pip install deepspeed
# Hy4-flash 的支持尚未进入 transformers 正式版本,需要从对应 PR 安装
pip install "transformers[torch,vision] @ git+ https://github.com/huggingface/transformers.git@refs/pull/50903/head "
modelscope download Tencent-Hunyuan/Hy4-flash \
--local-dir Tencent-Hunyuan/Hy4-flash
训练脚本位于:
ms-swift/examples/models/hy4_flash/
准备训练数据
训练数据采用 JSONL 格式,每行对应一个样本,通过 messages 保存对话。
{“messages”:[{“role”:“user”,“content”:“什么是张量并行?”},{“role”:“assistant”,“content”:“张量并行将单个算子的计算拆分到多个设备上执行。”}]}
{“messages”:[{“role”:“user”,“content”:“计算 17 × 23。”},{“role”:“assistant”,“content”:“think:opensource将 23 拆为 20 和 3,分别计算 340 和 51,再相加。</think:opensource>391”}]}
当前 ms-swift 插件固定使用 no_think 模式:系统提示中写入 reasoning_effort:no_think ,assistant 回复前自动补一个空的 <think></think> 。数据行顶层的 reasoning_effort 以及 assistant 的 reasoning_content / reasoning 字段不会被读取。
如需训练思考模式,把思考内容内联到 content ( <think:opensource>…</think:opensource>答案 ),并把插件中的 default_system 改为 reasoning_effort:high ,训练脚本无需改动。
多模态样本在对话中使用 <image> 或 <video> 标记,并通过 images 或 videos 提供对应资源:
{“messages”:[{“role”:“user”,“content”:“<image>描述这张图片。”},{“role”:“assistant”,“content”:“一只猫坐在窗边。”}],“images”:[“/data/images/cat.jpg”]}
标记数量和顺序必须与资源列表一致。纯文本、图像和视频样本可以混合在同一个 JSONL 文件中。
配置训练脚本
根据训练任务选择脚本:纯文本全参数训练使用 sft_train.sh ,纯文本 LoRA 使用 sft_train_lora.sh ,多模态全参数训练使用 sft_train_vl.sh ,多模态 LoRA 使用 sft_train_vl_lora.sh 。
启动前,在选定脚本中将 --model /path/to/hy4_ckpt 替换为下载模型的绝对路径,将 --dataset 改为训练数据路径,并设置 --output_dir 。根据数据长度和显存调整 --max_length 、批量大小及梯度累积步数。
LoRA 推荐学习率为 2e-4 ,脚本采用 rank 64、alpha 128、dropout 0.05,并对以下注意力投影模块进行训练:
q_a_proj q_b_proj kv_a_proj_with_mqa kv_b_proj o_proj
全参数训练推荐学习率为 1e-5 。LoRA 脚本使用 FSDP,全参数脚本使用 DeepSpeed ZeRO-3 与 Offload,两种分布式策略不能同时启用。
保留脚本中的 --custom_register_path 配置,以及对应的 hy_v4_flash_swift_patches.py 文件,确保模型专用适配逻辑正常加载。
启动多机训练
各节点需要使用一致的环境、模型及数据路径,并配置免密 SSH。脚本默认每台机器使用 8 张 GPU, IP_LIST 中的第一个地址作为主节点。
以四机纯文本 LoRA 训练为例,在一个节点执行:
cd ms-swift/examples/models/hy4_flash
HY4_CKPT_DIR=/path/to/Tencent-Hunyuan/Hy4-flash \
IP_LIST=“10.0.0.1,10.0.0.2,10.0.0.3,10.0.0.4” \
bash sft_train_lora.sh
脚本通过 pdsh 调度其他节点。若不使用 pdsh ,则在每台机器上分别执行以下命令,保持 IP_LIST 与 HY4_CKPT_DIR 完全一致:
export HY4_CKPT_DIR=/path/to/Tencent-Hunyuan/Hy4-flash
export IP_LIST=“10.0.0.1,10.0.0.2,10.0.0.3,10.0.0.4”
export _WORKER_MODE=1
bash sft_train_lora.sh
点击阅读原文,即可跳转模型合集~
👇点击关注ModelScope公众号获取更多技术信息~