Hy4 flash 开源:224B 激活 12B,用户盲测满意度接近 Haiku 5.5

腾讯混元开源 Hy4 flash 多模态模型,224B 总参数仅激活 12B,支持 1M 上下文,用户盲测满意度接近 Claude Haiku 5.5,提供本地部署和微调方案。

魔搭ModelScope社区

昨天2749 字 (约 11 分钟)

查看原文 →

摘要

腾讯混元开源了 Hy4 flash 系列多模态大模型,总参数 224B(含 64B Engram 参数),单 token 激活 12B 参数,原生支持文本和图像输入、文本输出,提供 1M token 上下文窗口。模型在 WorkIndex 评测中得分 42.1(优于 Hy4 preview 的 39.7),用户盲测满意度达 2.79/4(接近 Claude Haiku 5.5 的 2.81/4),单任务成本最低为 0.26 元。开源包含三个版本:指令微调模型 Hy4 flash、FP8 量化指令模型 Hy4 flash-FP8 及预训练基座模型 Hy4 flash-base。提供 Transformers、vLLM、SGLang 三种本地部署方式,支持 BF16 和 FP8 模型。同时介绍了通过 ms-swift 进行纯文本和多模态监督微调的方案,支持全参数训练与 LoRA 两种方式。

主要内容

  • 1. Hy4 flash 实现高效激活设计
    224B 总参数仅激活 12B 参数,64B Engram 参数设计,在 1M 上下文窗口下实现了在效能与能力之间的平衡,显著降低了日常任务的使用成本。
  • 2. 用户体验优于多位竞争模型
    在 WorkBuddy 内部 85 位用户的 259 个日常工作任务盲测中,满意度 2.79/4(接近 Claude Haiku 5.5 的 2.81/4),单任务成本 0.26 元最低,端到端完成时间中位数仅 6.7 分钟。
  • 3. 提供完整的本地部署与微调方案
    支持 Transformers、vLLM、SGLang 三种部署方式,提供 BF16 和 FP8 模型选项;通过 ms-swift 实现纯文本和多模态监督微调,支持全参数训练与 LoRA,配套 GGUF 量化版本。
  • 4. 在 WorkIndex 评测中表现优于前代模型
    Hy4 flash 在 WorkIndex 内部任务评测中得分 42.1,优于 Hy4 preview 的 39.7 和 Hy4 的 51.4;在公开 Agent 任务中也实现了性能与成本的双提升。

腾讯混元开源Hy4 flash多模态模型,224B总参数仅激活12B,支持1M上下文,日常任务表现与成本优于前代,用户满意度接近Claude Haiku 5.5。

腾讯混元开源 Hy4 flash,总参数量为 224B ,其中包含 64B Engram 参数 ,每个 token 激活 12B 参数。模型原生支持文本和图像输入、文本输出,提供 1M token 上下文窗口 ,重点优化日常工作任务中的完成质量、使用成本与端到端用时。在 WorkIndex 评测中,Hy4 flash 的任务表现略优于 Hy4 preview;在 WorkBuddy 内部用户盲测中, 满意度接近 Claude Haiku 5.5 !

image.png

本次开源包含三个版本:

  • Hy4 flash:为指令微调模型
  • Hy4 flash-FP8:为 FP8 量化的指令微调模型
  • Hy4 flash-base:为预训练基座模型。

前两个版本适用于对话与推理,Base 版本则不是经过指令微调的对话模型。
此外,AngelSlim 提供了 Hy4 flash 的 GGUF 量化版本,并且支持了128GB设备配套部署方案,更多设备方案也将逐步提供。AngelSlim 是面向大规模多模态模型的压缩工具包,支持常用量化算法、低比特量化和推测采样。

开源地址:

01

任务评测:效果与成本

Hy4 flash 的综合任务表现略优于 Hy4 preview,同时降低了单任务成本。在 WorkIndex 上,Hy4 flash 得分为 42.1 ,Hy4 preview 为 39.7 ,Hy4 为 51.4 。

image

上图是WorkIndex 内部任务的性能与成本对比。评测包含 PPT 制作、PPT 修改、PPT 人机双写、Markdown 人机双写、文档编辑、表格修复、音视频处理和视觉理解共 8 个内部评测集。

image

上图是公开 Agent 任务的性能与成本对比。评测包含 DeepSWE、ProgramBench、Terminal-Bench 4.0、APEX-Agents、AutomationBench、HLE 和 OSWorld 2.1 共 7 个公开基准。
对于深度搜索、文档处理、PPT 制作、简单前端展示和计算机操作等日常生产力任务,推荐使用 Hy4 flash;对于长程软件工程等复杂任务,则推荐使用智能上限更高的 Hy4。

02

用户盲测:日常工作体验

为衡量实际使用体验,团队邀请 85 位 WorkBuddy 内部用户 ,在 27 类、共 259 个日常工作任务 上进行盲测,对比用户满意度、端到端完成时间中位数和单任务成本。
Hy4 flash 的用户满意度为 2.79/4 ,接近 Claude Haiku 5.5 的 2.81/4 ;端到端完成时间中位数为 6.7 分钟 ,单任务成本为 0.26 元 。在此次盲测的四个参评模型中,Hy4 flash 的单任务成本最低,端到端完成时间中位数最短。

image

上图为WorkBuddy 内部用户盲测结果。外部参评模型 DeepSeek、Claude Haiku 和 GLM 均采用 high 档位。

03

本地部署与推理

Hy4-flash 支持 Transformers 本地推理,以及 vLLM、SGLang 服务部署,提供 BF16 和 FP8 指令模型。部署需要大显存多卡 GPU,以下服务示例采用官方给出的 8 卡配置。

下载模型

安装魔搭下载工具:

pip install modelscope

Transformers 示例使用 BF16 指令模型:

modelscope download Tencent-Hunyuan/Hy4-flash \

--local-dir Tencent-Hunyuan/Hy4-flash

vLLM 和 SGLang 示例使用 FP8 指令模型:

modelscope download Tencent-Hunyuan/Hy4-flash-FP8 \

--local-dir Tencent-Hunyuan/Hy4-flash-FP8

export MODEL_DIR=“$PWD/Tencent-Hunyuan/Hy4-flash-FP8”

Transformers 本地推理

安装包含 Hy4-flash 实现的指定源码版本:

pip install "transformers[torch,vision] @ git+ https://github.com/huggingface/transformers.git@refs/pull/50903/head "

将待分析图片保存为当前目录下的 image.jpg ,加载本地模型并生成图片描述:

from transformers import AutoModelForImageTextToText, AutoProcessor

model_path = “./Tencent-Hunyuan/Hy4-flash”

processor = AutoProcessor.from_pretrained(model_path)

model = AutoModelForImageTextToText.from_pretrained(

model_path, device_map=“auto”

)

messages = [{

“role”: “user”,

“content”: [

{“type”: “image”, “url”: “./image.jpg”},

{“type”: “text”, “text”: “用一句话描述这张图片。”},

],

}]

inputs = processor.apply_chat_template(

messages,

add_generation_prompt=True,

tokenize=True,

return_dict=True,

return_tensors=“pt”,

reasoning_effort=“no_think”,

).to(model.device)

outputs = model.generate(

**inputs, max_new_tokens=256,

do_sample=True, temperature=0.9, top_p=1.0,

)

print(processor.decode(

outputs[0, inputs[“input_ids”].shape[1]:], skip_special_tokens=True

))

vLLM 服务部署

拉取模型专用镜像:

docker pull vllm/vllm-openai:hy4-flash

挂载本地 FP8 权重:

docker run --gpus all \

-p 8000:8000 \

--ipc=host \

-v ~/.cache/huggingface:/root/.cache/huggingface \

vllm/vllm-openai:hy4-flash Tencent-Hunyuan/Hy4-flash-FP8 \

--tensor-parallel-size 8 \

--speculative-config ‘{“num_speculative_tokens”:5,“method”:“dfly”}’ \

--attention-backend FLASHMLA_SPARSE \

--tool-call-parser hy_v4 \

--reasoning-parser hy_v4 \

--enable-auto-tool-choice \

--port 8000 \

--served-model-name hy4-flash

SGLang 服务部署

拉取支持 x86 和 Arm 的模型专用镜像:

docker pull lmsysorg/sglang:hy4-flash

加载本地 FP8 权重:

docker run --gpus all \

-p 8000:8000 \

--ipc=host \

lmsysorg/sglang:hy4-flash \

sglang serve \

--trust-remote-code \

--model-path Tencent-Hunyuan/Hy4-flash-FP8 \

--tp 8 \

--cuda-graph-backend-prefill disabled \

--speculative-algorithm DFLY \

--speculative-dfly-block-size 6 \

--host 127.0.0.1 \

--port 8000

vLLM 与 SGLang 选择一种启动即可。

OpenAI 兼容 API 调用

服务就绪后,另开终端安装客户端:

pip install openai

通过标准 OpenAI SDK 调用本地服务:

from openai import OpenAI

client = OpenAI(base_url=" http://127.0.0.1:8000/v1 ", api_key=“EMPTY”)

response = client.chat.completions.create(

model=“hy4-flash”,

messages=[

{“role”: “user”, “content”: “Hello! Can you briefly introduce yourself?”},

],

temperature=0.9,

top_p=1.0,

extra_body={“chat_template_kwargs”: {“reasoning_effort”: “no_think”}},

)

print(response.choices[0].message.content)

04

模型微调

Hy4-flash 支持通过 ms-swift 进行纯文本和多模态监督微调,提供全参数训练与 LoRA 两种方式。两种方式均建议至少使用 4 台机器、共 32 张 GPU,每张 GPU 显存不低于 96 GB,每台机器 CPU 内存不低于 2 TB 。

安装与模型准备

在已配置好的 Hy4-flash 运行环境中安装 ms-swift,并下载 BF16 模型。

git clone https://github.com/modelscope/ms-swift

cd ms-swift

pip install -e.

pip install modelscope

pip install deepspeed

# Hy4-flash 的支持尚未进入 transformers 正式版本,需要从对应 PR 安装

pip install "transformers[torch,vision] @ git+ https://github.com/huggingface/transformers.git@refs/pull/50903/head "

modelscope download Tencent-Hunyuan/Hy4-flash \

--local-dir Tencent-Hunyuan/Hy4-flash

训练脚本位于:

ms-swift/examples/models/hy4_flash/

准备训练数据

训练数据采用 JSONL 格式,每行对应一个样本,通过 messages 保存对话。

{“messages”:[{“role”:“user”,“content”:“什么是张量并行?”},{“role”:“assistant”,“content”:“张量并行将单个算子的计算拆分到多个设备上执行。”}]}

{“messages”:[{“role”:“user”,“content”:“计算 17 × 23。”},{“role”:“assistant”,“content”:“think:opensource将 23 拆为 20 和 3,分别计算 340 和 51,再相加。</think:opensource>391”}]}

当前 ms-swift 插件固定使用 no_think 模式:系统提示中写入 reasoning_effort:no_think ,assistant 回复前自动补一个空的 <think></think> 。数据行顶层的 reasoning_effort 以及 assistant 的 reasoning_content / reasoning 字段不会被读取。
如需训练思考模式,把思考内容内联到 content ( <think:opensource>…</think:opensource>答案 ),并把插件中的 default_system 改为 reasoning_effort:high ,训练脚本无需改动。
多模态样本在对话中使用 <image> 或 <video> 标记,并通过 images 或 videos 提供对应资源:

{“messages”:[{“role”:“user”,“content”:“<image>描述这张图片。”},{“role”:“assistant”,“content”:“一只猫坐在窗边。”}],“images”:[“/data/images/cat.jpg”]}

标记数量和顺序必须与资源列表一致。纯文本、图像和视频样本可以混合在同一个 JSONL 文件中。

配置训练脚本

根据训练任务选择脚本:纯文本全参数训练使用 sft_train.sh ,纯文本 LoRA 使用 sft_train_lora.sh ,多模态全参数训练使用 sft_train_vl.sh ,多模态 LoRA 使用 sft_train_vl_lora.sh 。
启动前,在选定脚本中将 --model /path/to/hy4_ckpt 替换为下载模型的绝对路径,将 --dataset 改为训练数据路径,并设置 --output_dir 。根据数据长度和显存调整 --max_length 、批量大小及梯度累积步数。
LoRA 推荐学习率为 2e-4 ,脚本采用 rank 64、alpha 128、dropout 0.05,并对以下注意力投影模块进行训练:

q_a_proj q_b_proj kv_a_proj_with_mqa kv_b_proj o_proj

全参数训练推荐学习率为 1e-5 。LoRA 脚本使用 FSDP,全参数脚本使用 DeepSpeed ZeRO-3 与 Offload,两种分布式策略不能同时启用。
保留脚本中的 --custom_register_path 配置,以及对应的 hy_v4_flash_swift_patches.py 文件,确保模型专用适配逻辑正常加载。

启动多机训练

各节点需要使用一致的环境、模型及数据路径,并配置免密 SSH。脚本默认每台机器使用 8 张 GPU, IP_LIST 中的第一个地址作为主节点。
以四机纯文本 LoRA 训练为例,在一个节点执行:

cd ms-swift/examples/models/hy4_flash

HY4_CKPT_DIR=/path/to/Tencent-Hunyuan/Hy4-flash \

IP_LIST=“10.0.0.1,10.0.0.2,10.0.0.3,10.0.0.4” \

bash sft_train_lora.sh

脚本通过 pdsh 调度其他节点。若不使用 pdsh ,则在每台机器上分别执行以下命令,保持 IP_LIST 与 HY4_CKPT_DIR 完全一致:

export HY4_CKPT_DIR=/path/to/Tencent-Hunyuan/Hy4-flash

export IP_LIST=“10.0.0.1,10.0.0.2,10.0.0.3,10.0.0.4”

export _WORKER_MODE=1

bash sft_train_lora.sh

点击阅读原文,即可跳转模型合集~


👇点击关注ModelScope公众号获取更多技术信息~

阅读原文