让数据按业务流动:EFS 数据流动重塑 AI 时代的文件存储

1. 摘要

文章详细阐述了火山引擎弹性文件存储(EFS)数据流动方案的构建实践。

  • 随着大模型训练和推理业务对存储性能和成本的双重要求日益增长,文章从性能需求多样化、冷数据成本挑战和复杂数据生命周期管理三个挑战出发,分析了计算端缓存加速、文件存储内部冷热分层和数据流动三种常见方案。
  • 随后聚焦 EFS 数据流动方案,阐述了其统一访问入口、自动生命周期管理、双向数据流动、高吞吐带宽智能调度和自动化事件通知等核心功能。通过案例说明,EFS 实现了数据按需加载、自动沉降、双向同步和事件驱动的业务编排,使存储成本降低最高可达 80%,并显著提升了 AI 训练、推理和数据分析的效率。

2. 主要内容

    1. 识别 AI 场景下的存储挑战
      文章指出大模型训练和推理面临性能需求多样化(Checkpoint 读写 TB/s 级)、冷数据成本高、数据生命周期管理复杂三个挑战,为后续方案设计提供了问题依据。
    1. 提出数据流动三种常见方案
      通过分析计算端缓存加速、文件存储内部冷热分层和数据流动三种方案,说明数据流动方案打通对象存储与文件存储的访问链路,实现数据长期低成本保存和按需高性能访问。
    1. EFS 实现双向数据流动
      EFS 支持数据按需加载和元数据按需加载,连接 TOS 与文件存储,实现数据从对象存储到文件存储的按需预热,以及训练产生的结果沉降回 TOS,支持同步删除和按目录/属性条件的批量任务。
    1. 自动化生命周期管理降低成本
      通过 atime 策略进行数据淘汰,先将数据沉降至 TOS 再淘汰文件内容,释放高性能存储空间,企业无需为长期不访问的数据持续承担文件存储成本,最高可降低 80% 存储成本。
    1. 事件通知驱动业务自动化
      EFS 支持数据流动任务的事件通知,将任务执行状态传递给业务调度系统,使数据准备、训练读写和结果保存自动衔接,减少人工跟踪和跨团队确认。

火山引擎存储 EFS 数据流动方案文章头图

3. | AI 业务提速,存储也要跟上节奏

随着大模型训练和推理业务高速发展、数据规模持续增长,提升业务效率不仅依赖算力,也需要与业务需求相匹配的存储能力。从训练样本读取、Checkpoint 写入与恢复,到推理服务启动、扩容时的模型权重加载,企业需要的不只是更多容量,更需要让高性能存储资源服务于真正需要它的业务环节。当前大模型训练和推理主要面临以下三类挑战:

  • 性能需求多样化: Checkpoint 的写入与恢复需要在短时间内集中完成大规模数据读写,单个训练任务的存储带宽需求已从数十 GB/s 提升至 TB/s 级,而短期内不再访问的原始数据则对性能要求较低。
  • 冷数据成本挑战: 数据规模增长推高了高性能文件存储的容量需求与成本,且部分数据同时保存在文件存储和对象存储中,进一步加重成本负担。
  • 复杂的数据生命周期管理: 数据访问频率与冷热特征不断变化,仅依赖人工调度难以及时响应业务需求、准确识别数据冷热,还会带来较高的人力成本。

4. | 兼顾性能与成本,数据该如何组织

围绕容量成本与文件访问性能,常见方案有三个切入点:计算端缓存加速、在文件存储内部做冷热分层、在文件与对象之间建立数据流动。它们并非互斥的产品路线,也不是从低到高的三个层级;选择哪条路径,取决于数据已有的存放方式、应用接口以及团队可承担的管理工作。

4.1. 计算端缓存加速

计算端缓存加速,将热点数据保存在计算节点本地或共享缓存中,减少对远端存储的重复读取。部分方案还支持计算端缓存写入,写入成功后将结果异步回写到持久化存储。在持久化完成前,若缓存发生故障且缺少有效保护,可能存在数据丢失风险。此外,部分基于对象存储的文件系统或缓存方案采用专有分块与元数据组织,后端对象无法直接作为原始文件使用,限制了对象接口访问及既有数据生态的复用。

计算端缓存加速架构示意图

4.2. 文件存储内部做冷热分层

文件存储内部的冷热数据分层,将不同访问需求的数据分别放在高性能或低成本介质上,应用使用统一 POSIX 文件接口。它主要解决同一文件存储内的数据访问与介质成本问题,适用于以文件系统作为主要数据承载平台的业务。

文件存储内部冷热分层架构示意图

4.3. 数据流动:打通对象存储与文件存储的访问链路

数据流动连接对象存储的数据长期保存能力与文件系统的高性能访问能力:数据长期保存在对象存储中,业务通过 POSIX 文件接口访问所需内容;任务开始前按需预热,训练产生的新数据和结果沉降回对象存储,而不再需要长期保留在高性能存储中的文件数据则通过淘汰释放空间。

数据流动打通对象存储与文件存储访问链路示意图

5. | EFS 数据流动:让存储配合业务节奏

火山引擎弹性文件存储(Elastic File Storage,以下简称 EFS),是面向 AI 与云原生的高性能文件存储,容量与性能可按业务规模弹性调整,满足 AI 训练、推理、数据分析等应用的高吞吐与高并发访问需求。

面向海量数据与不断变化的业务场景,EFS 数据流动将高性能文件访问、数据生命周期管理与业务调度结合起来,并与对象存储(Torch Object Storage,以下简称 TOS)协同,让数据按业务需要在高性能文件存储与低成本对象存储之间流转:需要使用的数据支持预热、按需加载或回源至 EFS,业务产生的结果可沉降至 TOS,冷数据则按策略释放 EFS 中的存储空间。结合细粒度任务控制、带宽调度与事件通知,数据准备、训练读写和结果保存可以自动衔接,让数据流转与资源使用更贴合业务节奏。

5.1. 统一访问入口

EFS 支持数据按需加载和元数据按需加载(镜像回源),可将多个 TOS 桶中的海量数据组织为一个支持 POSIX 语义的高性能文件目录树。这使 EFS 成为 TOS 的高性能访问入口,打破了传统文件访问依赖数据全量搬迁的限制,提供了“数据长期保存在 TOS,业务通过文件接口按需访问”的新范式。对业务而言,这不是多一个挂载点,而是让训练、分析、推理和批处理能够以标准的 POSIX 语义直接使用 TOS 中的海量数据。

EFS 统一访问入口与镜像回源示意图

这一点对大模型和自动驾驶尤其重要。训练平台可继续以文件方式读取样本和 Checkpoint,数据平台仍可在 TOS 侧组织原始数据、标注数据和历史结果。文件访问和对象访问不再互相割裂,业务改造成本也更低。

5.2. 自动生命周期管理

数据淘汰: EFS 数据流动支持根据文件的最后访问时间(atime)进行数据淘汰,当策略内的文件 atime 超过指定时间,系统会先将数据沉降至 TOS,保证数据完整性;再根据策略淘汰 EFS 中的数据或元数据。高性能存储空间随之释放,企业也无需为长期不再访问的数据持续承担文件存储的容量成本。

按需加载: 当业务下次读取被淘汰的文件和 TOS 新写入的文件时,EFS 会按需加载 TOS 中的内容,不必先把整批数据全部预热至文件系统。 数据可以长期低成本保存,业务仍以文件方式按需使用 ,既节省容量费用,也几乎不会因等待全量数据搬迁而造成计算资源闲置。对于需要提前准备的数据,还可以主动预热,减少首次读取的等待时间。

EFS 自动生命周期管理与按需加载流程图

5.3. 双向数据流动,数据按需访问

数据流动支持双向同步,业务可通过文件接口或对象接口读写同一份数据。 在 EFS 中创建或修改文件,策略会自动将变化同步至 TOS;在 TOS 上传文件,策略也会自动将文件同步至 EFS,供训练、分析和推理使用。同时 EFS 支持可选配置“同步删除”:任一侧删除文件,另一侧关联的数据也会同步删除。

双向数据回源让业务无需等待提前同步,即可按需获取数据。 训练任务可通过数据回源读取 TOS 中的样本,下游也可通过对象接口回源读取 EFS 中产生的 Checkpoint;文件内容或元数据淘汰后,仍可从原路径按需加载。对于需要提前准备或集中导出的数据,业务还可按目录、文件列表或属性条件提交一次性任务,让持续同步、按需访问与批量调度配合使用。

EFS 双向数据流动架构示意图

5.4. 高吞吐,带宽智能调度

EFS 支持单实例百 GB/s 级数据流动能力,面向大规模样本预热和结果沉降,能极大缩短数据准备与保存所需的时间。EFS 将业务 IO 与数据流动 IO 队列隔离,并按 QoS 配置调度。当业务 IO 与数据流动 IO 都繁忙时,数据流动按默认带宽比例进行控制,避免批量预热或沉降无约束地争抢业务带宽。业务负载降低后,流动任务可借用闲置带宽,加快样本准备;流动任务空闲时,业务也可使用实例的全部剩余带宽。

EFS 高吞吐带宽智能调度示意图

5.5. 自动化事件通知

EFS 支持数据流动任务的事件通知,自动将任务执行状态传递给业务调度系统。样本预热完成后,调度系统可自动启动训练任务;Checkpoint 导出成功后,可自动继续下游归档校验或分析。数据准备与结果保存由此成为可自动衔接的业务环节,减少人工跟踪进度和跨团队确认,避免数据已就绪、计算任务却仍在等待人工放行。

EFS 自动化事件通知流程图

6. | 数据流动,到业务提效

EFS 数据流动让业务以熟悉的方式使用数据,使存储成本与数据冷热相匹配,并减少数据搬运和任务交接中的人工投入。

6.1. 业务运行更灵活

双向数据流动让文件存储与对象存储协同处理同一批业务数据。训练、推理、分析和批处理通过 EFS 获得高性能、标准 POSIX 语义的文件访问;数据平台继续通过对象存储 S3 接口管理 TOS 中的原始数据和归档结果。业务可按场景选择访问方式,不必为不同系统反复导入导出数据,也无需把全部流程绑定到一种存储接口上。

6.2. 冷数据成本可控

训练结束后,暂不再使用的样本和历史结果无需长期占用高性能存储。EFS 按策略先将数据沉降至 TOS,再淘汰文件内容、保留元数据,释放高性能空间。后续需要重训或分析时,业务仍从原路径按需读取。长期保存使用低成本存储,活跃数据使用高性能存储,整体存储成本最高可降低 80%。

6.3. 性能资源按优先级使用

EFS 通过细粒度 QoS,让数据流动配合业务负载使用带宽。训练、推理等任务繁忙时,预热和沉降受控运行,减少对关键业务的影响;业务负载降低时,流动任务借用闲置带宽,加快样本数据准备和历史结果归档;流动任务空闲时,业务可充分使用实例的可用带宽。同一份性能资源随负载灵活分配,减少人工错峰和带宽闲置,兼顾业务运行与数据搬运效率。

6.4. 流程编排更省心

EFS 通过事件通知,将数据流动任务的状态交给业务调度系统,任务完成后主动通知业务层,让下一步数据准备与计算任务自动执行。数据是否就绪、结果是否保存,成为业务流程可直接使用的调度信号。数据团队、平台团队和算法团队因此减少反复确认与人工交接,计算任务也不必在数据已准备完成后,仍需等待人工确认才能启动。

7. | 结语:让数据在流动中释放更大的价值

EFS 数据流动的产品价值,不在于单独提供一个数据导入导出的工具,而在于把 TOS、高性能文件存储和业务调度组织成一条可持续运行的数据链路。它为企业提供了一种新的泛文件访问方式:长期数据放在 TOS 中,业务需要时以 POSIX 语义高性能访问,阶段结束后再回到更经济、更适合长期保存的位置。

这也是 AI 时代文件存储要完成的升级:不只是存得下、读得快,而是让数据按照业务节奏自然流动。