腾讯云推出采用 GooseFS 和 Agent Bucket 的全栈 AI 存储系统

关键要点

  • 腾讯云推出五层分级存储系统,并借助 GooseFS-X 加速,为 AI 工作负载提供每秒数百 GB 的吞吐量和数百万 IOPS。
  • COS Express-Lite 采用 QLC NAND 闪存技术,每 GB 价格仅为高性能存储的四分之一,且不设最低检索费用。
  • Agent Bucket 为需要高频元数据操作的 AI Agent 应用提供平台级隔离、目录管理、文件共享、去重和回收站功能。

腾讯云推出了一套全面的存储重构体系,旨在满足人工智能工作负载不断变化的需求。该体系引入了分层存储架构,涵盖从极冷的磁带存储到高性能加速层,并推出 Agent Bucket、Vector Bucket 和 COS Rapid Bucket 等专用新产品,以支持大规模 AI Agent 部署和训练场景。这项计划在深圳举行的腾讯全球数字生态大会上发布,反映出存储策略发生了根本转变:从简单权衡容量与速度,转向以数据生命周期为核心,满足模型训练、推理和新兴 Agent 应用的独特需求。此次重构直接响应了 AI 浪潮推动的存储需求激增。传统存储层级已无法充分应对现代 AI 工作负载所特有的复杂数据访问模式、高频元数据操作和跨层突发流量。

面向 AI 工作负载的存储层级重新设计

腾讯云将其存储产品重新划分为五个不同层级——极冷、冷、在线温、在线热和加速层,每层都针对 AI 场景中的特定数据热度模式和访问需求进行了优化。在线热层由 COS 标准存储提供服务,该产品基于腾讯云自研的 Yotta 架构,可实现数百 EB 的集群存储规模、Tbps 级带宽,并支持单个存储桶容纳万亿级对象。在线温层以 COS Express-Lite 为核心。这款近期推出的产品面向需要持续在线的大规模温数据,采用 QLC(四层单元)NAND Flash 作为底层介质,每 GB 价格约为高性能存储的四分之一,同时取消了取回费用门槛。COS Express-Lite 保持与 S3 兼容,可复用现有数据管道和工具链,从而降低访问改造成本。冷层继续采用 COS 低频访问、归档和深度归档存储层级;极冷层则依托配备腾讯云自研磁带引擎技术的磁带存储,该技术的写入速度处于行业领先水平,目前总存储容量超过 2,000 PB。

加速层与高性能访问解决方案

在加速层,腾讯云部署了 GooseFS(数据加速器 Goose 文件系统),将其置于计算框架与 COS、CHDFS 或 HDFS 等底层持久化存储系统之间。针对大数据和 AI 训练场景中的元数据操作缓慢、小文件处理困难、随机输入/输出(IO)操作以及反复拉取数据等痛点,GooseFS 通过缓存和读写加速机制加以解决。在大模型训练和推理过程中,数据集、验证集、预训练权重和向量库会被多个 GPU 反复访问,涉及大量小文件和密集的随机 IO 操作。GooseFS 能够提高缓存命中率、减少 GPU 等待时间,并缓解 COS 层的带宽压力。腾讯云开发了两个版本:GooseFS-Cache 利用 GPU 本地非易失性内存高速接口(NVMe)构建全局缓存;GooseFS-X(全托管高性能并行文件系统)则提供分布式元数据加速,实现数百 GB/s 吞吐量、数百万 IOPS 和亚毫秒级延迟。GooseFS 的高吞吐数据供给和按需读写能力,与 COS 的海量持久化和弹性扩展能力相结合,实现性能与成本之间的平衡,让不同类型的数据都能找到合适的存储位置。

腾讯云正准备推出 COS Rapid Bucket,这是一款目前处于内部测试阶段、面向 AI 训练、推理和高性能计算场景的高性能存储桶产品。该产品采用全 SSD 介质,并将计算与存储部署在同一可用区,以尽可能缩短数据访问路径。根据腾讯云公开的产品信息,COS Rapid Bucket 可提供百万级 IOPS、毫秒级延迟和 TB/s 级吞吐能力,支持训练样本读取、模型检查点写入以及推理服务扩容过程中的模型权重加载等应用。

块存储、文件存储与并行文件系统增强

腾讯云提供 CBS(云块存储),用于支持云服务器和容器的块级存储;还提供 CFS(文件存储),支持 NFS、SMB 和 POSIX 协议,满足多机文件共享和读写需求。CFS Turbo 版本针对 AI 训练场景进行了大幅优化,是一款具备全闪存并行数据面能力的高性能并行文件存储产品。新推出的 TurboS3 可让并行文件系统访问 S3 生态,使单份数据支持 POSIX、HDFS 和 S3 三种访问方式,同时统一命名空间和分布式元数据,充分释放并行存储性能。

面向 Agent 的专用存储基础设施与产品

为应对 2026 年全年 AI Agent 的快速部署,从年初 Crayfish(OpenClaw)等应用的出现,到 WorkBuddy 等系统得到广泛采用,腾讯云推出了一系列针对 Agent 特定需求的专用存储产品。这些需求源于 Agent 的自主规划、工具调用以及记忆和上下文管理等核心特征,需要高频元数据读写操作,同时要求多轮交互上下文数据具备一致性和低延迟访问能力。腾讯云面向 Agent 的存储基础设施包括 Agent Bucket、Vector Bucket、MetaInsight(多模态数据管理引擎)、AgentCFS 和 AgentCBS,覆盖完整的落地链路。Agent Bucket 是面向 AI Agent 时代设计的新型存储桶,满足 Agent 应用中用户画像、任务中间结果和生成内容的存储需求。该产品在 COS 存储桶下引入独立的 Space 结构,可根据用户、Agent 实例或项目配置权限、容量配额和速率限制,并提供目录管理、文件共享、去重、秒传和回收站等功能。Agent Bucket 可实现平台级隔离,防止未经授权的访问。

关键事实

  • 腾讯云 COS 对象存储采用 Yotta 架构,单集群存储规模可达数百 EB,带宽达到 Tbps 级,并支持单个存储桶容纳万亿级对象。
  • COS Express-Lite 采用 QLC NAND Flash 技术,每 GB 价格约为高性能存储的四分之一,并取消取回费用门槛。
  • GooseFS-X(全托管高性能并行文件系统)可实现数百 GB/s 吞吐量、数百万 IOPS 和亚毫秒级延迟。
  • COS Rapid Bucket(目前处于内部测试阶段)面向 AI 训练和推理场景,可提供百万级 IOPS、毫秒级延迟和 TB/s 级吞吐量。
  • 腾讯云磁带存储解决方案采用自研磁带引擎技术,总容量超过 2,000 PB,写入速度处于行业领先水平。
  • TurboS3 可让并行文件系统访问 S3 生态,支持三种访问方式(POSIX、HDFS、S3),并统一命名空间和分布式元数据。
  • Agent Bucket 为 AI Agent 应用提供平台级隔离、目录管理、文件共享、去重、秒传和回收站功能。

常见问题

腾讯云新存储系统的架构基础是什么?

腾讯云将其存储产品重新划分为五个不同层级——极冷、冷、在线温、在线热和加速层,每层都针对 AI 场景中的特定数据热度模式和访问需求进行了优化。该系统遵循的原则是,根据数据的访问频率、延迟要求和成本限制,为不同类型的数据选择合适的存储位置。在线热层采用基于 Yotta 架构的 COS 标准存储;在线温层采用使用 QLC NAND Flash 介质的 COS Express-Lite;冷层采用 COS 低频访问、归档和深度归档存储层级;极冷层依托采用专有磁带引擎技术的磁带存储;加速层则部署具备缓存和读写加速能力的 GooseFS。

GooseFS 如何提升 AI 训练场景中的性能?

GooseFS 位于计算框架与底层持久化存储系统之间,通过缓存和读写加速机制解决 AI 训练中的关键痛点。在大模型训练过程中,数据集、验证集、预训练权重和向量库会被多个 GPU 反复访问,涉及大量小文件和密集的随机 IO 操作。GooseFS 能够提高缓存命中率、减少 GPU 等待时间,并缓解 COS 层的带宽压力。GooseFS 有多个版本,包括利用 GPU 本地 NVMe 创建全局缓存的 GooseFS-Cache,以及通过分布式元数据加速实现数百 GB/s 吞吐量、数百万 IOPS 和亚毫秒级延迟的 GooseFS-X。

TurboS3 为并行文件系统提供哪些具体能力?

腾讯云新推出的 TurboS3 可让并行文件系统访问 S3 生态,同时使单份数据支持 POSIX、HDFS 和 S3 三种访问方式,并统一命名空间和分布式元数据。通过支持多种协议标准下的灵活数据访问方式,而无需针对每种访问方式分别保存数据副本,这一设计充分释放了并行存储系统的性能。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论