Qualcomm Technologies 与云服务提供商 Cirrascale Cloud Services 宣布,面向下一代机架级 AI 推理而设计的 Qualcomm Dragonfly AI200 解决方案现已通过 Cirrascale 向部分客户开放评估。随着生成式 AI 从模型开发转向大规模部署,推理性能、功耗和成本已成为云服务提供商和企业的关键考量,推动 Qualcomm 拓展数据中心 AI 推理市场。此次合作使 Cirrascale 能够提供 AI 云环境,让客户使用自己的模型和工作负载评估并验证 Qualcomm Dragonfly AI200。
Qualcomm Dragonfly AI200 规格与架构
Qualcomm Dragonfly AI200 结合大容量内存、机架级计算性能和针对推理优化的软件架构,以支持大型语言模型、多模态模型及其他 AI 工作负载。每张加速卡支持 768GB LPDDR 内存,其架构专为万亿参数规模的下一代基础模型推理而设计。该机架级解决方案集成了直接液冷、PCIe 纵向扩展、以太网横向扩展和机密计算技术,并搭配 Qualcomm AI Management Suite,支持主流 AI 框架生态系统。
Cirrascale Cloud Services 商业模式与支持
通过此次合作,Cirrascale 提供技术支持,包括平台验证、工作负载分析、性能基准测试和概念验证服务。部分客户可以通过 Cirrascale 的云环境评估专为 AI 推理打造的平台。Cirrascale 采用固定费率商业模式,不收取数据流入或流出费用,并凭借其在专用 AI 云基础设施和托管服务运营方面的经验提供服务。
高管对 AI 推理市场的看法
Cirrascale Cloud Services 首席执行官 Dave Driggers 表示,AI 的整体经济效益越来越取决于推理阶段的成本和效率;客户需要能够兼顾效率与可扩展性的基础设施,以支持日益复杂的模型,同时避免电力和运营成本方面的瓶颈。Qualcomm Technologies 数据中心事业部执行副总裁兼总经理 Tony Pialis 表示,AI 推理正成为数据中心中规模最大、最重要的计算工作负载之一,而行业需要更高效的解决方案。他指出,Qualcomm AI200 将 Qualcomm 在高性能、低功耗 AI 计算方面的专长拓展至机架级基础设施,其架构专为满足推理性能、内存和成本需求而设计。
常见问题
每张 Qualcomm Dragonfly AI200 加速卡支持多大内存容量?
每张 Qualcomm Dragonfly AI200 加速卡支持 768GB LPDDR 内存,其架构专为万亿参数规模的下一代基础模型推理而设计。
Cirrascale Cloud Services 为其 AI 基础设施采用什么商业模式?
Cirrascale Cloud Services 采用固定费率商业模式,不收取数据流入或流出费用,并提供专用 AI 云基础设施和托管服务运营。