英伟达与微软将 AI 基础设施从 Azure 扩展至 Windows PC

关键要点

  • NVIDIA 和 Microsoft 扩大了全栈 AI 合作,将 Vera Rubin NVL72 系统部署到 Azure 数据中心,以支持高负载推理和智能体应用。
  • 根据 MLPerf 基准测试,Azure 借助 GB200 NVL72 系统扩展至 10,240 块 NVIDIA GPU,在 DeepSeek-R1 推理吞吐量方面比其他云服务商的提交成绩高出 10% 以上。
  • EY 通过 Microsoft Foundry 的 Programmed Training 服务使用 NVIDIA Nemotron 开源模型,实现了 55% 的准确率提升和 15 倍的成本降低。

NVIDIA 和 Microsoft 正在拓展双方的全栈合作,帮助组织构建、定制和部署智能应用,覆盖从 Azure 上的新一代基础设施到工业系统和 Windows PC。在 Microsoft Ignite 上,双方将扩大用户对由 NVIDIA Vera Rubin NVL72 系统驱动的 Azure 虚拟机的访问权限,通过 Microsoft Foundry 向客户提供 NVIDIA 开源模型和定制能力,并推出在边缘端运行 AI 的新选项。Microsoft 还在利用 NVIDIA 技术加速自有模型和服务,包括用于后训练的 NVIDIA Dynamo 推理软件,以及用于 Bing 搜索模型的 NVIDIA RTX PRO 6000 Blackwell GPU。

在 Azure 数据中心运行的 NVIDIA Vera Rubin NVL72 系统

NVIDIA Vera Rubin NVL72 系统现已在 Azure 数据中心运行,为复杂推理、智能体应用以及大规模模型训练和推理提供专门设计的基础设施。Microsoft 和 NVIDIA 正在合作,将机密计算扩展至裸金属和机架级 AI 基础设施,帮助保护处理过程中的敏感模型和数据。NVIDIA Confidential Computing 和证明机制可帮助客户在释放敏感模型、数据或密钥之前验证计算环境。

在 MLPerf Training v6.1 中,Azure 在 DeepSeek-V3 模型上使用 GB200 NVL72 系统,将规模扩展至 10,240 个 NVIDIA GPU,创下本轮最大规模纪录。在 MLPerf Inference v6.1 中,据 Signal65 数据,Azure 的 NVIDIA GB300 NVL72 系统在 DeepSeek-R1 交互式吞吐量方面领先云端提交成绩超过 10%。为帮助数据中心从现有电力中获得更高性能,NVIDIA 和 Microsoft 正在合作利用 NVIDIA MaxLPS 提升能效。

通过 Microsoft Foundry 提供企业级开源模型和定制能力

企业 AI 智能体需要推理复杂任务、查找相关公司信息并理解业务文档。NVIDIA 和 Microsoft 正在扩展 Microsoft Foundry 提供的模型和服务,帮助开发者将这些能力引入业务应用。Microsoft 的无服务器 Programmed Training 服务让开发者能够掌控后训练工作流,同时由 Foundry 管理底层基础设施。Foundry Managed Compute 新增了对部署自定义模型权重的支持,帮助通过 Microsoft 的托管服务将模型定制与部署衔接起来。

EY 使用 Microsoft Foundry 中的 Programmed Training 调整 NVIDIA Nemotron 开源模型,用于分类企业采购记录,在其评估数据集上的准确率提高了 55%,与专有前沿模型相比,成本降低了 15 倍。扩展后的 NVIDIA Nemotron 3.5 系列在 Foundry Managed Compute 上提供支持,可满足企业应用的不同需求。Nemotron 3.5 Super 专为跨代码编写、研究和业务工作流执行长期任务的智能体设计,而 Lightning 则支持需要快速响应和工具调用的应用。配套模型可通过 Nemotron Embed 和 Rerank 帮助智能体查找相关信息,通过 Nemotron Parse 从文档中提取结构化信息,并通过 Nemotron Content Safety 检测有害内容。Nemotron 3.5 Bolt 专为高吞吐量、低延迟推理设计,Transcribe 则用于语音识别,两者即将推出。

将 AI 部署到更靠近企业数据的位置

NVIDIA 和 Microsoft 正在将部署选项扩展到云端之外,帮助组织在更靠近数据的位置运行模型和智能体,同时保持对基础设施和运营的掌控。Foundry Local 扩大了对 Nemotron 3.5 的支持,为 Azure Local 环境带来推理、代码编写和工具调用型智能体能力。检索模型可帮助应用从文本、文档图像、图表和表格中查找依据。

Azure Local 还将通过硬件合作伙伴支持 NVIDIA RTX PRO 6000 Blackwell GPU,为组织提供更多本地部署 AI 的选择。Azure Local 正在扩展至 NVIDIA Jetson Thor 和 Jetson Orin 边缘 AI 平台,以支持机器视觉、机器人和自主运行等工业应用。包括 Cosmos 在内的 NVIDIA 物理 AI 模型也将引入 Foundry Local。

在搭载 NVIDIA RTX Spark 的 Windows PC 上,NVIDIA 和 Microsoft 将在 Ignite 展示本地大语言模型体验,演示开发者如何直接在设备上运行 AI 应用。对于使用 Cloud PC 的组织,双方将为 GPU 加速的 Windows 365 Cloud PC 引入 Direct Stream 功能。这些功能支持运行要求严苛的图形应用,最多可支持两路 4K 流,每路每秒 60 帧且延迟较低,即使在网络条件不佳时也能使用。有限预览版现已开放报名,公开预览计划于 2027 年初推出。

通过 Microsoft Discovery 整合科学 AI

在科学研究领域,NVIDIA BioNeMo Agent Toolkit 和 NVIDIA ALCHEMI Toolkit 正在加入 Microsoft Discovery 目录,将生命科学、药物发现、材料科学和化学科学领域的模型引入 Microsoft 的智能体研究平台。BioNeMo Agent Toolkit 帮助科学家在 Microsoft Discovery 中使用自然语言运行计算生物学工作流,由智能体协调执行任务所需的工具和模型调用。首个集成使用了 RFD4-Proteina 模型,该模型由 NVIDIA 与华盛顿大学蛋白质设计研究所合作开发,可生成候选蛋白质结构和氨基酸序列,以供进一步评估和实验室验证。

Microsoft 在内部 AI 开发中使用 NVIDIA 技术

Microsoft 正在自有 AI 开发和服务中使用 NVIDIA 软件和加速计算。Microsoft AI 使用 NVIDIA Dynamo 支持后训练期间强化学习 rollout 推理这一环节;这一计算密集型过程会生成用于改进模型的经验数据。Dynamo 可在大规模 GPU 集群中协调推理,优化性能并管理请求、模型更新和故障恢复。

关键事实

  • 在 MLPerf Training v6.1 中,Azure 在 DeepSeek-V3 模型上使用 GB200 NVL72 系统,将规模扩展至 10,240 个 NVIDIA GPU,创下本轮最大规模纪录
  • 在 MLPerf Inference v6.1 中,据 Signal65 数据,Azure 的 NVIDIA GB300 NVL72 系统在 DeepSeek-R1 交互式吞吐量方面领先云端提交成绩超过 10%
  • EY 通过 Microsoft Foundry 的 Programmed Training 使用 NVIDIA Nemotron 开源模型,使评估数据集上的准确率提高了 55%,成本降低了 15 倍
  • NVIDIA Nemotron 3.5 Super 专为跨代码编写、研究和业务工作流执行长期任务的智能体设计
  • Azure Local 环境将通过硬件合作伙伴支持 NVIDIA RTX PRO 6000 Blackwell GPU
  • Windows 365 Cloud PC 将支持 Direct Stream 功能,最多可支持两路 4K 流,每路每秒 60 帧;有限预览版现已开放报名,公开预览计划于 2027 年初推出
  • NVIDIA RTX Spark 可在 Windows PC 上提供本地大语言模型体验
  • Nemotron 3.5 Bolt 和 Transcribe 即将加入 Nemotron 系列

常见问题

NVIDIA 为 Azure 的 AI 工作负载提供什么基础设施?

NVIDIA Vera Rubin NVL72 系统现已在 Azure 数据中心运行,为复杂推理、智能体应用以及大规模模型训练和推理提供专门设计的基础设施。在 MLPerf Training v6.1 中,Azure 在 DeepSeek-V3 模型上将这些系统扩展至 10,240 个 NVIDIA GPU,创下本轮最大规模纪录。在 MLPerf Inference v6.1 中,据 Signal65 数据,Azure 的 NVIDIA GB300 NVL72 系统在 DeepSeek-R1 交互式吞吐量方面也领先云端提交成绩超过 10%。

企业如何通过 Microsoft Foundry 定制和部署 NVIDIA 开源模型?

Microsoft 的无服务器 Programmed Training 服务让开发者能够掌控后训练工作流,同时由 Foundry 管理底层基础设施。企业可以评估模型的响应,并通过聚焦自身业务数据来改进模型行为。Foundry Managed Compute 新增了对部署自定义模型权重的支持,通过 Microsoft 的托管服务将模型定制与部署衔接起来。EY 展示了这一方法:通过调整 NVIDIA Nemotron 开源模型对企业采购记录进行分类,使准确率提高了 55%,与专有前沿模型相比,成本降低了 15 倍。

NVIDIA 和 Microsoft 提供哪些边缘端和本地部署选项?

Azure Local 正在扩展至 NVIDIA Jetson Thor 和 Jetson Orin 边缘 AI 平台,以支持机器视觉、机器人和自主运行等工业应用。在搭载 NVIDIA RTX Spark 的 Windows PC 上,开发者可以直接在设备上运行 AI 应用。对于 Cloud PC 用户,GPU 加速的 Windows 365 Cloud PC 将引入 Direct Stream 功能,最多可支持两路 4K 流,每路每秒 60 帧;有限预览版现已开放报名,公开预览计划于 2027 年初推出。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论