英伟达 NemoGuard 8B TopicControl NIM v1.10.1 将上下文扩展至 12.8 万个代币

关键要点

  • 英伟达 Llama 3.1 NemoGuard 8B TopicControl NIM v1.10.1 将模型上下文长度从 0.8 万个词元扩展至 12.8 万个词元,以增强对话审核能力。
  • 英伟达 Llama 3.1 NemoGuard 8B TopicControl NIM v1.10.1 新增对英伟达 B200 和 H200 GPU 的支持,并采用通用的 vLLM 模型配置降低部署要求。
  • 英伟达 Llama 3.1 NemoGuard 8B TopicControl NIM v1.0.0 存在一个已知问题:采用 4 GPU 张量并行的模型配置无法运行。

英伟达的 Llama 3.1 NemoGuard 8B TopicControl NIM v1.10.1 版本将模型上下文长度从 8000 个词元提升至 12.8 万个词元。发布说明将该微服务描述为一款 GPU 加速的 LLM,用于对话审核,旨在确保对话围绕主题展开,并支持构建可信赖的 LLM 应用。文档默认标注为版本 1.10.1,同时也提供版本 1.0.0 的文档。

NemoGuard TopicControl NIM 上下文长度提升至 12.8 万个词元

v1.10.1 中的模型上下文长度从 8000 个词元提升至 12.8 万个词元。这是 Llama 3.1 NemoGuard 8B TopicControl NIM 此版本列出的主要功能变更。

NemoGuard TopicControl NIM 新增对英伟达 B200 和 H200 GPU 的支持

v1.10.1 发布新增对英伟达 B200 和 H200 GPU 的支持。这扩展了此版本中部署该微服务的硬件选项。

通用 vLLM 模型配置文件降低本地引擎构建要求

v1.10.1 发布新增通用 vLLM 模型配置文件。根据发布说明,这些配置文件可避免首次运行时构建本地引擎对主机内存和 GPU 的高要求。模型配置文件详情可在支持矩阵中查看。

v1.0.0 的张量并行 4 GPU 模型配置文件存在已知问题

Llama 3.1 NemoGuard 8B TopicControl NIM 的首个版本 v1.0.0 列出了一个已知问题:张量并行 4 GPU 模型配置文件无法运行。

Llama 3.1 NemoGuard 8B TopicControl NIM 发布详情

  • 版本 1.10.1(默认版本)将模型上下文长度从 8000 个词元提升至 12.8 万个词元。
  • 版本 1.10.1 新增对英伟达 B200 和 H200 GPU 的支持。
  • 版本 1.10.1 新增通用 vLLM 模型配置文件,可避免首次运行时构建本地引擎对主机内存和 GPU 的高要求。
  • 版本 1.0.0 是 Llama 3.1 NemoGuard 8B TopicControl NIM 的首个版本,提供用于对话审核的 GPU 加速 LLM 模型。
  • 版本 1.0.0 存在一个已知问题:张量并行 4 GPU 模型配置文件无法运行。

常见问题

Llama 3.1 NemoGuard 8B TopicControl NIM 在版本 1.10.1 中支持多长的上下文?

版本 1.10.1 将模型上下文长度从 8000 个词元提升至 12.8 万个词元。

Llama 3.1 NemoGuard 8B TopicControl NIM v1.10.1 发布支持哪些英伟达 GPU?

v1.10.1 发布新增对英伟达 B200 和 H200 GPU 的支持。

Llama 3.1 NemoGuard 8B TopicControl NIM v1.0.0 发布存在哪个已知问题?

v1.0.0 发布存在一个已知问题:张量并行 4 GPU 模型配置文件无法运行。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论