英伟达 NemoGuard 8B TopicControl NIM v1.10.1 将上下文扩展至 12.8 万个代币
英伟达的 Llama 3.1 NemoGuard 8B TopicControl NIM v1.10.1 版本将模型上下文长度从 8000 个词元提升至 12.8 万个词元。发布说明将该微服务描述为一款 GPU 加速的 LLM,用于对话审核,旨在确保对话围绕主题展开,并支持构建可信赖的 LLM 应用。文档默认标注为版本 1.10.1,同时也提供版本 1.0.0 的文档。 NemoGuard TopicControl NIM 上下文长度提升至 12.8 万个词元 v1.10.1 中的模型上下文长度从 8000 个词元提升至 12.8 万个词元。这是 Llama 3.1 NemoGuard 8B TopicControl NIM 此版本列出的主要功能变更。 NemoGuard TopicControl NIM 新增对英伟达 B200 和 H200 GPU 的支持 v1.10.1 发布新增对英伟达 B200 和 H200 GPU 的支持。这扩展了此版本中部署该微服务的硬件选项。 通用 vLLM 模型配置文件降低本地引擎构建要求 v1.10.1 发布新增通用 vLLM 模型配置文件。根据发布说
Gate 全球科技前线·11-12 11:09
