DeepSeek 开源 DeepInfer 推理框架,支持英伟达和华为昇腾

DEEPSEEK-2.21%
据 ChainCatcher 报道,DeepSeek 今日宣布,已将其内部推理框架 DeepInfer 和生产级 Token 编解码组件 deepseek-recipe 开源。DeepInfer 集成了高性能算子和优化后的推理引擎,支持分布式推理、投机解码和结构化输出,并兼容英伟达和华为昇腾平台。DeepSeek 表示,已部署 DeepInfer,为 DeepSeek V4.1 Flash 提供高吞吐、低延迟的推理服务;未来模型的推理代码和优化也将持续更新至该框架。
免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论