蚂蚁集团与 vLLM 社群于 10 月 21 日开源 Humming 量化推理算子库

据 PANews 报道,10 月 21 日,蚂蚁集团与 vLLM 社区联合开源了 Humming,这是一款通用量化推理算子库。Humming 支持多种兼容 CUDA 的 GPU 设备,并为稠密模型和混合专家(MoE)模型提供丰富的量化格式,涵盖多种整数和浮点类型。与 vLLM Marlin、FlashInfer 和 DeepGEMM 相比,该库在典型工作负载中展现出更优的性能。
免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论