高通发布新一代 Hexagon NPU,可支持智能手机运行 300 亿参数模型

QCOM-2.69%

据 Qualcomm 称,9 月 11 日,该公司公布了专为端侧 AI 设计的新一代 Hexagon NPU。该 NPU 引入了 Element Accelerator,针对 Transformer 工作负载进行了优化,配备融合式向量和标量计算单元,并将共享内存容量扩大 50%,以降低延迟和功耗。

Qualcomm 与内存和模型供应商合作,支持移动设备运行参数量达 300 亿的混合专家模型,生成每个代币时仅激活 30 亿个参数。性能提升包括 INT4 模型预填充速度提高 50%,并可在 1.5 秒内生成首个代币,同时支持 INT2、INT4、INT8、FP8 和 FP16 等多种精度格式。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论