据 Qualcomm 称,9 月 11 日,该公司公布了专为端侧 AI 设计的新一代 Hexagon NPU。该 NPU 引入了 Element Accelerator,针对 Transformer 工作负载进行了优化,配备融合式向量和标量计算单元,并将共享内存容量扩大 50%,以降低延迟和功耗。
Qualcomm 与内存和模型供应商合作,支持移动设备运行参数量达 300 亿的混合专家模型,生成每个代币时仅激活 30 亿个参数。性能提升包括 INT4 模型预填充速度提高 50%,并可在 1.5 秒内生成首个代币,同时支持 INT2、INT4、INT8、FP8 和 FP16 等多种精度格式。