Qualcomm 已重构其下一代 Hexagon NPU 架构,以支持移动设备上的 AI Agent 工作负载。更新后的处理器将 NPU 共享内存容量提升 50%,减少对频繁访问外部内存的需求,并支持更长的上下文处理、多模型协作以及 AI Agent 并行运行。
该架构引入了专门用于 Transformer 工作负载的新型元素加速器,并新增对专家混合(MoE)模型的支持。这类模型会针对每项任务动态激活所需的参数。对于 INT4 模型,该平台可将预填充性能提升最多 50%,同时提高代币生成速度。
相关快讯
小米开源 Robotics-U0 具身模型,FlashAR+ 提速 83 倍
思科和英伟达借助私有云基础设施拓展 Splunk AI 合作伙伴关系
美光股价在 512GB DDR5 内存演示后上涨——AMD、英特尔予以验证