根据 Andreessen Horowitz 基于 OpenRouter 的数据,AI 智能体在 2026 年 8 月消耗了 7.3 万亿个 token,而人类消耗了 1.4 万亿个,前者是后者的 5 倍,预计这一差距还将进一步扩大。这一激增代表着自 2026 年 2 月以来的巨大转变,当时智能体的使用量首次超过了人类。
超过 85% 的智能体 token 来自缓存提示词,需要重新读取此前存储的上下文。这种对键值(KV)缓存的需求激增,正使 GPU 内存容量承压,并加剧现有的高带宽内存短缺。芯片制造商预计,这一短缺将持续恶化至 2028 年。