据 Odaily 报道,智谱创始人唐杰今日(8月19日)在 X 上发文称,AI 行业提升大语言模型能力的方法正从扩大参数规模转向多维扩展。唐杰强调,参数数量本身无法衡量模型能力,必须结合训练数据量、计算资源分配和实际部署场景进行评估。他指出,早期研究优先追求参数增长而非数据扩展,催生了万亿级参数模型,但近期研究表明,最佳方法是让参数和训练数据按比例增长。随着推理成本在模型生命周期中变得日益重要,效率优化正在取代单纯降低训练成本,使经过更充分训练的小型模型越来越受到重视。在 MoE(专家混合)架构中,总参数量决定知识存储容量,而激活参数量和推理深度则影响复杂任务的表现。唐杰透露,智谱最新的 GLM-5.3 模型与 GLM-5.2 采用相同的架构、总参数量和激活参数量,但通过一个月的大规模后训练和强化学习优化实现了性能提升,而非增加参数。他总结称,大语言模型竞争正进入多维扩展探索阶段,未来能力提升将更多取决于训练策略、推理深度和后训练优化。
免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见
声明。