AI研究人员表示,如今神经网络中90%的神经元都可以解释

关键要点

  • Nick Cammarata 于 2026 年 10 月 15 日发表文章,声称如今 90% 的神经网络神经元都可解释。
  • Qwen3-32B 中近 90% 的神经元承担单一主要功能,而 2023 年这一比例仅为 1.7-2%。
  • 先进的智能体自动化方法实现了大规模神经网络分析,而不再依赖人工检查神经元。

Nick Cammarata 是可解释性初创公司 Goodfire 的研究员,曾任职于 OpenAI。他于 2026 年 10 月 15 日发表了一篇文章,认为如今已经能够理解大型神经网络中的大多数神经元。文章标题为《神经网络已经清晰》,声称 Qwen3-32B 等模型中近 90% 的神经元承担单一主要功能,另有 7% 涵盖两个相关功能,只有 2% 至 4% 仍无法解释。与 2023 年相比,这一结果有了显著提升。当时,Cammarata 在 OpenAI 的研究发现,借助当时可用的工具,只有 1.7% 至 2% 的神经元是可解释的。这一进展源于先进的智能体方法,使自动化分析取代了人工逐个检查神经元。该发现挑战了此前 AI 可解释性研究中关于多义性和叠加的主流叙事。

Cammarata 报告称神经网络可解释性已从 2% 提升至 90%

Cammarata 的文章修正了他自己此前于 2023 年得出的结论。当时,他在 OpenAI 参与一个项目,发现借助当时可用的工具,只有约 1.7% 至 2% 的神经元是可解释的。近期分析使用先进的智能体方法发现,Qwen3-32B 等模型中近 90% 的神经元承担单一主要功能。根据文章中介绍的初步发现,另有 7% 涵盖两个相关功能,只有 2% 至 4% 仍无法解释。

文章重新审视了所谓“纠缠”神经元的早期案例,包括 InceptionV1 中的相关案例。InceptionV1 是一个图像识别模型,曾在早期可解释性研究中接受分析。Cammarata 认为,其中一些表面上的纠缠现象源于分析方法的局限,而不是网络本身的问题。他质疑塑造了该领域的叠加和多义性叙事,认为许多被视为这些观点证据的观察结果,实际上源于分析方法的缺陷。Cammarata 曾于 2020 年和 2023 年共同撰写有关机制可解释性的论文。

研究社区对可解释性主张反应不一

该文章在业内研究人员中引发了不一的反应。一些研究人员认为,这可能是 AI 对齐领域的突破。另一些人则警告不要夸大其影响,并指出表征叠加等概念仍然是讨论的核心。Cammarata 将这一转变视为对齐工作的核心,并对规模化自动化方法所带来的可能性表示乐观。

自动化智能体方法推动神经网络分析规模化

神经网络可解释性的提升来自基于智能体的自动分析,而不是人类费力地逐个检查神经元。这表明,可解释性或许能够与其所研究的模型同步扩展。其他模型上的这些方法能否经由独立团队测试,以及单一功能标签能否经受更深入的审查,将决定“已经清晰”是否会成为新的共识,还是会继续成为可解释性领域争论的话题。

常见问题

Nick Cammarata 在 2026 年 10 月 15 日发表的文章中提出了什么主张?

Nick Cammarata 在其文章《神经网络已经清晰》中称,Qwen3-32B 等大型模型中近 90% 的神经元承担单一主要功能,另有 7% 涵盖两个相关功能,只有 2% 至 4% 仍无法解释。这比他 2023 年在 OpenAI 的研究结果有了显著提升;当时的研究发现,借助当时可用的工具,只有 1.7% 至 2% 的神经元是可解释的。

研究人员如何实现神经网络可解释性的提升?

神经网络可解释性的提升来自基于智能体的自动分析方法,而不是人类逐个手动检查神经元。这些先进的智能体方法实现了规模化自动分析,使研究人员能够理解大型模型中更高比例神经元的功能。

研究社区对 Cammarata 主张的反应如何?

研究社区对 Cammarata 文章的反应不一。一些研究人员将其视为 AI 对齐领域的潜在突破,另一些人则警告不要夸大其影响,并指出表征叠加等概念仍然是可解释性领域持续讨论的核心。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论