Nick Cammarata 是可解释性初创公司 Goodfire 的研究员,曾任职于 OpenAI。他于 2026 年 10 月 15 日发表了一篇文章,认为如今已经能够理解大型神经网络中的大多数神经元。文章标题为《神经网络已经清晰》,声称 Qwen3-32B 等模型中近 90% 的神经元承担单一主要功能,另有 7% 涵盖两个相关功能,只有 2% 至 4% 仍无法解释。与 2023 年相比,这一结果有了显著提升。当时,Cammarata 在 OpenAI 的研究发现,借助当时可用的工具,只有 1.7% 至 2% 的神经元是可解释的。这一进展源于先进的智能体方法,使自动化分析取代了人工逐个检查神经元。该发现挑战了此前 AI 可解释性研究中关于多义性和叠加的主流叙事。
Cammarata 报告称神经网络可解释性已从 2% 提升至 90%
Cammarata 的文章修正了他自己此前于 2023 年得出的结论。当时,他在 OpenAI 参与一个项目,发现借助当时可用的工具,只有约 1.7% 至 2% 的神经元是可解释的。近期分析使用先进的智能体方法发现,Qwen3-32B 等模型中近 90% 的神经元承担单一主要功能。根据文章中介绍的初步发现,另有 7% 涵盖两个相关功能,只有 2% 至 4% 仍无法解释。
文章重新审视了所谓“纠缠”神经元的早期案例,包括 InceptionV1 中的相关案例。InceptionV1 是一个图像识别模型,曾在早期可解释性研究中接受分析。Cammarata 认为,其中一些表面上的纠缠现象源于分析方法的局限,而不是网络本身的问题。他质疑塑造了该领域的叠加和多义性叙事,认为许多被视为这些观点证据的观察结果,实际上源于分析方法的缺陷。Cammarata 曾于 2020 年和 2023 年共同撰写有关机制可解释性的论文。
研究社区对可解释性主张反应不一
该文章在业内研究人员中引发了不一的反应。一些研究人员认为,这可能是 AI 对齐领域的突破。另一些人则警告不要夸大其影响,并指出表征叠加等概念仍然是讨论的核心。Cammarata 将这一转变视为对齐工作的核心,并对规模化自动化方法所带来的可能性表示乐观。
自动化智能体方法推动神经网络分析规模化
神经网络可解释性的提升来自基于智能体的自动分析,而不是人类费力地逐个检查神经元。这表明,可解释性或许能够与其所研究的模型同步扩展。其他模型上的这些方法能否经由独立团队测试,以及单一功能标签能否经受更深入的审查,将决定“已经清晰”是否会成为新的共识,还是会继续成为可解释性领域争论的话题。
常见问题
Nick Cammarata 在 2026 年 10 月 15 日发表的文章中提出了什么主张?
Nick Cammarata 在其文章《神经网络已经清晰》中称,Qwen3-32B 等大型模型中近 90% 的神经元承担单一主要功能,另有 7% 涵盖两个相关功能,只有 2% 至 4% 仍无法解释。这比他 2023 年在 OpenAI 的研究结果有了显著提升;当时的研究发现,借助当时可用的工具,只有 1.7% 至 2% 的神经元是可解释的。
研究人员如何实现神经网络可解释性的提升?
神经网络可解释性的提升来自基于智能体的自动分析方法,而不是人类逐个手动检查神经元。这些先进的智能体方法实现了规模化自动分析,使研究人员能够理解大型模型中更高比例神经元的功能。
研究社区对 Cammarata 主张的反应如何?
研究社区对 Cammarata 文章的反应不一。一些研究人员将其视为 AI 对齐领域的潜在突破,另一些人则警告不要夸大其影响,并指出表征叠加等概念仍然是可解释性领域持续讨论的核心。