据雷峰网报道，OpenAI 早期机制可解释性研究科学家、《Zoom In》共同作者 Nick Cammarata 近日发表长文《Neural Networks Are Already Clean》，推翻自己十年前关于神经网络深层不可解释的结论。他称，在新工具下，现代视觉模型最后一层 99% 至 100% 的神经元都能得到较清晰解释；OpenAI 核心研究员 roon 转发称这是“科学史上的重要时刻”。
反转始于 InceptionV1 模型编号 4e:55 的神经元。它看到“猫脸”和“汽车车头”时都会强烈激活，曾令学界认为神经网络底层逻辑不可解释。此后十年，稀疏自编码器分解、特征字典、特征解缠成为主流，思路都是把纠缠特征拆成独立单元。2020 年，Cammarata 与 Chris Olah 在《Zoom In》中称，网络把汽车特征信号藏进一组“狗神经元”，进一步支持“叠加假说”：神经元不够用时，网络会把互不相关概念折叠进同一神经元。
Cammarata 现在认为，误判根源是观测工具太低级。2023 年，他在 OpenAI 做首个大规模自动化神经元解释项目，用当时工具只能解释约 2% 的神经元。三年后，他带更先进算法和 Agent 团队重新研究，发现现代视觉模型最后一层 99% 至 100% 的神经元可清晰解释，连以“深层混乱”著称的 InceptionV1 可解释率也大幅提升。他在长文中提出，神经网络内部有连贯、精妙、可被人类直接阅读的组织结构，并非一团乱麻。
两个经典“多义性”案例被重新解释。过去的特征可视化用梯度下降合成最强激活图，算法会“奖励作弊”，而 ImageNet 中猫狗图片多、特征强，合成图混入猫胡须、狗皮毛等语义残渣，导致研究者误读。Cammarata 团队改用激活路径引导和正负两极交叉验证，结果“猫与汽车神经元”检测的是 V 字几何形状：狐狸尖脸、火焰、汽车尖头、消防船 V 形水柱触发正极，圆脸、圆球、圆形车轮触发负极。另一组“汽车与狗神经元”检测的是“物体是否正脸面对镜头且两侧对称”，汽车特征信号被打上“正面朝前”标签后继续流向下游，最终分流进汽车分类电路和狗分类电路。误读根源是数据集偏差。
Cammarata 用“递归泛化”解释多义性，认为神经元像树枝生长：最初识别油菜花，沿“黄色”轴拓展到黄色物体，沿“圆形外形”延伸到球状物体，再沿“花田里的生物”覆盖花田里的狗，最后延伸到西兰花；语言模型中，原本只检测“iy”发音的神经元先延伸到“diy”，最后连不含“iy”音的“Do it yourself”也能激活。他还做了极限压力实验：在 InceptionV1 的 3b 层，该层没有残差流，信号无法绕路，他把原本检测曲线的 480 个神经元压缩至 10 个，相当于 48 倍压缩，再从零训练。按叠加假说这应导致混乱，结果 10 个神经元个个清晰可解释，只是每个管得更宽。SAE 拆出的特征响应宽度反而比原始神经元粗好几倍，可能是 SAE 制造的数学假象。
质疑随之而来。Google DeepMind 机制可解释性团队负责人、叠加理论核心奠基人之一 Neel Nanda 认为，文章虽有趣，但没有带来实质性突破。他指出，“叠加”在领域内至少有五六种定义，Cammarata 推翻的是“任意叠加”，而他捍卫的“表征叠加”指大语言模型用少数神经元线性组合表达海量概念。Neel Nanda 还称，弱激活中存储海量事实和记忆组合，是叠加的核心载体；论文证据多来自视觉模型，不能证明大语言模型没有叠加；SAE 在残差流上仍不可替代。Cammarata 回应称，文章只是“工作假设”，研究只覆盖视觉和语言单模态模型，多模态融合层未涉及，语言模型也缺少训练检查点；他未全盘否定 SAE，正常未压缩层上 SAE 与原生神经元形状匹配度达 0.96 至 1.00。