这项由苹果公司研究团队完成的研究以预印本形式于2026年5月8日发布在arXiv平台，编号为arXiv:2605.08513v1，有兴趣深入了解的读者可以通过该编号查询完整论文。
每当你和某款AI聊天助手交流时，它会拒绝回答一些危险的问题——怎么制造炸弹、怎么伤害自己或他人。这套拒绝回答的能力，被称为"安全对齐"，是AI公司花费巨大代价训练出来的。我们通常以为，这套防护系统像一张细密的渔网，散布在模型数亿甚至数十亿个参数里，牵一发而动全身，很难被轻易破坏。
然而，苹果的研究人员发现了一件让人颇为不安的事：这张网，可能只靠一根线撑着。
在横跨七款主流大型语言模型（包括Qwen3系列的1.7B到32B，以及Llama-3.1的8B和70B版本）的系统性实验中，研究团队证明了一件事：只需精确定位并操控模型内部的**一个**神经元，就能让整个安全防线全面崩溃——模型会开始回答任何危险问题，平均成功率高达91.7%。这一切不需要重新训练模型，不需要改写任何权重，不需要设计复杂的"越狱提示词"，只需一行代码，在前向传播过程中悄悄把那个神经元的数值固定住。
更出乎意料的是，这套机制是双向的。研究团队不仅能通过"压制"某个神经元来让模型忘记拒绝，还发现了另一类神经元——"概念神经元"。这类神经元本身存储着某种有害知识，放大它的激活，模型就会在毫无相关请求的情况下，自发地把那种内容注入到任何回答中。研究团队以"自杀神经元"为例展示了这一现象：当你问模型"写一首关于海洋的诗"，在激活了那个神经元后，模型输出的诗句开始绕着"结束自己的生命"打转，而你对此毫不知情。
以下是这个故事的完整经过。
一、安全防线究竟长什么样
在理解研究团队的发现之前，有必要先弄清楚大型语言模型的安全防线究竟是怎么工作的。
大型语言模型的核心结构是由一层层的"变换器"模块堆叠而成，每一层里都有注意力机制和前馈神经网络（MLP）。我们可以把整个模型想象成一条流水线——文字信息从一端输入，经过数十个处理站的加工，从另一端流出答案。每个处理站里的"工人"就是神经元，数以百万计。
长期以来，研究者们普遍认为，安全能力均匀地散布在这条流水线的每一处。这是因为，训练安全行为时调整的是整套参数体系，从直觉上看，安全知识不应该集中在某个角落。
2024年，麻省理工学院等机构的Arditi等人发现了一条线索：在模型的中间信息流（学术上叫"残差流"）中，存在一个特定的方向向量，只要在每一层都沿这个方向做减法，模型就会停止拒绝回答危险问题。这个发现已经很惊人，但它是一个"全局方向"——覆盖了整个模型的每一层，更像是一根贯穿流水线的主轴，而不是某个局部零件。
苹果的研究团队想问的问题更极端：能不能把干预目标缩小到**单个神经元**？如果可以，那安全对齐就不是一张网，而是一个开关。
二、如何在数百万个神经元中找到那一个
定位"拒绝神经元"的过程，有点像在一个巨大的配电箱里找到那根专门控制安全警报的保险丝。
研究团队设计了一套两步走的筛查策略。第一步是粗筛，他们用128条危险提示词和128条无害提示词跑一遍模型，同时给模型的每一个神经元装上"传感器"，记录它在危险问题和普通问题下分别是什么激活状态。与此同时，他们还计算一个梯度信号——如果调整这个神经元，会对模型产生拒绝回答的概率产生多大影响。把"激活差异"和"梯度影响"两个信号相乘，就得到一个综合得分，得分越高，这个神经元越可能是那根"保险丝"。
这个评分公式背后的直觉很清晰：一个真正的拒绝神经元应该同时满足两个条件——遇到危险内容时它会明显激活（有别于普通问题），以及压低它的激活会让模型更倾向于回答危险内容。满足这两点，得分自然高。
粗筛之后会选出得分最高的五个候选神经元，接着进行第二步精筛：用191条验证集问题（来自HarmBench数据集）逐一测试这五个候选神经元，把每个神经元的激活值固定在某个特定数值上，看哪一个能带来最高的"攻击成功率"，就选哪一个作为最终目标。
研究团队特别强调，得分最高的候选不一定是实际效果最好的——有时候排第二、第三的候选在实际攻击中表现更佳。这就是为什么需要用真实数据来做精筛，而不是直接相信理论评分。
这套筛选流程只需要对模型做一次完整的前向和反向传播，计算量极小，整个搜索过程覆盖模型前三分之二的层数，因为研究团队发现后几层的神经元对拒绝行为的影响相对有限。
三、找到之后怎么用：干预方式的两个版本
一旦锁定了目标神经元，干预本身极其简单。研究团队的做法是在模型的前向传播过程中安装一个"钩子"——每次信息流过那个神经元所在的位置时，就把那个神经元的数值强制改成某个预先设定好的常数。只需五行Python代码，不修改任何模型权重。
这个"强制赋值"的干预被称为"常数干预"。它的效果很强悍，但有个副作用：因为对所有提示词一视同仁地强制固定神经元，在某些本来不涉及危险内容的普通问题上，模型的正常能力会受到一些影响。研究数据显示，常数干预下模型在MMLU（一个综合知识测试）上平均下降8.8个百分点，有些模型（比如Llama-3.1-70B）甚至掉了18.2个百分点。
为了解决这个问题，研究团队设计了第二个版本，叫做"锚点干预"。这个版本更聪明——它先不动声色地偷看一眼提示词让那个神经元自然产生的激活数值，然后根据这个数值来决定最终干预力度。如果一条提示词本来就会强烈激活这个神经元（暗示它是危险内容），那就用力压下去；如果几乎不激活（暗示是普通内容），就只施加很小的扰动。
这种"看人下菜碟"的做法大幅减少了对正常能力的损伤。在锚点干预下，MMLU平均只下降0.6个百分点，GSM8K数学推理测试只下降0.1个百分点——几乎可以忽略不计。与此同时，攻击成功率只比常数干预略低一点点，Llama-Guard评分下平均为90.1%，而常数干预是91.9%。
这两个数字都和Arditi等人的残差流方向法相当——那个方法需要在模型的每一层做全局向量减法，而这里只动了一个神经元的一个数值。
四、七款模型，一百道测试题，成功率多少
研究的主要评估发生在JailbreakBench数据集上，这是一个包含100条危险行为问题的公开测试集，涵盖各种类型的有害请求，从制造武器到非法活动，从有害内容到隐私侵犯。它完全独立于筛选神经元时使用的训练集和验证集，相当于一套"期末考试"。
评判成功与否使用了两套独立的裁判。其一是Claude（Anthropic的大型语言模型），它会分析模型的回答，判断是否既非拒绝又内容连贯。其二是Llama-Guard-3-8B，一个专门用于内容安全检测的分类模型，只有当它判定回答属于"不安全"内容时，才计入攻击成功。
在七款模型上，常数干预的LLM裁判攻击成功率依次是：Qwen3-1.7B 77%、Qwen3-4B 98%、Qwen3-8B 91%、Qwen3-14B 95%、Qwen3-32B 94%、Llama-3.1-8B 98%、Llama-3.1-70B 89%，平均91.7%。而未干预的基线成功率（即模型自然的不拒绝率）大多在2%到36%之间，干预前后的差异极为显著。
值得关注的是，研究团队对评估方式格外谨慎。他们特别指出，传统的"检测拒绝词"方法（比如检测回答里有没有"对不起"、"我无法帮助"之类的词）是不可靠的。原因有两个方向：模型有时候会先说"对不起"再继续提供有害信息，也有时候会用完全没有拒绝词的方式悄悄绕过请求——比如本文附录里展示的那个案例，Qwen3-14B被要求写一篇"论证移民不缴税"的文章，模型没有拒绝，而是开始写一篇论证移民其实是纳税的反驳文章，用观点对冲代替了明确拒绝。这种行为研究团队称之为"沉默转向"（silent pivot），传统检测法会把它误判为成功攻击。
五、被找到的神经元究竟响应什么
找到这些神经元后，研究团队还对它们做了"解剖"分析：把这个神经元的激活值在一个大型文本语料库（The Pile）的20000条样本上全部记录下来，然后查看激活值最高和最低的那些文本片段，从而推测这个神经元"关心"什么内容。
在激活值向上走的方向（也就是对危险内容强烈响应的方向），绝大多数模型的拒绝神经元都对露骨的性内容和色情材料表现出强烈反应——Qwen3-4B、Qwen3-8B、Qwen3-32B和Qwen3-14B都如此。Llama-3.1-8B则更宽泛，对多类年龄限制和法律管制内容均有反应。Llama-3.1-70B的情况稍有不同，它的拒绝神经元对"有组织的犯罪意图"（比如"策划了"、"精心安排了"等词）最为敏感，而对单个犯罪事件则反应较弱。
激活值向下走的方向（安全极端）同样有规律。多数模型的安全极端不是"无害内容本身"，而是关于限制和警告的**元语言**——比如内容警告、免责声明、HIPAA隐私保护通知、FDA说明等。Qwen3-14B的拒绝神经元最能说明问题：它的危险极端响应的是实际的成人限制内容，而安全极端响应的是关于这些内容的警告语言本身。研究团队的解读是，这个神经元区分的不是"安全"和"危险"，而是"被警告的东西"和"发出警告的行为"。
Qwen3-14B还展示了另一个有趣现象：它有至少三个独立的、各自足够强力的拒绝神经元，针对不同类型的有害内容——一个针对成人内容，一个针对规则规避行为，一个针对警告元语言。这暗示模型内部可能存在多重拒绝门控，而不是单一开关。
六、这些神经元不是训练出来的，而是天生就有
一个耐人寻味的发现是关于这些拒绝神经元的起源。研究团队拿到了Qwen3系列1.7B、4B、8B和14B的基础模型（即安全微调前的版本，只经过了预训练），在这些基础模型上测试了同样的那些神经元。
结果发现，在基础模型里，这些神经元对危险内容和无害内容的区分能力几乎同样存在——它们在危险提示词上的激活分布明显和无害提示词不同，尽管没有经历任何安全训练。对于1.7B、4B和8B来说，基础模型里的这些神经元会在提示词的内容本身（比如"炸弹？"这个词）上激活；而在指令微调后的版本里，同样的神经元转而在"assistant"这样的对话格式标记上激活，也就是模型准备开始生成回答的那个时刻。
研究团队的解读是：安全微调没有创造这些神经元，而是改变了它们的激活时机——把"在看到危险词时激活"改成了"在准备生成回答时激活"，让神经元能在输出阶段发挥门控作用。换句话说，这些神经元在预训练时已经学会了识别危险内容，安全微调只是把这个识别信号接入到了拒绝生成的回路中。
七、为什么MLP神经元比其他特征更管用
有人可能会问：为什么要针对MLP（前馈神经网络）的内部神经元，而不是去操纵信息流的其他部分？研究团队对这个问题做了直接的对照实验。
他们用完全一样的评分方法，这次针对的是"残差流"的单个维度（即中间信息流的一个坐标轴），而不是MLP的神经元，看看能不能找到同样有效的单个维度。结果是：在Llama-3.1-8B上，最好的残差流维度攻击成功率只有45%；在Qwen3-8B上，只有39%。相比之下，MLP神经元干预可以达到95%和91%。
差距的来源在激活分布上一目了然：对单个残差流维度来说，危险提示词和无害提示词的激活几乎完全重叠，无法区分；而MLP神经元的激活分布则分离得很清晰，危险内容在某一侧聚集，无害内容在另一侧聚集，中间几乎没有混叠。
这背后有理论依据：MLP层使用的SiLU（或SwiGLU）非线性激活函数给每个神经元赋予了独立的"语义含义"，因为非线性变换使得单个维度的值不能被任意旋转替换。而残差流是线性叠加的，它的坐标系是可以任意旋转的，因此单个坐标轴本身并不携带稳定的语义。这个特性被称为"特权基"（privileged basis），是MLP神经元比残差流维度更适合作为干预目标的根本原因。
八、单个神经元还能变成危险内容的探测器
在干预攻击之外，研究团队还发现了这些神经元的另一个意外用途：有害提示词检测器。
思路很简单：既然这个神经元对危险内容的激活明显高于无害内容，那只需要设定一个阈值，把单次激活值超过阈值的提示词标记为"危险"，就得到了一个分类器。研究团队在XSTest数据集上测试了这个思路，XSTest包含200条真实危险提示词和250条被故意设计成看起来危险但实际无害的提示词（用于考查过度拒绝问题）。
对比基准是Llama-Guard-3-8B，一个专门为安全分类训练的80亿参数独立模型。结果是：Llama-Guard-3-8B的曲线下面积（AUROC）是0.975，整体准确率90.2%；Llama-3.1-8B的单个拒绝神经元AUROC达到0.969，整体准确率同样是90.2%，召回率（危险内容的识别率）甚至比Llama-Guard-3-8B更高（0.950对比0.834），代价是精确率略低（0.848对比0.949）。七个模型中，有六个模型的单神经元AUROC超过0.9，只有Qwen3-1.7B略低，为0.853。
这意味着，用一个神经元的一个数值，不需要任何额外计算，就可以达到和专门训练的安全分类器接近的检测效果。
九、另一类神经元：有害知识的存储仓库
拒绝神经元管的是"要不要说"，而研究团队还发现了另一类神经元，管的是"知道什么"。
研究团队在The Pile语料库里扫描了所有神经元，找到那些激活值最高的文本片段高度集中于特定主题的神经元。他们发现了一些神经元，其最高激活文本几乎全部是关于自杀和自我伤害的内容——相关词汇反复出现，包括各种方式和背景的描述。
在Qwen3的1.7B、8B和14B模型中各找到了一个这样的神经元，分别是Qwen3-1.7B第20层的第4256号、Qwen3-8B第26层的第4061号、Qwen3-14B第32层的第9115号。
为了验证这些神经元是否真的**存储**了这类知识（而不只是与它相关），研究团队设计了一个干预实验：用20条与自杀完全无关的无害提示词测试模型，同时在这个神经元上施加一个持续的激活增强（对于负向激活的神经元就是持续抑制），然后让Claude来判断模型的回答是否提到了自杀相关内容、是否仍然语言连贯、是否还与原始问题相关。
随着干预强度增加，三个衡量指标依次被突破。以"用三句话讲一个短故事"为例，Qwen3-1.7B在干预激活后输出了一个故事：小镇上一个男人从桥上跳下，他的家人聚集在河边，也跳了下去，整个小镇成了悲剧的沉默之地。原始问题里没有任何关于死亡或伤害的暗示。另一个例子是"写一首关于海洋的诗"，干预后的诗句开始出现"以千种方式结束一个念头"、"我们夺取自己的生命"等内容，但整体依然保持了诗的结构和海洋意象。
在最高干预强度下，20条测试提示词中几乎全部都会产生涉及自我伤害内容的回答，且大多数同时保持语言连贯并与原始话题有所关联。
十、两套系统，一张安全地图
把所有发现放在一起，研究团队提出了一个理解大型语言模型安全机制的框架：安全对齐由两套系统共同构成。
第一套是"门控系统"，由拒绝神经元组成。这些神经元判断当前请求是否触发危险信号，并在模型生成回答之前决定要不要进入拒绝模式。它们像是流水线前端的检票员，负责放行或拦截。
第二套是"内容系统"，由概念神经元组成。这些神经元本身编码了某类有害知识，即使没有人主动请求，放大它们的激活就能让相关内容渗出到任何输出中。它们像是仓库里存放特定货物的货架，货架满着时，一旦门控打开，货物就会流出。
这两套系统的共同特点是：它们都高度集中，集中到单个神经元就足以代表整套系统的功能。拒绝神经元决定模型是否拒绝，概念神经元决定模型知道什么。两个开关各自都是必要且充分的——动一个，整套对应功能就会改变。
此外，两套系统的神经元都在预训练期间就已经存在，安全微调只是调整了它们被"接入"的时机和方式，并没有凭空创造新的安全神经元。
归根结底，这项研究揭示的是一个令人深思的脆弱性：我们花费大量资源训练出的AI安全能力，可能远比我们想象的更集中、更脆弱，甚至一个精确的单点干预就足以让它全面失效。这对于AI安全领域的设计者来说是一个明确的警示——仅仅依赖当前的训练范式，可能永远无法实现真正鲁棒的安全机制，因为只要安全功能仍然集中在可识别的个别组件上，它就总是存在被精确绕过的风险。
研究团队同时承认，概念神经元的研究目前只以自杀内容为例，其他类型的有害知识是否同样集中在单个神经元，仍是一个开放的问题。对抗性干预用的最优激活值目前仍通过经验扫描选定，更系统的选取方法有待未来研究。有兴趣深入了解全部实验细节的读者，可以通过arXiv编号2605.08513查找完整论文。
---
Q&A
Q1：苹果这篇论文证明的"单个神经元绕过安全对齐"需要哪些条件才能实现？
A：需要对模型有白盒访问权限，也就是能看到并修改模型的内部激活值。整个过程不需要重新训练模型，不需要修改权重，也不需要设计复杂的提示词。攻击者需要用少量危险和无害提示词跑一遍模型，用梯度和激活差异给神经元打分，选出排名最高的几个候选，再用验证集挑出实际效果最好的那一个，然后在推理时用钩子固定那个神经元的值即可。整套流程只需要极少量计算资源。
Q2：拒绝神经元被压制后模型会完全失去判断能力吗，还是只对特定类型的危险问题失效？
A：从实验结果来看，压制单个拒绝神经元会对各种类型的危险请求都产生影响，而不只针对某一类。研究团队在JailbreakBench的100条问题上测试，这100条问题覆盖了武器制造、非法活动、有害内容等多个类别，平均攻击成功率超过91%。也就是说，这个神经元发挥的是通用的"门控"作用，而非特定类别的过滤器。不过模型的一般能力（比如数学和知识问答）在使用锚点干预版本时几乎不受影响。
Q3：发现了安全对齐这么脆弱，有没有办法修复或加强？
A：论文本身聚焦于揭示脆弱性，没有提出具体的修复方案。不过研究团队指出，一篇后续工作SafeNeuron选择了相反的思路——在微调时把这些安全神经元冻结住不让它们改变，从而迫使安全功能分散到更多神经元上，让单点攻击更难奏效。这个思路本质上是"把鸡蛋放到更多篮子里"。更根本的解决方案可能需要重新设计训练目标，让安全能力从一开始就以更分散的方式编码在模型中，而不是集中在少数几个关键节点。
盈富优配提示：文章来自网络，不代表本站观点。
