研究论文难度：研究

语言模型的稀疏内部控制

Sparse Internal Control of Language Models

Zhang X · NeurIPS（Main Track，poster） 2026 · 原文链接

稀疏内部控制局部目标可控性驱动节点Driver-OMPCoverage-Driver激活引导六轴评价

进入配套交互网站 →

一句话

把目标控制的思想用到冻结语言模型内部：选少数内部站点做推理时干预来驱动目标行为，并用六轴协议区分哪些控制性质成立。

相关专题：网络可控性与稳定性

VIDEO讲解视频

语言模型的稀疏内部控制4 分 25 秒

文字稿

大家好，这一期我们精读一篇发表在 NeurIPS 2026 的论文。它把网络控制的思想，搬到了大语言模型的内部。

控制语言模型的行为，我们希望它是局部的，只改动我们指定的那个行为。它还应该是可逆的，干预一撤掉，模型就恢复原样。最后要有选择性，不能为了改一个行为，把其他能力都弄乱了。

在结构可控性里我们讲过，用最大匹配可以找到控制整个网络所需的最少驱动节点。这篇论文问的是类似的问题：在模型内部最少按住哪几处，就能驱动目标行为？但要注意，这里的节点不是图中的节点，而是模型内部的站点加上一个干预方向。控制也不是持续输入信号，而是在一次推理中给激活加上一个小补丁。

具体做法是，在选中的站点上，把激活加上一个方向乘以强度。模型参数完全不动，把强度设为零，模型就回到原来的样子。我们用两个量衡量代价，一是在多少处打补丁，二是补丁的能量有多大。

怎么挑节点呢？我们先算每个候选对目标行为的一阶效应，排成一个效应字典。如果一组候选的效应组合，在能量预算内能逼近所需的行为位移，就说它局部目标可控。一组候选效应彼此几乎重合时，哪怕各自分数都高，合起来也要很大能量。所以节点要联合挑选，不能简单地按分数取前几名。最后还要在真实模型上检验，同时满足目标、保持和能量三个条件。

第一个是 Driver-OMP 方法，即驱动节点正交匹配追踪，每次挑最能解释剩余位移的节点。它适合每个样本都有自己目标的任务，比如间接宾语识别和多选题。第二个是 Coverage-Driver 方法，它偏好能把更多提示往正确方向推的节点。它适合情感、拒答这类要求同一干预在很多提示上一致起作用的任务。

我们设计了六个评价轴，第一轴看可达，名义强度下能否把目标推到位。第二轴看反转，施加相反的干预，行为能不能沿原路退回来。第三轴看剂量响应，加大强度时，目标进展是否单调增加。第四轴看反馈，固定这组节点，只调一个总剂量，能否追踪不同的目标值。第五轴看保持，无关提示上的输出分布改变是否足够小。第六轴看复用，选出的节点和干预搬到新提示上，是否依然有效。

实验从 GPT-2 small 做到 Qwen3-4B，最多 8 个驱动节点就能明显移动目标行为。在间接宾语识别任务上，闭环控制在 24 个目标端点上全部命中。多选题用逐样本方向时，Coverage-Driver 在人文题命中了 48 个端点中的 46 个。固定站点、在新题目上重新拟合强度，人文题平均恢复约 99%。

但如果把强度也冻结、直接搬到新题目，人文题平均恢复只有约 2%。改用训练均值方向做反馈，多选题只能命中 48 个端点中的 8 个。拒答任务的剂量响应完全单调，正式反转检验却全部失败，单向有效不等于可逆。在 32 道无关题目上，平均分布变化也只在一部分种子中达标。

总结一下，我们把目标控制的思想用到了模型内部，节点是站点加方向。它不是线性系统意义上的完全可控，而是局部、有界的推理时干预。六轴协议让我们看清，哪些控制性质成立，哪些在当前条件下并不成立。请大家打开配套网站 sparsecontrol 点 xizhe 点 net，先看图解和讲解视频。再用 GitHub 上的代码，在普通电脑上不用显卡就能重算论文的结果表。

一句话看懂

能不能像挑驱动节点那样，在参数冻结的语言模型内部只”按住”少数几处，就把某个指定行为推向目标，又尽量不改变其他行为？论文把它形式化为稀疏内部控制（sparse internal control）：候选”节点”是模型内部的”站点–方向”对，控制是推理时的加性干预，用局部目标可控性挑选驱动节点集，再用六个评价轴分别检验它能否当作执行器使用。结论有正有负：小驱动集能移动目标并支持反馈调节，但冻结复用、带符号反转和非目标保持并不总是成立。

研究背景与问题

我们希望对语言模型的行为做局部、可逆、有选择的控制：只改指定行为，随时可撤销，少波及无关行为。改参数的方法（如 RLHF、LoRA 微调、模型编辑）效果持久但难定位、难撤销；提示、解码、过滤等外部方法绕开了模型内部计算；激活引导（activation steering）证明内部方向能因果地改变输出，但方向通常一次只选一个，且只用最终行为指标评价，缺少控制规格。论文因此问：怎样选出一小组内部变量，使其联合干预在强度有界时推动目标行为，同时限制附带改变？ 这与网络可控性中”最少从哪些节点施加输入”在形式上同构。

核心思想与方法

节点、干预与代价

把冻结 Transformer 的前向计算看作有向无环图，站点 $s$ 可以是某层、某个注意力头或模块在某个词元位置上的激活 $h_s(x)$ 。候选控制节点是三元组 $v=(s_v,u_v,c_v)$ ：站点、干预方向、选择代价；同一站点配不同方向就是不同候选。干预是推理时的加性补丁 $h_s(x)\leftarrow h_s(x)+\sum_{v:s_v=s}\beta_v u_v(x)$ ，非零系数对应的候选组成驱动节点集。令 $\beta=0$ 即恢复原模型，参数从不更新。代价有两部分：在多少处打补丁（稀疏度），以及补丁多强（能量 $E(\beta)=\beta^\top W\beta$ ）。问题规格还包括目标集（每个输入配期望行为值，所需位移 $q_i=\tau_i-b_\theta(x_i)$ ）和与之不相交的非目标保持集。

非线性控制证书：在真实的打补丁模型上，若干预 $\beta$ 同时满足目标 $\|q-F(\beta)\|_2/(\|q\|_2+\xi)\le\varepsilon$ 、保持 $L_{off}(\beta)\le\delta$ 、能量 $E(\beta)\le\kappa$ ，则称它为 $(\varepsilon,\delta,\kappa)$ 控制证书；它只对给定的有限评价集成立。

局部目标可控性：每个候选的一阶行为效应 $g_{i,v}=J_{i,s_v}u_v(x_i)$ 排成效应字典 $G$ ，局部方程 $q\approx G\beta$ 。支持集 $S$ 的局部可控残差 $\chi_\kappa(S)=\min_{\beta_S^\top W_{SS}\beta_S\le\kappa}\|\bar q-\bar G_S\beta_S\|_2/(\|\bar q\|_2+\xi)$ ，足够小时称 $S$ 局部目标可控。

附录定理 2 指出，精确达到目标所需的最小能量受白化字典最小非零奇异值控制：效应列彼此近乎共线时，即使每个候选归因分数都高，合起来也要很大能量。所以要联合选择，而不是按分数取前 k 个。线性近似只在能量球内可控（定理 1），因此字典只用于提议，最终必须在原模型上验证。

两个选择器

两者共用”提议–岭回归重拟合–非线性验证”流程。

Driver-OMP 方法（驱动节点正交匹配追踪）：每次加入最能解释剩余目标位移的候选，重拟合后更新残差。适合每个样本有各自位移的逐提示目标（IOI、多选题）。
Coverage-Driver 方法（覆盖式选择）：候选把某个提示往正确方向推动就得分，该提示被覆盖后得分饱和，偏好能覆盖更多未覆盖提示的候选。该目标单调次模，贪心提议有 $(1-1/e)$ 近似保证。适合同一干预要在许多提示上一致起作用的群体级目标（情感、拒答）。

与网络可控性理论的类比和差别

最贴切的类比是研究前沿与开放问题中提到的目标控制：只关心部分目标，不要求整个系统可控；本文另加保持集约束，要求不碰非目标行为。差别同样关键：这里的”节点”是站点与方向，不是图中节点；系统是非线性 Transformer，只做一阶局部近似；控制是一次推理中的补丁，不是持续输入；选点依据是行为效应而不是最大匹配；要求的是有限评价集上的局部可达，不是线性系统意义上的完全可控。

六轴评价协议

能降低目标误差不等于是可用的执行器。六个轴各排除一种失败：可达（名义强度下推到目标）；带符号反转（反向干预能否沿同一轴退回，反转比 $\ge2$ ）；剂量响应（强度乘以剂量 $\gamma$ ，进展与 $\gamma$ 的 Spearman 相关 $\ge0.95$ ）；反馈可控（固定节点和强度，只调 $\gamma$ 追踪多个目标，命中率 $\ge80\%$ ）；非目标保持（无关提示 KL 变化 $\le\delta$ ）；留出复用，分重拟合复用（固定站点、在新提示上重解强度）和更严格的冻结复用（站点和强度都固定）。各轴是独立诊断，通过某一轴不等于获得联合证书。

主要发现

任务包括 GPT-2 small 上的间接宾语识别（IOI，候选库 576 个头–位置）与情感引导、Qwen3-4B 上的 MMLU 多选题（人文、理工）、Qwen3-1.7B 上的拒答引导。

小支持集能移动目标。 最多 8 个节点时，Driver-OMP 的归一化残差在 IOI 上为 0.386（10 个种子，同预算随机支持集为 1.430），多选题人文 0.045、理工 0.030。
固定支持集能闭环调节。 IOI 上 24/24 个目标端点全部命中，平均 3.96 次评估。多选题用逐样本方向时 Coverage-Driver 命中人文 46/48、理工 47/48；改用训练均值的冻结方向只剩 8/48、7/48。Top-k 在多处接近或持平，论文不主张某个选择器普遍更优。
冻结复用不可靠。 人文题上 Driver-OMP 重拟合复用平均恢复 99.2%，冻结复用仅 2.1%：站点能迁移，干预本身不能直接搬用。情感这类群体级任务是例外，Coverage-Driver 冻结方向恢复约 0.942。
单向剂量响应不意味着可反转。 拒答在全部 48 个格子中剂量相关均为 1，正式反转却在两种模式各 24 个格子中全部失败；逐样本方向的多选题反转则在人文 21/24、理工 23/24 个格子通过。
保持不均匀。 在 32 道 MMLU 题上，拒答补丁平均 KL 只在 4/8 个 Driver-OMP 种子中低于 $10^{-3}$ nat，Coverage-Driver 和 Top-k 均未达到；要求逐题达标仅 2/8。拒答读数只是首个生成词元，不能推出完整回答层面的控制。
驱动节点有一定重复性。 IOI 上 L9.END.H9 与 L10.END.H7 在 25 次运行中各被选中 15 次，但这不证明必要性或唯一回路。

怎样读这篇论文

先读第 1 节和图 1；第 2 节定义 1 是核心，弄清 $q$ 、 $F(\beta)$ 、 $L_{off}$ 、 $E(\beta)$ ；再读第 4 节表 1，然后带着它读图 2 的”六轴成绩单”（“a | b”为逐样本与冻结两种方向，灰格表示未测试而非失败）和表 2 的闭环结果。
附录 B 的定理 1、2 是局部可控性的数学依据；附录 F 说明实际运行的是普通岭回归、未强制能量约束，所以实验没有建立完整联合证书，读结果时要记住。附录 C 的伪代码可先跳过。
配套网站与代码：先在配套网站看图解和约 4.5 分钟的讲解视频。再按 GitHub 仓库 README 的”记录重放”路径：用 Python 3.12 建虚拟环境并安装 requirements/replay.lock.txt，依次运行 python -m sparse_control check-release --manifest、python -m sparse_control reproduce --output ../paper-replay、python -m sparse_control verify --output ../paper-replay。它在 CPU 上从保存的测量记录重算表格和统计量，不加载模型、无需 GPU；但只核对计算这一步，不等于重跑模型实验。可挑表 2 的命中计数与论文对照。

局限与后续工作

作者承认：任务、模型和候选库有限；只用边际值或首词元读数；逐样本方向用了测试对的激活差，属于特权信息；种子少、保持面板跨种子复用；阈值敏感性是事后分析；基线是改编版本。
局部理论的光滑性与条件数假设未在 Transformer 上全局验证；情感任务的剂量响应幅度未能稳定复现。
后续方向：更多架构、更大模型、多词元生成。本文延续从输入图、驱动节点替换到自适应控制这一系列研究的问题意识，但对象转为神经网络内部，方法从图论匹配转为效应字典上的稀疏选择。

关联知识

线性系统的可控性中的 Kalman 判据问”能否到达任意状态”，本文只要求局部到达指定行为，二者是不同强度的”可控”。
结构可控性与最大匹配靠最大匹配找驱动节点；本文的驱动节点由行为效应决定，与拓扑无关。
药物干预同样要求有选择、可撤销、副作用小。六轴协议提醒我们：靶点”能推动指标”之外，还要问剂量响应、能否反向、能否在新患者上复用、对其他通路影响多大。

延伸思考

如果把同一站点的不同方向视为不同”节点”，网络可控性理论中关于驱动节点的哪些结论还能借用，哪些不能？
拒答任务单调却不可反转。请设想基因调控网络中的类似情形，只做单向剂量实验可能得出什么错误结论？
重拟合复用近乎完全恢复，冻结复用却很低。这对寻找”对所有患者通用的干预靶点”有什么启示？
若用六轴协议评价一个多靶点药物组合，你会如何定义目标集、保持集和能量？