企业官网建设流程全解析

OBLITERATUS线性探针分类器实战：发现解析方向向量遗漏的拒绝信息

【免费下载链接】OBLITERATUSOBLITERATE THE CHAINS THAT BIND YOU项目地址: https://gitcode.com/GitHub_Trending/ob/OBLITERATUS

OBLITERATUS 是一款开源的"解除大模型拒绝行为"研究工具包，其中的线性探针分类器（Linear Probing Classifiers）能学习出最优分类方向，帮助你在每一层激活中量化"拒绝信息"的可解码程度，从而发现解析方向向量遗漏的隐藏拒绝信号。本文面向新手，用最少代码讲清楚它的工作原理、实战步骤与结果解读。

为什么解析方向向量"看不见"所有拒绝信息？

OBLITERATUS 的核心流程是：收集提示词激活 → 提取"拒绝方向" → 将该方向从权重中剔除。最经典的方向提取方式是均值差（difference-in-means）：用有害提示与无害提示的激活均值相减，得到一个解析方向向量。

但这里有一个盲区：

投影法只能测量"已知方向"上还剩多少拒绝信号。如果模型把拒绝信息编码在你没找到的方向里，投影法就会漏报。

线性探针分类器正是为补上这个盲区而生：它不预设方向，而是从数据里学习一个最优分类器——"在第 L 层，一个线性分类器能否区分有害与无害激活？"如果能，说明该层存在可线性解码的拒绝信息，哪怕它与解析方向几乎正交。

📌 原理出处可参考文档：docs/mechanistic_interpretability_research.md

线性探针分类器的工作原理：3 个核心概念

1️⃣ 学习最优方向，而非假设方向

在每一层，模块用一个逻辑回归探针（SGD 训练 + L2 正则 + 特征标准化 + 留出测试集）区分"有害 / 无害"两组激活。探针的权重向量本身就是它"学到的拒绝方向"。

2️⃣ 逐层精度曲线：定位"拒绝发生层"

对全部层逐一训练后，你会得到一条探针精度曲线：

3️⃣ 学习方向 vs 解析方向：余弦相似度检验

模块会计算探针学习方向与均值差解析方向的余弦相似度（cos > 0.5 判定为"方向一致"）。这一步直接回答标题中的问题：

• ✅ 余弦高 → 解析方向已覆盖主要拒绝信息
• ⚠️ 余弦低但精度高 →存在解析方向遗漏的拒绝信息，需要额外处理（更多 SVD 方向、白化 SVD 等）

源码实现（含逐层探针、AUROC、互信息估计与报告格式化）： obliteratus/analysis/probing_classifiers.py

实战步骤：三步完成拒绝可解码性分析

第一步：准备激活数据

用同一批提示词（如受限主题 vs 普通主题）跑模型前向，按层收集隐藏层激活。这一步在 OBLITERATUS 管线的 PROBE 阶段自动完成，示例配置见：examples/full_study.yaml。

第二步：对每一层训练探针

from obliteratus.analysis import LinearRefusalProbe probe = LinearRefusalProbe(n_epochs=100) result = probe.probe_all_layers(harmful_acts, harmless_acts, analytical_directions)

其中harmful_acts/harmless_acts是{层号: [激活向量]}字典，analytical_directions是各层的均值差方向。

第三步：读取报告

模块内置报告格式化方法，输出形如：

Best accuracy: 91.3% (layer 18) Refusal onset: layer 12 (>75% accuracy) Mean cos(learned, analytical): 0.31 Total mutual information: 2.14 bits Layer 18: 91.3% ████████████████████ cos=0.21 ✗ MI=0.31b

👉 重点看cos低且带✗的高精度层——那里就是解析方向向量"看不见"的拒绝信息藏身之处。

术后验证：发现"隐藏"的残留拒绝

线性探针还有第二个关键用途：剔除后复查（post-excision probing）。

做完 abliteration 之后，重新对修改后的模型跑一遍探针。如果某些层的探针精度依然很高，说明拒绝信息没有真正消失，只是从"均值差方向"旋转到了别的子空间——这正是投影法式验证（obliteratus/analysis/activation_probing.py）会漏掉的情况。

两者配合使用的逻辑：

1. ActivationProbe（投影法）：验证指定方向上残留信号是否归零 → 快、但只盯一个方向
2. LinearRefusalProbe（学习法）：验证整体是否还"分得开"有害/无害 → 慢一点，但能发现隐藏残留

💡 这个设计对应 OBLITERATUS "informed" 方法中的 VERIFY 阶段：检测到 Ouroboros（自我修复）效应时自动触发补偿通道。

信息论视角：用互信息量化"拒绝信息量"

除了精度，模块还输出每层的互信息（bits）估计：以探针交叉熵近似 H(Y|X)，再与标签先验熵 H(Y) 相减得到。

• 互信息 ≈ 0 → 该层激活几乎不含拒绝信息
• 互信息显著 → 该层值得重点分析

报告中的MI=0.31b就是这一估计，让"这里有没有拒绝信息"从直觉判断变成可比较的数值。

相关文件与延伸阅读

总结

• 解析方向向量只能测量"已知方向"，线性探针分类器从数据学习最优方向，专抓被遗漏的拒绝信息
• 关注三个数字：起始层（何时产生拒绝）、余弦相似度（解析方向是否够用）、互信息（信息量有多大）
• 剔除后务必用探针复查一次，防止拒绝信息旋转到隐藏子空间
• 学习法探针与投影法探针互补：一个管"找全"，一个管"验证"，配合 OBLITERATUS 的 informed 管线实现闭环

【免费下载链接】OBLITERATUSOBLITERATE THE CHAINS THAT BIND YOU项目地址: https://gitcode.com/GitHub_Trending/ob/OBLITERATUS