CABAL:用于追踪同行评审中合谋投标影响的多智能体仿真框架
论文arXiv原文链接:[https://arxiv.org/html/2609.05227v1]
摘要
AAAI‑27审稿周期的相关报告指出,审稿人通过线下协同投标来谋求互相分配审稿任务的安全风险。现有工作往往将投标、审稿人分配、评审操纵作为独立阶段开展研究,合谋投标在完整生命周期产生的影响尚不清晰。现实世界分析存在两大阻碍:合谋意图通常无法观测,并且同一个会议很难获取反事实对照实验。
针对上述缺口,本文提出CABAL(Collusive Agent‑based Bidding and Assignment Laboratory),一套端到端多智能体仿真框架。该框架固定会议环境,配置大模型驱动的审稿人智能体,分别实现诚实审稿策略与合谋审稿策略。本文进一步提出亲和度引导的合谋投标策略:利用审稿人与稿件之间的相互亲和度构建合谋团伙、选定目标稿件;攻击行为保持与审稿人专业能力相匹配,而不是无依据地随机攻击。
受控实验表明:合谋投标能够让目标稿件被审稿人获取分配的概率提升一倍以上;被分配的合谋审稿人给目标稿件打分,会比诚实共同审稿人高出约2分;但对整个会议层面的整体影响相对有限。
针对投标阶段的现有检测器评估结果表明:检测证据十分有限。在固定三元组压力测试中,原生正向投标图会被良性专业亲和关系混淆;仅保留Very‑High级别的诊断视图可以实现较高精度,但召回率很低,只能局部恢复部分合谋团伙。
1 引言
顶会的同行评审流程中,审稿人会对稿件进行投标,表达自己的评审兴趣。会议组织者综合投标结果、审稿人‑稿件亲和度、利益冲突约束、工作量限制完成审稿人分配。但是投标机制同时引入策略操纵攻击面。AAAI‑27会议就出现线下协同,构造互惠分配结构的真实事件。AAAI后续出台约束,限制2‑cycle互惠行为,并增加审计流程,违规稿件可能直接desk‑reject,或者施加多年投稿禁令。
现有相关工作分别研究审稿人匹配分配优化、策略投标操纵、大模型审稿智能体,但是没有在同一个受控环境下串联合谋投标、审稿分配、下游评审打分全链路。因此,基于专业背景的合谋投标如何通过分配流程传播,最终改变评审结果,尚未得到充分理解。
现实开展这类研究存在两大难点:
- 合谋意图不可观测:基于专业兴趣的正常高投标和合谋产生的投标行为很难区分。
- 缺少反事实对照:真实会议无法固定全部条件,仅改变审稿人诚实/合谋行为复现两次会议。
因此需要一套受控仿真环境:合谋意图已知,会议全部其他条件固定,只改变审稿人的行为模式。
本文主要贡献:
- 提出CABAL可编程多智能体仿真框架,建模审稿投标、分配、评审全流程;支持匹配的反事实对照,稿件、审稿人、利益冲突、分配机制全部固定,仅改变审稿人行为。
- 提出亲和度引导的合谋投标策略,基于审稿人与稿件互相专业亲和度构建合谋团伙与目标稿件;合谋成员只对本身专业能力范围内的稿件开展协同投标,避免明显可疑的无差别攻击。
- 开展端到端实证分析:研究合谋投标如何改变目标稿件分配权限、向下游评审分数传播、对会议全局结果的影响;同时把攻击行为与主流投标阶段检测器做对比评估。
表1 与现有同行评审相关工作对比
| 工作 | 会议 | 专业亲和度 | 策略行为 | 投标 | 分配 | 评审 | 结果分析 | 行为反事实对照 |
|---|---|---|---|---|---|---|---|---|
| 审稿人分配与投标机制 | ||||||||
| Anjum et al. | EMNL(\mathcal{P})‑IJCNL(\mathcal{P})’19 | ● | - | - | ○ | - | - | - |
| (\mathcal{S})telmakh et al. | JMLR’21 | ○ | - | - | ● | - | ○ | - |
| Rozencweig et al. | AAMA(\mathcal{S})’23 | ○ | - | ● | ○ | - | - | ○ |
| 同行评审中的策略操纵与对抗行为 | ||||||||
| Wu et al. | ICML’21 | ○ | ● | ● | ● | - | - | ○ |
| Jecmen et al. | WWW’23 | ○ | ● | ● | ● | - | - | ○ |
| Jecmen et al. | TMLR’25 | ○ | ● | ● | - | - | - | ○ |
| Hsieh et al. | U(\mathcal{S})ENIX (\mathcal{S})ec’25 | ● | ● | - | ● | - | - | ○ |
| 大模型审稿智能体与仿真 | ||||||||
| Jin et al. | EMNL(\mathcal{P})’24 | ○ | - | - | - | ● | ● | ● |
| Lu et al. | ICML’25 | ● | - | - | - | ● | ○ | - |
| 本文 CABAL | — | ● | ● | ● | ● | ● | ● | ● |
注释:●代表显式建模/作为核心研究对象;○代表作为输入辅助组件;
-代表未建模。
2 问题定义
符号定义
会议包含稿件集合KaTeX parse error: Can't use function '\(' in math mode at position 10: \mathcal{\̲(̲\mathcal{P}\)}=…,审稿人集合R = { r 1 , … , r M } \mathcal{R}=\{r_{1},\dots,r_{M}\}R={r1,…,rM}。
A p j A_{pj}Apj:稿件p pp与审稿人r j r_jrj的主题亲和度,数值越高代表专业匹配度越高;
C p j ∈ { 0 , 1 } C_{pj}\in\{0,1\}Cpj∈{0,1}:利益冲突标记,C p j = 1 C_{pj}=1Cpj=1代表该审稿人不能评审该稿件。
定义两种行为世界:
- KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲z=h\):全部审稿人诚实;
- KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲z=c\):存在合谋审稿人。
B ( z ) \mathbf{B}^{(z)}B(z):投标矩阵;KaTeX parse error: Can't use function '\)' in math mode at position 15: \\(\mathcal{P}\̲)̲hi为固定分配算法,输出二进制分配矩阵M ( z ) \mathbf{M}^{(z)}M