1. 从“被拒稿”到“被AI审判”:科研人的身份危机
这几年做科研,最直接的感受是:同行评议这件事,正在经历一场前所未有的“精神分裂”。前脚刚在Twitter上看完某位大佬怒斥审稿人“不懂装懂”,后脚自己打开审稿系统,发现评论区里出现了“According to the LLM analysis...”这种诡异措辞——你甚至分不清对面坐的到底是人还是模型。
我把这个阶段叫作**“LLM狂躁期”(LLM Mania Age)**。它不是一个严谨的学术定义,而是我们这些一线从业者切身的体感:从投稿、审稿、写response,到基金评审、会议论文打分,大语言模型已经无孔不入地渗进了学术评价体系的每一个毛细血管。更魔幻的是,很多场合下,我们根本不知道、也懒得去分辨评议人的“人机身份”。
这篇文章不是来唱赞歌,也不是来喊“狼来了”的。我想以一个既被审过、也审过别人、还在日常工作中重度使用LLM的科研从业者视角,聊聊这个阶段同行评议的真实生态、底层逻辑变化,以及我们还能做些什么来对抗这场“评价体系熵增”。适合正在写论文、投期刊、当审稿人,或者在企业里做技术评审的朋友参考,尤其是那些已经隐约感到“事情不对但说不清哪里不对”的人。
2. 同行评议的底层逻辑,被LLM悄悄改写了什么
2.1 传统同行评议的“信任锚点”,正在松动
先回顾一下传统同行评议为什么能被学术界接受这么多年。它的核心信任模型其实非常简单:假设审稿人是一个有血有肉、在该领域深耕多年、有自己学术品味和利益诉求的真人。因为这个假设成立,所以编辑可以相信审稿人能看懂方法的细微差别,能嗅出数据背后的水分,能在“创新性”和“稳健性”之间做出有偏好的判断。
但LLM介入后,这个“信任锚点”被撬动了。现在一个典型的场景是:某位审稿人(无论是真忙还是真懒)把论文摘要和引言扔给GPT-4或者Claude,让它生成一份“审稿意见”,然后稍作修改就粘贴进系统。这件事可怕在哪?可怕在于它解耦了“评议输出”和“评议者真实能力”之间的绑定关系。
以前我们读一份尖锐的审稿意见,会觉得“这位老师真懂行”。现在读一份同样尖锐的意见,你心里会打鼓:这到底是真懂,还是LLM从训练数据里学了一套“审稿话术”来唬人?这种不确定性不是技术问题,而是信任机制的结构性瓦解。当评议内容不再能稳定地传递“评议者真实水平与态度”这个信号时,整个同行评议系统的信息价值就贬值了。
2.2 LLM时代同行评议的“反馈回路失稳”
更麻烦的是反馈回路的问题。传统同行评议之所以能推动学术进步,是因为它构成了一条相对稳健的闭环:作者写论文 → 专家挑毛病 → 作者修改 → 专家再确认。这条回路里,人脑的判断是有“摩擦力”的,不同审稿人的口味差异反而形成了一种负反馈平衡,防止学术方向被某一个人或某一个流派带偏。
LLM介入后,这条反馈回路开始失稳。原因在于LLM有一个致命特性:它们在文本模式上“过度服从”。你用ChatGPT审一篇论文,它会非常配合地给你列出“优点1、缺点1、建议1”,永远温文尔雅,永远条理清晰,但永远缺乏“真人审稿人的那种直觉性反感”——比如“这个方法我在类似数据上试过,根本跑不动”这种只有亲身踩过坑才能产生的尖锐判断。
于是我们看到一种奇特的现象:LLM审稿意见往往逻辑正确但毫无洞察。它能把论文的每个章节都评论一遍,说的每句话都像那么回事,但组合在一起,你会觉得“这些意见对任何一篇同类论文都适用”。这就是典型的“高维正确、低维无效”。当大量审稿人都开始依赖这种“伪精准”反馈时,论文修改过程就变成了一场对LLM口味的集体揣摩,而不是对科学问题的真实攻坚。
2.3 用管道类比理解:单点失守与全局污染
为了把这件事说透,我喜欢用城市供水管道来类比同行评议的健康度。传统体系里,水源(科研数据/实验过程)要经过多道过滤(方法学审查、统计审查、领域专家审查)才能变成用户(读者)喝到的水(可信结论)。每一道过滤都是一个独立节点,有不同的滤网孔径和过滤逻辑。
LLM的介入相当于在某个节点上安装了一个“万能过滤器”——它声称能滤掉所有杂质,但实际上它对“什么是杂质”的定义完全来自统计相关性,而不是物理化学原理。更糟糕的是,这个万能过滤器体积小、效率高、零成本,于是大家一窝蜂地把所有节点上的过滤任务都外包给它。结果就是:如果某个环节LLM判断失误,这个误差会被下游所有环节继承,而且因为每层都“信任”了LLM的输出,误差几乎没有被纠偏的机会。
这就是我在实际观察中最担心的一点:不是某一个审稿人用LLM写意见导致的那一篇论文出问题,而是当整个生态的高频操作用户(投稿人、审稿人、编辑)都在用LLM“润色”“扩写”“总结”时,最初的科学信息经过多轮LLM的“处理”后,会像复印机的复印件一样,一代不如一代地失真下去。
3. LLM能当好同行评议的“实习生”吗?我的实测体验
3.1 让LLM做“文献核对员”:效率确实惊人
说了这么多批判的话,也得客观讲一句:LLM在同行评议的某些子任务上,确实能当个不错的实习生。我自己做过一个实测:拿一篇论文的参考文献列表(30条)丢给Claude,让它核对每一条的标题、作者、年份、期刊名是否与正文引用一致,并标注可疑条目。
结果非常惊艳。30条参考文献,它用不到一分钟时间找出了4处可疑问题——两处是页码错误,一处是作者拼写不一致,还有一处是“et al.”的用法违反期刊规范。这些活儿如果让我手动核对,至少要花四十分钟,还难免看走眼。
这个例子说明什么?说明LLM在规则明确、上下文封闭、对错标准相对清晰的任务上,完全可以当高效工具用。文献格式核对、术语一致性检查、统计报告写法是否符合规范、甚至“引言部分是否充分讨论了近年来同类工作的进展”这种半开放性检查,LLM做出来的结果通常比一般的人类审稿助手更细致。
3.2 让LLM做“深度技术评审”:两次翻车实录
然而,当任务从“格式化检查”升级到“实质科学判断”时,LLM的表现就非常不稳定了。我用真实论文做过两次深度评审测试,翻车过程十分典型。
第一次测试:拿一篇涉及因果推断的计量经济学论文给GPT-4审,重点问它“作者使用的工具变量是否满足排他性约束”。LLM的回答洋洋洒洒写了两百字,句式结构像极了教科书,但核心结论是“从文中描述来看,该工具变量可能与遗漏变量相关,建议作者补充讨论”。这个意见对吗?表面上对,但实际上作者在论文附录里专门用了一个小节讨论排他性约束的稳健性检验,LLM压根没读到那么深,它的“审稿意见”完全基于引言和正文前两节的信息。
第二次测试:一篇图神经网络应用论文,我要求LLM判断“作者提出的模型是否在数学上等价于某个已有的经典方法”。这个任务对领域专家来说是一眼就能看穿的事,但对LLM来说,它似乎被论文里的“新名词包装”给迷惑了,给出了“作者提出了一种新颖的架构,具有理论创新性”这样的评价。而实际上,把该论文的公式展开后,跟五年前那篇经典方法的差异只是换了个激活函数。这种“看穿本质”的能力,LLM目前完全不具备。
3.3 我的结论:分场景使用,别让工具做决定
这两次翻车让我深刻意识到一件事:LLM适合做“检查员”,不适合做“审判员”。用学术圈的话说,它能帮你发现“格式层面的显性错误”和“综述层面的遗漏风险”,但它没有能力对“方法是否有实质创新”“结论是否被充分支持”“实验设计是否合理”这类核心科学问题做出可信判断。
原因不复杂。LLM的知识边界是训练数据的时间截止线,它的“判断”本质上是概率化的文本续写,没有真正的因果推理能力。它可以模仿“审稿人”这个角色的语言风格、惯用句式、批评角度,但它模仿不了审稿人“基于个人研究经验而产生的独特怀疑”。
所以我的工作流现在是这样:
- 大范围筛选(快速判断一篇论文是否值得精读)→ 让LLM做摘要和领域定位,节省扫读时间。
- 细节格式核对(图表编号、参考文献格式、术语一致性)→ 放心交给LLM。
- 方法论审查(实验设计是否严谨、统计方法是否得当、结论外推是否过度)→ 必须人工深度阅读,LLM只用来“提问启发”——让它从不同角度列出“可能的质疑点”,再由我来判断哪些质疑站得住脚。
4. 实操指南:如何在“人机混合”的同行评议中自保
4.1 如果你是作者:把“应对LLM审稿”纳入写作策略
现在的现实是:你无法控制审稿人用不用LLM,但你可以控制自己论文的“抗LLM攻击性”。什么意思?就是把论文写得更结构化、更显式化,让LLM难以产生“模糊误判”。
我整理了三个具体的写作调整建议,都是基于我实测后被LLM式审稿意见“坑过”后总结出来的:
第一,关键方法细节必须“显式声明”。很多老派科研作者喜欢把重要内容藏在方法章节的某一个不起眼段落里,觉得“懂的人自然会看到”。但LLM做审稿辅助时,它的注意力分配是热闹的——它更容易提取小标题、加粗关键词、段落首句里的信息,而忽略长篇论证中的核心限定。所以请在需要强调的地方,尤其是“研究边界”和“方法局限性”这里,用毫不含糊的形式再声明一遍。以前是“写给编辑看的”,现在是“写给LLM提取的”。
第二,Related Works部分要学会“精准树靶子”。LLM审稿意见中频率最高的一类“万能语句”就是“作者未能充分讨论与近期工作的差异”。这个批评有时候是真的,但更多时候是LLM压根没检索到那几篇相关工作。应对方法很简单:在相关工作章节,明确列出你觉得审稿人最可能要求cites的3-5篇论文(哪怕它们只是边缘相关),并且一句话说清“我们与它们的差异是什么”。这一招几乎100%能熄灭“补文献”类审稿意见。
第三,回应审稿意见(Rebuttal)时要“附证据快照”。我发现一个规律:当审稿人的意见可能来自LLM时,编辑通常不会深究审稿意见本身的逻辑闭环度,而更看重“作者是否对每一条意见做出了实质性回复”。所以你的Rebuttal必须做到:每条意见回复里,直接引用论文中修改后的具体句子、具体行号、具体图表编号,让编辑即使不细读全文,也能在十秒内判断“这条确实被处理了”。不要跟审稿意见纠缠“定义理解差异”,直接给证据,效率最高。
4.2 如果你是审稿人:把LLM当“第二双眼睛”,而不是“外置大脑”
现在很多科研人当审稿人时,已经比较习惯用LLM先跑一遍论文摘要和结论,来快速判断“这篇跟我领域相关度多高”、“有什么明显问题”。我觉得这个用法没问题,但务必守住一条底线:LLM输出只能作为“候选问题清单”,不能直接成为“审稿意见原文”。
我给自己定了一个“三问过滤法”,分享出来供大家参考:
- 这条意见我能否用论文里的具体证据(数据/公式/图表)来支撑?如果回答是“我得翻一下原文确认”,那就去翻;如果发现原文根本没提供相关信息,这条意见就不该写。
- 这条意见如果被作者追问“请你给出具体原因解释”,我能接得住吗?很多时候LLM生成的意见是“上下文合理但机理缺失”的,比如它会说“实验对比不够充分”,但具体跟谁对比、对比什么维度、缺了哪种类型的baseline,它说不出来。如果你也说不出来,那就说明你还没真正理解这篇论文,写出来只会被作者一眼看穿是AI话术。
- 如果把这条意见匿名发给该领域的另一位同行,对方会觉得“出自一位经验丰富的研究者”吗?这个问题的潜台词是:好审稿意见应该带有“领域私人记忆”的痕迹——比如“这个数据集的标准做法应该用xx指标,作者用yy指标不太常见是因为怕xx”这种。如果没有这种真人经验感,那宁愿少写几条,也不要凑数十条。
这三问过滤完之后,剩下的意见就是“经我确认过、逻辑闭环、值得作者花时间修改”的真问题,无论它们最初的来源是LLM还是我自己的脑子。
4.3 如果你是编辑或组织者:建立“AI辅助披露”规则
从系统设计角度,我觉得最值得做也最有效的变革是:在投稿和评审系统中,把“是否使用AI辅助”从隐性操作变为显性选项。不是强制禁止,也不是强制要求,而是把它变成一种“状态标签”,让所有参与者都能看到上下文。
具体怎么设计?我设想的最低成本方案是:
- 投稿人提交时,增加一个可选项:“本论文在写作过程中是否使用LLM进行语言润色或内容辅助?”(这不是强制填的,但填了之后,审稿人知道该用什么样的预期来读稿子。)
- 审稿人在提交审稿意见前,也增加一个相似选项:“本审稿意见是否借助LLM生成初稿或辅助核对?”(同样不强制,但一旦勾选“是”,编辑能看到一个微小的标记。)
- 编辑在综合决定时,对“标了AI辅助”的审稿意见进行加权调整——不是说AI辅助的意见就低人一等,而是提醒编辑注意它可能存在“语言精致但洞察空洞”的风险。
这种做法不完美,甚至可能被钻空子,但它的核心价值在于恢复了信息透明度。同行评议最怕的不是“有人用了AI”,而是“所有人都在用AI,但所有人都假装不用AI”,导致整个系统的信号体系彻底失真。先把这个“假装”的窗户纸捅破,后续的规则才能谈。
5. 常见问题与排查技巧实录
5.1 “作者回复说我的意见是AI生成的,我该怎么办?”
这个情况我身边真实发生过。一位朋友当审稿人,用LLM辅助写了审稿意见,被作者在回复函中用比较激烈的言辞质疑“意见缺乏领域针对性,疑似AI生成”。他来问我怎么处理。
我的建议分三步:
第一步,不要慌,更不要删掉意见重写。你一旦心虚重写,等于坐实了对方的指控。正确的做法是把每一条意见都拉回“论文的具体证据层面”。比如对方说“你这条意见说实验设置不合理,但并没有具体指出哪里不合理”,你应该立刻回到论文里的实验章节,找出你当时觉得“别扭”的那个具体细节——哪怕只是“对比方法的数据集划分方式跟本文不一致”这样的小点——重新组织意见的语言,让内容变得“有锚点”。
第二步,适当接受“可能冤枉了部分意见”。如果过滤之后发现,确实有某条意见是LLM生成的“万能语句”,比如“建议作者补充XX类型的实验以增强说服力”,而你又提不出具体补充什么内容、跟什么对比,那就大方地从审稿意见里删掉它。审稿不是辩论赛,没必要为了“面子”保住每一条意见。少而精准的意见,比多而空洞的意见更能帮到编辑做决定。
第三步,在给编辑的Comments里主动注明“部分意见由AI辅助整理,但核心判断已由本人逐条确认”。这表面上是暴露软肋,实际上是在建立信任。编辑最怕的其实不是“使用AI”,而是“隐瞒使用AI”——前者属于工具使用范畴,后者属于学术诚信范畴。主动披露之后,你的意见可信度反而会因为“坦诚”而提升。
5.2 “用LLM帮我写Rebuttal,结果被编辑打回来要求重写”
这是另一个高频翻车场景。作者自己(或者实验室同学帮忙)用LLM生成了对审稿意见的回复,写完自己都没细看就提交了。结果编辑回信说“回复内容过于空泛,未能对审稿人提出的核心问题做出实质性回应”。
问题出在哪?我拆解过一些被退回的AI生成Rebuttal,共性非常明显:LLM生成的回复往往是“翻译问题”,而不是“回答问题”。审稿人说“实验对比基准不够丰富”,LLM生成回复的套路是“感谢审稿人指出这个问题,我们充分认识到实验对比在验证模型有效性中的重要性,已经在修改稿中新增了更多对比实验”——听起来态度端正,但实际上一个具体模型名字都没提,审稿人没看到任何可验证的改动,自然不满意。
**排查方法很简单:逐条审阅法。**拿到LLM生成的Rebuttal后,把每一条回复独立拿出来,盖住审稿意见,只问自己一个问题:“如果我没看过审稿意见,光读这条回复,我能猜到审稿人在问什么吗?”如果猜不出来,或者只能猜到“反正是让我补充实验/补充分析”这种大方向,这条回复就是失败的,必须重写。
重写的正确姿势是“先列改动清单,再写感谢措辞”。具体到某条回复里,应该先写“我们在修改稿的Figure X新增了Y模型的对比结果,显示在Z数据集上我们的方法仍然保持最优”,然后再写一句“感谢审稿人提出的宝贵建议”。这个顺序不能颠倒,因为编辑判断你的回复是否实质性时,看的是“信息增量”,而不是“礼貌程度”。
5.3 “我觉得审稿人夸大了LLM的威胁,是不是有点杞人忧天?”
这个质疑我也经常遇到。有人觉得,就算审稿人用LLM写意见,也不至于对科研体系伤筋动骨。我认为这个判断低估了问题的扩散速度。
关键在于边际成本。传统审稿体系下,请一个专家认真审一篇论文的时间成本是四小时到两天,而专家本人的学术判断力是稀缺资源,这就天然限制了“不负责审稿”的规模。但LLM介入后,产出“看上去合格”的审稿意见的边际成本几乎降为零,审稿人可以在一晚上“审”完五篇论文而看起来每篇都花了心思。
这会引发一种**“审稿通胀”**——高质量的深度审稿本来就少,现在连中等质量的审稿都不一定有人愿意做了。当大部分论文收到的都是“LLM式安全意见”(没有致命伤,补补实验,改改写法),好论文和差论文之间的区分度就会下降,最终伤害的是一线踏实做研究的人。所以我不觉得这是杞人忧天,而是需要一个系统性的应对方案——包括前面提到的技术性对策(写作防御)、流程性对策(AI辅助披露)和心态上的对策(坦然面对这个新常态)。
6. 用几个月实测换来的几条“生存法则”
写到这里,其实最想分享的不是技术步骤,而是几个心态层面的“生存法则”,算是踩过很多坑之后觉得最值得记住的东西。
第一,不要对抗“工具使用”,要对抗“判断力外包”。LLM时代的同行评议,危险的不是有人用工具,而是有人把“判断”这个核心责任也外包了出去。我们作为作者,能做的是把自己的论文写得“好判断”;作为审稿人,能做的是保持“亲自下判断”的职业底线。工具永远是放大镜,不是眼睛本身。
第二,学会阅读“AI味审稿意见”背后的真实信号。如果你收到的审稿意见读起来非常流畅、结构极其清晰、每个批评都点到为止,别急着高兴也别急着愤怒。这通常意味着审稿人花在你这篇论文上的实际深度有限,但他在流程层面是尽职的。这里的真实信号是:你需要让论文的“说服性摘要”更高效——确保结论在摘要和引言里就被有力地论证出来,因为那是审稿人注意力最集中的地方。
第三,珍惜那些“笨拙但真实”的审稿意见。我在过去几个月有个深刻的体会:最珍贵的审稿意见往往来自那些不符合GitHub Copilot写作风格的段落——句子可能带着语法瑕疵,但里面藏着只有真人才能给出的“领域实地经验”。比如“这个方法我以前在xx数据集上试过类似思路,当时的失败是因为xx,建议你检查是否也会遇到”。这种意见是论文修改的真实养料。当LLM把审稿市场搅得泥沙俱下时,能认出并珍惜这种“笨拙的真实”,反倒成了科研人的一项新能力。