企业官网建设流程全解析

1. 从一次离谱的评分差异说起

先交代背景。我最近在做的事情，是给一套 AI 判分器做质检。所谓判分器，就是拿一个大模型去给另一个大模型的输出打分——比如代码题、推理题、写作题，让模型当裁判，自动给出分数或优劣判断。这套东西现在被大量用在模型评测、数据筛选、强化学习反馈这些环节里，SWE-bench 这类基准测试的自动评估也高度依赖它。

问题出在一次常规抽检上。同一道题、同一份待评回答，我让判分器跑了两次，第一次给 82 分，第二次给 -18 分。你没看错，差出了整整 100 分。这不是我编的极端案例，而是真实发生在批量评测里的现象。更麻烦的是，这种抖动不是均匀分布的——大部分样本稳定，少数样本像抽风一样乱跳，而恰恰是这些乱跳的样本，会把整个评测结论带偏。

这篇东西就是把我这段时间做判分器质检的完整思路、方法、踩过的坑摊开讲。适合三类人看：一是正在搭自动评测流水线的工程师，二是要用评测分数做决策的算法同学，三是对“AI 评测可信度”这件事本身好奇的从业者。我不打算讲空泛的方法论，只讲能直接抄作业的操作和判断依据。

2. 判分器质检到底在质检什么

2.1 先搞清楚判分器的三种典型形态

很多人一上来就说“评测不可信”，但没分清不可信来自哪里。我先把判分器拆成三类，因为它们的质检重点完全不同。

第一类是规则判分器，比如代码题跑单元测试、数学题比对最终答案。这类判分器的“抖动”通常来自环境，不是来自模型，质检重点是执行环境的一致性和边界用例覆盖。

第二类是模型判分器，也就是让 LLM 当裁判，给开放式回答打分或排序。这是抖动最严重的一类，也是我这次遇到 100 分差异的主角。它的不可信来自提示词敏感、位置偏见、长度偏见、采样随机性。

第三类是混合判分器，规则先筛一遍，模型再补判。这类最容易出隐蔽 bug，因为两段逻辑的边界经常对不齐，比如规则判“通过”但模型判“差”，最终取哪个值没有明确定义。

我这次质检的对象是第二类和第三类。判断依据很简单：只要判分结果里出现了“解释性文字”或者“打分理由”，基本就是模型判分器在起作用。

2.2 评测可信度的四个可量化维度

光说“不可信”没法干活，得把它拆成能测的指标。我实际用的是这四个：

• 一致性：同一输入重复判分，分数波动多大。这是最基础的，也是我这次暴雷的地方。
• 区分度：好答案和差答案能不能被拉开。如果所有答案都判 70 分，那这个判分器等于没用。
• 对齐度：判分结果和人工标注的一致程度。通常用 Cohen's kappa 或 Spearman 相关系数衡量。
• 鲁棒性：对无关扰动（换措辞、调顺序、加空格）的敏感程度。

这四个维度里，一致性是地基。地基不稳，后面三个测了也白测。我建议任何判分器上线前，先跑一致性测试，成本最低，暴露问题最快。

2.3 为什么“差 100 分”比“平均差 5 分”更值得警惕

这里有个反直觉的点。如果判分器整体偏移 5 分，你还能通过校准曲线把它拉回来。但如果它是偶发性的极端抖动，校准根本救不了，因为抖动没有固定方向。

我统计过那批出问题的样本，抖动分布是这样的：约 85% 的样本两次判分差异在 3 分以内，10% 在 3 到 15 分之间，剩下 5% 直接飙到 30 分以上，最极端的 100 分。这 5% 就是毒药。假设你用这批分数去筛数据，阈值卡在 60 分，那么一个真实水平 70 分的样本，可能因为一次抖动被判成 40 分丢掉，也可能被判成 90 分混进高质量集。

注意：极端抖动往往集中在“边界样本”上——也就是那些本身模棱两可、可好可坏的答案。判分器对清晰样本很稳，对模糊样本就原形毕露。所以质检抽样时，一定要专门抽边界样本，不能只随机抽。

3. 定位抖动源头的实操拆解

3.1 第一步：把随机性关掉再测一遍

遇到抖动，第一反应不是改提示词，而是先排除采样随机性。模型判分器如果 temperature 大于 0，那它每次输出本来就不一样，这时候测出来的“不一致”有一部分是正常的。

我的操作是：把 temperature 设为 0，top_p 设为 1，固定随机种子（如果接口支持），然后对同一批样本重复判分 5 次。如果 5 次结果完全一致，说明抖动来自采样；如果仍然不一致，说明问题在别处。

实测下来，光这一步就能解释掉大约三成的抖动。剩下的七成，才是真正需要深挖的。

3.2 第二步：拆解提示词里的隐藏变量

关掉采样后还抖，八成是提示词的问题。模型判分器的提示词通常长这样：一段评分标准 + 待评问题 + 待评回答 + 输出格式要求。这里面藏着好几个变量：

• 评分标准的表述顺序：先讲扣分项还是先讲加分项，结果会不一样。
• 待评回答的位置：放在问题前面还是后面，模型注意力分配不同。
• 输出格式的约束强度：要求“只输出数字”和“先解释再给分”，稳定性差很多。
• 示例的数量和内容：few-shot 示例选得好不好，直接影响判分尺度。

我做过一组对照实验，只改“先解释再给分”和“直接给分”这一个变量，同一批样本的一致性从 0.71 掉到 0.52。原因是让模型先写解释，它会顺着自己写的解释往下推，一旦开头措辞偏了，后面分数就跟着偏。这就是典型的自回归放大效应。

3.3 第三步：用“扰动测试”量化敏感度

定位到可疑变量后，我用一套扰动测试来量化它到底影响多大。具体做法是构造几组“语义等价但表面不同”的输入：

如果某一类扰动导致分数大幅波动，那这个维度就是判分器的软肋。我实测发现，顺序调换和长度填充是最容易引发抖动的两类。前者说明模型有位置偏见，后者说明模型有长度偏见——它倾向于给更长的回答更高分，哪怕内容没变。

3.4 第四步：交叉验证，排除单模型偏见

单个模型当裁判，天然带偏见。我的做法是引入第二个不同家族的模型做交叉判分，然后比对两者的一致性。如果两个模型对同一批样本的判断高度一致，那这批样本的判分相对可信；如果两者分歧巨大，那这批样本就是“争议样本”，需要人工介入。

这一步的成本不低，但价值很高。它不仅能发现判分器的问题，还能反过来帮你找到评测集里本身就有歧义的题目。我那次 100 分差异的样本，后来用交叉验证一跑，发现两个模型都判得很飘，说明是题目本身太模糊，不是判分器单方面的问题。

4. 让判分器稳下来的具体改造

4.1 提示词工程：把“裁判”变成“填空题”

最有效的改造，是把开放式判分改成结构化判分。原来让模型“给这段回答打个分”，现在改成让它逐项填表：

请按以下维度逐项判断，每项只能填 0 或 1： 1. 是否完整回答了问题：___ 2. 是否存在事实错误：___ 3. 逻辑是否自洽：___ 最后按公式 60 + 10*a + 15*b + 15*c 计算总分。

这么改之后，模型不再“自由发挥”，而是做一系列二分类判断，最后用确定性公式算分。实测一致性从 0.68 提升到 0.89。代价是判分维度变粗了，但对大多数筛选场景够用。

提示：公式里的权重不要拍脑袋定，用一批人工标注样本做逻辑回归拟合，让数据告诉你每个维度该占多少分。

4.2 多次采样取中位数，而不是取平均

如果因为业务需要必须保留开放式判分，那就用多次采样。但注意，取平均是错的，因为极端值会把平均值拉偏。正确做法是取中位数，或者去掉最高最低后取平均。

我做过对比：同一批样本采样 7 次，取平均的方差是取中位数的 2.3 倍。中位数对极端抖动天然免疫，这正是我们需要的。

4.3 给判分结果加“置信度”标签

不是所有判分都同等可信。我让判分器在给分的同时，输出一个置信度标记：多次采样结果一致就标“高”，分歧在阈值内标“中”，分歧超阈值标“低”。下游用分数时，只信“高”和“中”的，“低”的直接进人工队列。

这个改动看起来简单，但极大提升了整条流水线的可靠性。因为大部分样本其实是“高置信”的，真正需要人工的只有一小撮，成本可控。

4.4 建立判分器的回归测试集

判分器本身也是要迭代的，改了提示词、换了模型版本，都得重新验证。所以我维护了一个固定的回归测试集，大概 200 条样本，覆盖各种边界情况，每条都有人工标注的“标准分”。每次改动后跑一遍，看一致性、对齐度有没有退化。

这个测试集是慢慢攒出来的，一开始只有几十条，每次线上发现异常样本就补进去。现在它已经成了我最值钱的资产之一。

5. 常见问题与排查速查

5.1 判分结果忽高忽低，先查什么

按这个顺序排查，基本能覆盖九成情况：

1. 采样参数是否固定（temperature、top_p、seed）
2. 提示词里是否有未固定的变量（时间、随机示例）
3. 待评内容是否触发了模型的安全策略，导致输出被截断
4. 接口是否返回了缓存结果或错误重试的结果
5. 是否存在并发调用导致的上下文串扰

第 3 条特别隐蔽。有些待评回答里带了敏感词，模型判分时被安全层拦截，返回一个默认分或空值，看起来就像“抖动”。我踩过这个坑，排查了大半天才发现是内容审核在作祟。

5.2 判分器对某类题目特别不稳怎么办

先分类，再针对性处理。我的经验是：

5.3 人工标注和判分器总对不上，是谁的问题

别默认是判分器的错。我遇到过好几次，最后发现是人工标注本身不一致——同一个标注员隔一周标同一道题，结果都不一样。所以对齐度测试前，先测人工标注的内部一致性。如果人工自己都不稳，那拿它当金标准就是自欺欺人。

5.4 独家避坑技巧

• 判分器的提示词里，永远不要出现具体分数示例，比如“好的回答给 90 分”。模型会锚定这个数字，导致分数分布畸形。
• 待评回答如果很长，先做摘要再判分，比直接塞长文本稳定得多。
• 每次换模型版本，哪怕只是小版本号变化，都要重跑回归测试。我吃过一次亏，模型升级后判分尺度整体偏移了 8 分，没测就上线，污染了一整批数据。
• 记录每次判分的完整输入输出日志，包括提示词全文。出问题时，没有日志等于盲人摸象。

6. 关于评测可信度的一点个人体会

做判分器质检这段时间，我最大的感受是：评测的可信度不是判分器单方面决定的，而是判分器、评测集、使用方式三者共同决定的。一个一致性 0.9 的判分器，配上一个充满歧义的评测集，最终结论照样不可信。反过来，一个一致性只有 0.7 的判分器，如果只用来做粗筛，配合人工复核，也能用得很稳。

所以别追求“完美的判分器”，那东西不存在。要做的是搞清楚它的能力边界，在边界内用它，边界外交给别的环节。我现在的做法是，判分器只负责把样本分成“明显好”“明显差”“拿不准”三堆，中间那堆绝不硬判。这样虽然多花了点人工，但整个评测结论的可信度上了一个台阶。

最后分享一个我一直在用的小习惯：每次看到判分结果里出现极端值，不管是极高还是极低，我都会单独把它捞出来看一眼原始输入。十次里有八次，问题就藏在那一眼里。