企业官网建设流程全解析

传统信息检索（IR）指标如 nDCG、MAP、MRR 在 RAG（检索增强生成）系统中失效，因它们基于用户行为假设，与 LLM 处理信息的方式不匹配。LLM 注重整体上下文质量而非个体文档排名，且无关文档的干扰效应各异。文章指出，IR 指标评估用户有用性，而 RAG 评估对 LLM 生成的影响，目标不同。建议采用 Context Precision 等新指标评估 RAG，并组合多种指标，避免单一指标优化导致系统“刷分”而用户体验下降。

传统 IR 指标在 RAG 场景中的失效

昨天读了一篇 2025 年的研究文章，链接是 https://arxiv.org/html/2510.21440v1。

它的大致内容是说传统 IR 指标（nDCG、MAP、MRR）无法有效预测 RAG 系统的生成质量。研究者在多个数据集上测试发现，这些指标与最终生成答案的质量相关性极弱。

失效的原因在于：这些指标的设计假设与 RAG 系统的实际工作方式不匹配。

以 nDCG 为例，传统 IR 指标使用对数折扣函数（log₂(rank+1)）来降低低排名文档的权重。这个设计基于人类用户的行为模式：用户从上往下逐条检查搜索结果，越靠后的结果被看到的概率越低。

但在 RAG 场景中，LLM 会将 top-k 个文档作为一个整体输入到上下文窗口，且 LLM 的注意力存在首尾高、中间低的分布，导致了评估失效。

第二个失效原因是传统 IR 指标假设所有不相关文档的影响是同质的，没有用的文档会被用户自动过滤掉，对结果的负面影响可以用简单的精确率来衡量。

但在 RAG 场景中，无关文档的干扰效应差异很大：某些无关文档会严重误导 LLM 生成包含错误信息但语义相似的文档，而另一些则完全被 LLM 忽略，比如明显离题的文档。

传统指标无法区分这两种情况，它们都被简单地归类为“不相关”。

举个例子：两个系统的 Precision @5 都是0.6(5个结果中3个相关），但系统 A 的2个不相关文档是无害的背景信息，系统 B 的2个不相关文档包含误导性内容。传统指标给出相同评分，但系统 B 的生成质量可能远低于系统 A。

其实，出现这样现象的原因很好理解，传统 IR 指标评估的是“检索结果对人类用户的有用性”，而 RAG 需要评估的是“检索结果对 LLM 生成的影响”。这是两个完全不同的目标。

当然，这篇文章的内容都还是偏研究性，虽然它论证了传统指标不适合在 RAG 场景中使用，但实际上还有很多 RAG 系统在使用这些指标。还是需要对它们有基础的了解。

核心排序指标

Mean Reciprocal Rank (MRR)

第一个正确答案排在第几位。如果第一个正确答案在第1位，得1分；在第2位，得0.5分；在第3位，得0.33分。其他正确答案在哪里完全不管。

这个指标适合使用在有单一正确答案的场景，比如：“中国首都是哪里？”或者是用户明确知道自己要找什么，目标是一个特定的东西，比如：“我要找上周写的那份《2025年度财务报告》”。

不适合使用在「需要综合多个信息源的复杂查询，多跳推理任务」的场景。

Mean Average Precision (MAP)

所有正确答案的排名。每出现一个正确答案，就计算“到目前为止的准确率”，然后把这些准确率平均。正确答案越集中在前面，分数越高。如果10个结果里有3个正确答案分别在第1、2、3位，比它们分散在第1、5、9位得分高得多。

这个指标的特性是考虑所有相关文档的排名位置，对排序质量敏感（相关文档排名越靠前，得分越高）。

它适合使用在需要综合多个文档才能得到答案的场景，比如：“近5年关于 Transformer 架构改进的论文”。

不适合单一查询和多跳查询任务的场景。

Normalized Discounted Cumulative Gain (NDCG)

排序结果与理想排序的接近程度。这个指标会综合看答案对不对以及回答问题的完整程度。它用4级打分：直接给出答案且信息完整（3分）、包含答案但不够直接（2分）、相关但没直接回答（1分）、不相关（0分）。

然后越靠前的文档权重越大，把直接回答问题的文档排第1位比排第5位，得分能差60%以上。

这个指标适合使用在文档质量差异大，有明显分级时，比如查询“2型糖尿病的一线治疗药物？”时，权威指南 > 科普文章 > 历史介绍。

根据 TREC 标准，通常使用4级标注（0=不相关， 1=部分相关， 2=相关， 3=高度相关），某些任务使用6级标注（如 TREC Web Track）。

具体示例：

查询：“2型糖尿病的一线治疗药物是什么？”

系统返回5个文档（按排名顺序）：

步骤1：计算 DCG @5

公式：

逐位置计算：

位置1: (2³ - 1) / log₂(2) = 7 / 1.000 = 7.000 位置2: (2¹ - 1) / log₂(3) = 1 / 1.585 = 0.631 位置3: (2² - 1) / log₂(4) = 3 / 2.000 = 1.500 位置4: (2⁰ - 1) / log₂(5) = 0 / 2.322 = 0.000 位置5: (2² - 1) / log₂(6) = 3 / 2.585 = 1.161 DCG@5 = 7.000 + 0.631 + 1.500 + 0.000 + 1.161 = 10.292

步骤2：计算 IDCG @5（理想排序）

理想排序（按相关性从高到低）：[3, 2, 2, 1, 0]

位置1: (2³ - 1) / log₂(2) = 7 / 1.000 = 7.000 位置2: (2² - 1) / log₂(3) = 3 / 1.585 = 1.893 位置3: (2² - 1) / log₂(4) = 3 / 2.000 = 1.500 位置4: (2¹ - 1) / log₂(5) = 1 / 2.322 = 0.431 位置5: (2⁰ - 1) / log₂(6) = 0 / 2.585 = 0.000 IDCG@5 = 7.000 + 1.893 + 1.500 + 0.431 + 0.000 = 10.824

步骤3：计算 NDCG @5

结果解读：

• 该系统的 NDCG @5 = 0.951，接近完美（1.0）
• 主要损失来自位置2放了一个“部分相关”文档（应该放“相关”文档）
• 如果把位置2和位置3互换，DCG 会从 10.292 提升到 10.762，NDCG 提升到 0.994

NDCG 假设用户对低排名文档的关注度呈对数衰减，但2024年的眼动追踪研究显示，实际用户行为更接近指数衰减，前3位占据80%注意力。

Precision @k vs Recall @k

定义与计算

Precision @k（精确率）：

返回的结果里，有多少比例是对的。比如返回10个结果，7个是对的，Precision = 7/10 = 0.7。

这个指标关心“质量”。

Recall @k（召回率）：

所有正确答案里，找到了多少比例。比如总共有20个正确答案，你找到了12个，Recall = 12/20 = 0.6。

这个指标关心“完整性”，防止漏掉重要信息。

最佳取值

下面的 k 代表“返回多少个文档”。

k=3 时质量很高（Precision 0.85）但漏掉很多信息（Recall 0.28），最终生成质量 0.82。随着 k 增加，找到的信息越来越全，但噪音也越来越多。

k=5 时达到最佳平衡点（生成质量 0.87）。继续增加到 k=10、k=20，虽然 Recall 继续提升，但噪音太多反而把 LLM 带偏了，生成质量反而下降。

这说明给 LLM 太多信息反而会适得其反。

在金融文档 RAG 系统的研究中：

• k=3: Precision=0.85, Recall=0.28, 生成质量=0.82
• k=5: Precision=0.76, Recall=0.45, 生成质量=0.87（最优）
• k=10: Precision=0.58, Recall=0.68, 生成质量=0.79（噪音开始降低质量）
• k=20: Precision=0.42, Recall=0.82, 生成质量=0.71（严重噪音污染）

根据这研究，会发现存在一个最优的 k 值（该研究中为5），超过该值后 Recall 的提升无法补偿 Precision 下降带来的负面影响。

Goodhart 定律

你本来想提高用户满意度，但因为满意度不好测量，就用 nDCG 分数代替。

一开始确实有用，nDCG 提高，用户也更满意。但当你把 nDCG 当成唯一目标疯狂优化后，系统开始“刷分”：它学会了怎么让 nDCG 分数好看，但实际上用户体验变差了。

就像学生为了考高分死记硬背，分数上去了但能力没提高，甚至因为只顾刷题把真正重要的能力给荒废了。

有一个经典表述是：“当一个度量成为目标时，它就不再是一个好的度量。”

研究者分析了1.2亿篇论文的引用数据，发现：

• 当机构开始将 h-index 作为考核目标后
• 自引率从平均8%上升至22%
• 引用圈（citation rings）现象显著增加
• 但论文的真实学术影响力反而下降

这是“当度量成为目标”导致系统性失败的典型案例。

在实际开发中，要尽量避免出现这个问题，可以使用以下策略缓解。

1. 使用指标组合而非单一指标：同时监控 nDCG、多样性指标、用户停留时间
2. 定期更新测试集：避免模型过拟合特定数据分布
3. A/B 测试作为最终验证：离线指标仅用于初筛，在线实验才是决策依据
4. 设置指标上限：当 nDCG 超过某阈值后，停止优化该指标，转而优化其他维度

Context Precision: RAG 专用指标

传统 Precision 只管“你找到的文档相关不相关”，但在 RAG 系统里，相关不等于有用。

比如你问“糖尿病吃什么药”，系统返回5个文档：前2个讲药物名称，LLM 使用了，后3个讲糖尿病历史、流行病学，这些文档虽然相关但 LLM 没用。

传统 Precision 会判定“5个都相关，得分100%”，但 Context Precision 的结论是“有用的信息都在前面，得分100%”。

如果把有用的文档排在后面，Context Precision 会大幅降分，因为它知道 LLM 更容易被前面的文档影响。

定义与计算

Context Precision @K 评估的是：在 top-K 检索结果中，对生成任务真正有用的信息是否排在前面。

与传统 Precision @K 的区别：

• 传统 Precision @K：只看“检索到了哪些相关文档”
• Context Precision @K：还看“这些相关文档对 LLM 生成的实际贡献”

计算方法（基于 RAGAS 框架）：

对于top-K中的每个文档d_i： 1. 判断d_i是否被LLM实际使用（通过分析生成内容的归因） 2. 计算位置i的精确率：P@i = (前i个文档中被使用的数量) / i 3. Context Precision@K = Σ(P@i × used(d_i)) / (被使用的文档总数)

实证案例

案例：医疗问答 RAG 系统

查询：“2型糖尿病的一线治疗药物是什么？”

系统 A 检索结果：

1. [高度相关] 二甲双胍是2型糖尿病一线药物（被LLM使用） 2. [相关] 二甲双胍的药代动力学（被LLM使用） 3. [相关] 糖尿病饮食管理（未被LLM使用） 4. [低相关] 1型糖尿病治疗（未被LLM使用） 5. [不相关] 胰岛素发现史（未被LLM使用） 传统Precision@5 = 3/5 = 0.6 Context Precision@5 = (1/1×1 + 2/2×1 + 3/3×0 + ...) / 2 = 1.0

系统 B 检索结果：

1. [相关] 糖尿病流行病学（未被LLM使用） 2. [相关] 糖尿病并发症（未被LLM使用） 3. [高度相关] 二甲双胍是一线药物（被LLM使用） 4. [相关] 二甲双胍副作用（被LLM使用） 5. [不相关] 其他代谢疾病（未被LLM使用） 传统Precision@5 = 3/5 = 0.6（与系统A相同） Context Precision@5 = (0 + 0 + 3/3×1 + 4/4×1) / 2 = 0.5

生成质量对比：

• 系统 A 生成答案：准确、简洁（事实准确率95%）
• 系统 B 生成答案：冗长、偏离主题（事实准确率78%）

传统 Precision @5无法区分两个系统的质量，但 Context Precision @5能反映出系统 A 的优势。

如何选择评估指标

步骤1：确定评估目的 ├─ 评估检索模块（独立于生成） │ ├─ 单答案任务 → MRR │ ├─ 多答案任务 → MAP │ └─ 分级相关性 → NDCG │ └─ 评估端到端RAG系统 ├─ 有标注数据 → Context Precision + 生成质量指标 └─ 无标注数据 → LLM-as-Judge评估框架（如RAGAS） 步骤2：评估资源约束 ├─ 标注预算充足 → 使用NDCG（分级标注） ├─ 标注预算有限 → 使用MAP/MRR（二元标注） └─ 无标注预算 → 使用LLM自动评估 步骤3：验证指标有效性 ├─ 小规模A/B测试验证离线指标与在线表现的相关性 └─ 如果相关性<0.5，重新设计评估指标

不要盲目追求某个指标的数值，始终追问“这个指标的提升是否真的改善了用户体验”。

假如你从2026年开始学大模型，按这个步骤走准能稳步进阶。

接下来告诉你一条最快的邪修路线，

3个月即可成为模型大师，薪资直接起飞。

阶段1:大模型基础

阶段2:RAG应用开发工程

阶段3:大模型Agent应用架构

阶段4:大模型微调与私有化部署

配套文档资源+全套AI 大模型 学习资料，朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】👇👇

配套文档资源+全套AI 大模型 学习资料，朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】👇👇