企业官网建设流程全解析

# Are Human‑Aligned Models Models of Humans? A Turing‑Test Gap in Preference Alignment
> 论文信息：arXiv:2609.23640，2026‑09‑20

## 一、文章主要内容
本文针对大模型人类反馈对齐（RLHF/DPO）开展研究，提出**图灵测试鸿沟（Turing‑test gap）**核心概念。
现有人类反馈对齐目标是让模型输出人类**偏好**的回答，但人类偏好的AI回复≠人类自己实际给出的回复。即使训练数据全部来自人类，偏好对齐训练也会降低模型输出行为与真实人类行为的相似度，模型会变得不那么“像人”。

1. **概念区分**：将对齐划分为**人类偏好对齐（alignment with human preferences）**和**人类行为对齐（alignment with human behavior）**。前者优化人们喜欢AI给出什么回答；后者复刻人类真实会输出的回答分布，对应“类人程度 human‑likeness”。
2. **理论推导**：偏好对齐只有在非常苛刻的条件下，才能保留原始人类回复分布；现实人类偏好数据集没有证据满足该条件。
3. **实证实验**：
- 权重实验：对人类回复做偏好加权，无论加权方向（符合人类偏好/反向/随机），**偏好权重强度越大，模型对真实人类回复的似然损失越高，类人程度下降**，该现象根源来自加权本身，不是偏好内容本身。
- DPO实验：标准DPO偏好优化同样会出现该鸿沟；DPO提升偏好匹配度，但模型行为距离人类真实分布更远。
4. **对比多种提升类人程度方案**：角色提示只能改变平均风格，无法还原人类回答多样性；DPO设置人类回复优于模型回