千笔-AIWritePaper · https://www.aiwritepaper.com
Deep Research 类功能把「一次问答」拉成多步智能体流程:先追问范围,再迭代检索,再评价来源,最后写成带引用的长文。广搜与初综合确实更快,可选型若停在「比普通聊天更少胡说一点」,就会把初稿加速误当成纳入与引用终裁。
本文依据 University of Mary Washington 频道发布的AI Tools Webinar: Deep Research(2025-10-02,约 48 分钟,Center for AI and the Liberal Arts 赞助系列)整理。讲者关于工作流步骤、平台耗时差异,以及厂商公开的误差率口述,均未经第三方核实。实验部分用 15 条虚构迷你检索任务,对照「人工检索清单」与「伪 Deep Research 输出」,不是讲者课堂演示的原始日志,也不代表任何商业产品的真实 API 结果(_w/deep-research-gate/)。
图:上排为讲者描述的 Deep Research 步骤;中排为 15 条任务的能用一致与假放行;底部为选型终裁分层。
目标说明
读完你应能独立完成四件事。
- 说清 Deep Research 与普通聊天检索的差别:多步计划、迭代搜索、来源评价、带链接综合。
- 把能力拆成「能加速广搜/提纲」与「必须人工终裁」两层。
- 在 15 条迷你任务上复跑,看清假 DOI、题名漂移、过时综述冒充最新等假放行。
- 产出选型终裁表与验收 CSV,终裁列写清人类必做与失败含义。
视频要点:讲者原话(数字未经第三方核实)
讲者把 Deep Research 定义为平台上的智能体工作流:提示进入后,系统常先追问受众与范围,再做研究计划,接着多轮定向检索并按中间结果改策略,再按提示约束做来源评价,最后综合成自然语言并附上可回点的引用。他强调这与「只靠训练记忆生成」的早期聊天不同,计算更重,耗时从约数分钟到数十分钟不等;课堂例子里 Perplexity 偏快,Claude 某次超过一小时。
| 环节 | 视频描述 | 讲者给出的数字或边界 |
|---|---|---|
| 工作流 | 问题分析 → 研究计划 → 迭代检索 → 来源评价 → 综合 + 引用 | 平台实现细节不完全相同 |
| 耗时 | 深度查询更耗算力与时间 | Perplexity 常见数分钟;其他可达 10-30 分钟或更久 |
| 误差语境 | 对照人类认知差错文献与厂商公开材料 | 人类在疲劳等条件下差错可很高;厂商材料中早期模型「至少一处错误」的响应约 20%-22%,带 thinking 的更新模型口述约 4.8% |
| 误差类型 | 听众追问「漏检算不算」 | 讲者理解该材料主要计输出侧幻觉/错引,漏检重要文献属遗漏,不在该口径 |
| 错引形态 | 题名对但链接错、数据点表述偏 | 仍须人工打开核对 |
| 平台 | Gemini / OpenAI / Perplexity / Claude / Copilot 等 | 能力相近;Perplexity 更快、深度常弱一些 |
| 定位 | 降低错误是开发动机之一 | 仍有幻觉;要对照来源核验 |
讲者反复留下的失败含义:误差率下降,不等于报告可直接进系统综述;「带引用」不等于 DOI、链接、发表状态与文献类型都对;漏检关键研究可以不进某些厂商口径的「错误率」。选型文案若只写「更准」,会被这几条边界打脸。
实验:15 条迷你任务上的人工清单 vs 伪 Deep Research
每条任务种植一类检索终裁缺陷(假 DOI、题名漂移、过时综述冒充最新、链接错配、漏检基准、新闻当同行评审、预印本当已发表、作者年错配、重复计数),并保留 3 条「广搜题名/目录提纲」作为能用层对照。人工金标准写清应如何判定;伪 Deep Research 用「看起来完整的错误放行」模拟初综合报告。输出原样:
T01 缺陷=假DOI 一致=MISMATCH 层=不能用-引用核验终裁 → 人类必做 T02 缺陷=假DOI 一致=MISMATCH 层=不能用-引用核验终裁 → 人类必做 T03 缺陷=题名漂移 一致=MISMATCH 层=不能用-纳入合并终裁 → 人类必做 T04 缺陷=题名漂移 一致=MISMATCH 层=不能用-纳入合并终裁 → 人类必做 T05 缺陷=过时综述冒充最新 一致=MISMATCH 层=不能用-时效与类型终裁 → 人类必做 T06 缺陷=过时综述冒充最新 一致=MISMATCH 层=不能用-时效与类型终裁 → 人类必做 T07 缺陷=正常可加速 一致=ok 层=能用-广搜/结构初稿 → 人类抽检 T08 缺陷=正常可加速 一致=ok 层=能用-广搜/结构初稿 → 人类抽检 T09 缺陷=引用链接错配 一致=MISMATCH 层=不能用-引用核验终裁 → 人类必做 T10 缺陷=漏检关键研究 一致=MISMATCH 层=不能用-覆盖终裁 → 人类必做 T11 缺陷=把新闻当同行评审 一致=MISMATCH 层=不能用-文献类型终裁 → 人类必做 T12 缺陷=预印本当已发表 一致=MISMATCH 层=不能用-发表状态终裁 → 人类必做 T13 缺陷=正常可加速 一致=ok 层=能用-广搜/结构初稿 → 人类抽检 T14 缺陷=作者年错配 一致=MISMATCH 层=不能用-引用核验终裁 → 人类必做 T15 缺陷=重复计入同一研究 一致=MISMATCH 层=不能用-研究计数终裁 → 人类必做 合计=15 能用层一致=3/3 假放行(MISMATCH)=12 能用层任务=3 人类必做层=12 选型终裁: 广搜题名/目录提纲可加速 | 假DOI·题名漂移·过时综述冒充最新·… 必须人工终裁 | 讲者误差率数字未经本脚本核实读法:
- 能用层 3/3:题名列表与已知 PDF 目录提纲可以和人工清单对齐,适合当广搜与结构初稿加速器,仍要抽检。
- 假放行 12/12 种植缺陷:伪报告都能「写全引用、写完段落」,但 DOI 无效、题名漂移被合并、2019 综述被标成 2024 最新、题名配错 DOI、漏掉基准研究、新闻冒充同行评审、预印本升级成正式刊、作者年错、同一试验计三次。
- 人类必做 12/15:选型若宣传「自动完成系统检索终裁」,会被这 12 条打脸。
- 与讲者边界同向:输出侧可以「像样」,遗漏与错配仍要人审;本实验故意加重错配与假放行,用来压「完整报告=正确证据」的幻觉。
能用 / 不能用:分层验收
| 层 | 环节 | 判定 | 依据 | 失败含义 |
|---|---|---|---|---|
| 能用 | 广搜题名列表、已知材料目录提纲 | 加速,需抽检 | T07/T08/T13 与人工一致 | 关键词过宽仍可能漏基准(见 T10) |
| 能用 | 初综合草稿(带待核引用) | 加速起草 | 讲者工作流描述 | 把草稿当终稿→错引进正文 |
| 不能用 | DOI / 链接 / 作者年三角核对 | 人工终裁 | T01/T02/T09/T14 假放行 | 错引进入参考文献表 |
| 不能用 | 题名漂移合并、同一试验多报告计数 | 人工终裁 | T03/T04/T15 | 效应被重复计算或张冠李戴 |
| 不能用 | 「最新综述」时效与文献类型 | 人工终裁 | T05/T06/T11/T12 | 过时或非同行评审证据主导叙事 |
| 不能用 | 覆盖是否含基准研究 | 人工终裁 | T10;讲者称漏检可不计某类误差率 | 「全面」自评不可信 |
选型终裁表(可抄走)
| 能力宣传 | 是否采纳 | 人类必做 | 失败含义 |
|---|---|---|---|
| 比普通聊天更会多轮检索 | 可作广搜加速 | 保存检索式与题名导出抽检 | 仍可能漏关键研究 |
| 自动生成带引用长文 | 仅作初稿 | 逐条打开引用 | 题名对链接错、假 DOI |
| 自动判断纳入/排除 | 不采纳为终裁 | 人类按协议纳排 | 题名漂移合并、重复计数 |
| 自动宣布「最新系统综述」 | 不采纳 | 核出版年与综述类型 | 过时综述主导结论 |
| 误差率已降到个位数 | 作参考,不替代验收 | 对照本馆任务集复测 | 口径可能不含漏检 |
常见误判
- 「有引用列表就等于可引用」:T01/T09 显示假 DOI 与错配链接都能出现在像样报告里。
- 「厂商误差率很低,可跳过抽检」:讲者已说明仍有幻觉,且漏检可能不在该口径。
- 「Deep Research 跑得越久越可信」:耗时反映迭代与负载,不证明纳排正确。
- 「和文献筛选工具选型是同一篇文章」:本文管 Deep Research 素养与引用/时效终裁,不展开筛选器产品对照。
与讲者课堂演示的对齐方式
讲者现场对比了多家平台的深度报告长短与结构:有的更快、偏短,有的更长、带分节。选型时不要用「哪家文笔更好」当终裁指标。把同一条探针查询(例如「某主题 2024 年以后的系统综述」)丢给候选工具,只比较三件事:是否捏造出版年、引用能否打开、是否漏掉你预置的基准文献。耗时与文笔留作体验分,不进能用/不能用硬门。
若机构统一提供 Copilot 或 Gemini 额度,仍要在本地维护tasks.csv同类探针;厂商升级模型后复跑,防止「上月能用层、本月开始假放行」不被发现。
人类必做的最小动作清单
- 打开报告中的每一条拟用引用,核对题名、作者、年、DOI 或稳定链接。
- 对声称「最新/系统综述/已发表」的句子,回出版页面看类型与日期。
- 用基准研究必检表对照报告,缺一条就记覆盖失败。
- 同一试验的多篇会议/期刊报告合并计数后再进证据表。
- 把检索式、运行日期与原始报告文件名写进方法附录。
五步做完,Deep Research 才从「生成器」回到「助理」。少做第 1 或第 3 步,T01 与 T10 类事故会直接进稿。
验收清单
- 广搜输出必须导出题名清单,抽检回库。
- 每条拟引用文献完成 DOI/链接/作者年打开核对。
- 「最新」「系统综述」「已发表」三类标签有人工证据。
- 基准研究必检表存在,且 Deep Research 报告对照过。
- CI 跑
deep_research_gate.py,能用层保持一致,假放行样本可复现。
当天 30 分钟落地
- 5 分钟:选定 1 个 Deep Research 入口,固定保存原始报告与引用列表。
- 10 分钟:用本目录
tasks.csv思路列 10 条本学科「必杀」探针(假 DOI、旧综述、基准漏检)。 - 10 分钟:对真实报告抽 5 条引用做三角核对,记下假放行类型。
- 5 分钟:更新选型终裁表:哪些步骤可加速,哪些步骤写死「人类必做」。
踩坑
- 把课堂演示的漂亮长文直接贴进开题或 Related Work。
- 只核对第一页引用,附录里的二次引用放行。
- 用「全面检索」作方法句,却拿不出检索式与日期。
- 看见题名相似就合并研究,不做作者与注册号核对。
- 把预印本、新闻稿、博客与期刊混进同一证据等级。
总结
Deep Research 类工具适合加速广搜与初综合:多步计划、迭代检索、带引用成文,是讲者划出的能力边界。它不能自动完成纳入终裁、DOI 真伪、题名合并、时效与文献类型判定。15 条虚构任务里,能用层 3 条可对齐人工清单,12 条种植缺陷全部假放行。选型终裁表应写清人类必做与失败含义,并在升级工具时复跑同一份 CSV。讲者口述的误差率数字未经本实验核实;以你学科的探针集为准。
检索验收表与禁区归档可用千笔-AIWritePaper 整理;分层骨架与脚本不依赖产品名。