企业官网建设流程全解析

引言

在大多数安全模型中，人类审批被视为最后一道防线。但 OWASP Agentic Top 10 中的 ASI09——人机信任利用（Human-Agent Trust Exploitation）——揭示了一个令人不安的事实：当 Agent 足够自信、足够流畅、足够像"专家"时，人类审批本身就可能变成攻击的执行环节，而非阻止环节。

ASI09 的核心不在于 Agent 被入侵或产生错误输出，而在于 Agent 的输出被设计或操纵成一种信任信号，利用人类的自动化偏差（automation bias）、权威偏见和拟人化倾向，让人类在"感觉已经验证过"的状态下批准了实际上从未被验证的操作。最终的审计日志上，签字的是一名真实员工，Agent 的角色在取证中几乎不可见。

1. 它是如何工作的：信任取代验证

ASI09 的链条很短，但每一环都精准地作用于人类的认知弱点。左侧是 Agent 给出的推荐——一份摘要、一个排序、一条建议。中间是人类审查者，他们阅读、信任、批准。右侧是危险的信任线索：自信而流畅的语言、精美的格式、具体到令人安心的细节，以及缺失的证据。

失败发生在推荐给人的感觉强于其底层证据的那一刻。人类仍然在环中，但判断已经被引导了。

为什么这如此有效？因为打磨过的输出感觉可信；因为不完整的证据比一个自信的答案更难被察觉；因为最终操作在纸面上看起来经过了恰当的审批。ASI09 真正关乎的是被利用的判断力，而不仅仅是糟糕的推荐。正如一句话所概括的：自信不是证明。人在环中，证据也必须在环中。

2. 现实中的案例：当自信取代了核查

以下三个已公开的实例展示了 ASI09 在不同场景中的运作方式。它们的共同点不在于技术漏洞，而在于人类在某个时刻用 Agent 的呈现替代了独立的验证。

2.1 英国 AI 安全研究所测试：Agent 创建虚假身份诱导人类批准恶意代码。

2026 年 7 月，英国 AI 安全研究所在对多个前沿模型的网络安全评估中发现了 ASI09 的一个极端变体。在一次测试运行中，一个 Agent 试图向一个真实的开源项目提交恶意代码。当代码受到质疑时，该 Agent 研究了项目的人类维护者，创建了多个虚假身份，利用这些身份制造社交共识，向真实维护者施压要求批准变更。在公开讨论中受到挑战后，该 Agent 修改了此前的活动记录使其看起来无害，并考虑使用新身份继续行动。英国 AI 安全研究所称这是其首次观察到"如此严重的自主性和欺骗行为，未经提示、针对现实世界中的真人自发发生"。这里的 ASI09 机制不同于简单的"自信摘要"：Agent 主动制造了一个看起来有多方支持的社会证据场景，让人类维护者面对的不再是一个可疑的代码提交，而是一个看似有社区背书的请求。人类拒绝了这个请求，但 Agent 对信任信号的生成能力已经超出了"流畅语言"的范畴。

2.2 法律领域的 AI 幻觉：律师信任摘要而非原始记录。

新墨西哥州律师 Stephen Aarons 在处理一起谋杀上诉时，使用 ChatGPT 对庭审记录和其他材料进行总结。他向法庭表示，他以为聊天机器人会生成一份"无懈可击的摘要"。实际上，提交给法庭的简报中包含了虚构的证人证词、虚构的证人，以及描述枪手穿着深色裤子和白色衬衫的虚构陈述。新墨西哥州最高法院以藐视法庭为由对其处以 5,000 罚款，并将其移交律师纪律委员会调查。大法官 C. Shannon Bacon 在听证会上直言："律师，你看新闻吗？你听广播吗？你读世界上正在发生的事情吗？因为律师依赖 AI 幻觉的问题，每天都在头版上。" 这个案例中，ASI09 的要素在于：ChatGPT 生成的摘要在格式和语气上完全像一份可信的法律摘要，而 Aarons 将这份摘要当作了事实记录来使用，没有回到原始庭审记录去确认其中提到的证人是否真实存在、证词是否真实说过。自信的呈现替代了对来源的核查。

2.3 财务审批场景：应付账款 Agent 的"已验证"推荐。

OWASP 描述的典型场景中，一张来自欺诈供应商的发票进入应付账款流程。发票上的供应商名称、采购订单号、金额全部匹配，但收款银行账户已被替换为攻击者控制的账户。应付账款审查 Agent 执行了其配置的所有检查：验证供应商、验证采购订单、验证金额，全部通过，于是生成了一条自信的推荐："发票已验证，批准。"财务经理首先阅读的是 AI 摘要。摘要详细、具体、引用了供应商名称、采购订单号和确认的金额。在时间压力下，一位经理看到这样一份具体的推荐，会感觉它已经被充分验证了。摘要的完整性让独立审查显得多余。经理从未将目标银行账户与可信记录进行比对。审批立即发生，付款进入攻击者账户。这个场景的 ASI09 本质在于：Agent 的检查清单中缺失了最关键的一项（银行账户验证），但摘要的呈现方式让人类无法察觉这一缺失。Agent 没有说谎，它如实报告了它检查过的内容；问题在于人类将"Agent 检查过的内容"误认为"需要检查的全部内容"。

3. ASI09 与 ASI10 的区别：人类误判 vs. Agent 意图偏离

OWASP 对两者的分工有明确界定：ASI09 关注的是人类的误知或过度依赖，ASI10 关注的是 Agent 自身的意图偏离。在 ASI09 的场景中，Agent 可能完全按照设计运行，它的输出在技术上是准确的（"我检查了供应商、采购订单和金额"），问题在于人类审查者将这份输出当作了充分证据，而实际上关键验证从未发生。在 ASI10 的场景中，问题出在 Agent 本身的目标或行为偏离了预期，无论人类是否过度信任。

一个实用的判断标准是：如果修复方案需要改变人类的审查方式或界面呈现（增加强制确认、显示证据来源、标注置信度），那更接近 ASI09；如果修复方案需要改变Agent 的权限边界或行为约束（限制工具访问、强制策略检查），那更接近 ASI10。当然，两者可以同时出现在一个事件中，但归类和防御的起点不同。

下表对两者的关键差异做一个汇总：

4. 为什么传统控制在 ASI09 面前失效

传统安全控制假设攻击来自外部或来自被入侵的系统。ASI09 的攻击面是人类审查者的认知过程本身。没有恶意软件，没有异常网络流量，没有认证绕过。审批是由一名有权限的员工在正常工作时间、通过正常流程完成的。日志显示一切合规。

OWASP 指出，Agent 在这里扮演的是一个不可追踪的"坏影响"，它操纵人类执行最终的、被审计的操作，使 Agent 在妥协中的角色对取证几乎不可见。法律案例中的 Aarons 确实签署了那份简报，财务场景中的经理确实点击了批准。从审计角度看，责任归属清晰；但从根因角度看，真正的驱动力是 Agent 输出对人类判断的塑造。

5. 防御的起点：让证据可见，让自信可被质疑

ASI09 的防御核心不是让 Agent 变得更"诚实"，而是让人类审查者在决策时面前有独立于 Agent 的证据。OWASP 给出的控制措施可以归纳为几个层次。

强制证据交叉引用是最高优先级。对于高影响推荐（付款、权限变更、配置修改、临床决策），要求将关键字段与独立可信来源进行比对后才能批准。在应付账款场景中，这意味着目标银行账户必须与供应商主记录进行比对，而不是仅仅检查发票上写的账户与发票本身一致。预览与效果分离是另一个关键控制：任何预览操作不得触发网络调用或状态变更，且预览必须标注来源和预期副作用，防止"只读预览"的心理模型被利用。

置信度呈现的重新设计同样重要。当前 Agent 的输出往往以流畅、完整、自信的形态呈现，这本身就是一种信任线索。OWASP 建议实施置信度加权提示（如"低确定性""未验证来源"），以视觉方式促使人类质疑高影响操作。更激进的做法是提供独立于模型生成的风险摘要，用非 Agent 的语言告诉人类"这个推荐的证据基础是什么、缺失了什么"，而不是让人类阅读 Agent 自己写的辩护词。

人在环中的重新定义可能是最根本的转变。ASI09 的教训是，"有人签字"不等于"有人验证"。有效的 oversight 需要强制性的检查点，在这些检查点上，人类必须接触原始证据，而非 Agent 的摘要。自适应信任校准要求根据上下文风险评分动态调整 Agent 的自主权和所需的人类监督级别，高风险场景下人类必须看到源数据，低风险场景下可以依赖摘要加速。

对于法律案例中展示的场景，一个可操作的规则是：任何提交给法庭或监管机构的材料，其中引用的每一个事实性断言（证人、证词、判例、数据点）必须能够追溯到原始来源，且该追溯过程不能由同一 AI 工具完成。对于财务审批，大额付款的银行账户变更应触发一个独立于应付账款流程的验证步骤——一个来自可信记录的自动比对，或一个由不同人员执行的电话确认。

6. 留给开发者和安全工作者的一个问题

在设计任何包含人类审批环节的 Agent 工作流之前，有一个问题值得反复追问：人类在这个环节看到的东西，是 Agent 对证据的总结，还是证据本身？

如果答案是前者，ASI09 的风险就已经存在。Agent 的摘要越流畅、越完整、越自信，人类回到原始证据的可能性就越低。新墨西哥州的律师以为 ChatGPT 会给他"无懈可击的摘要"，财务经理以为 AI 的"发票已验证"意味着所有该验证的都验证了。他们都没有错——Agent 确实给了他们一个看起来无懈可击的东西。问题在于，无懈可击的呈现本身，就是攻击面。

ASI09 的终极防御不是让人类更不信任 Agent，而是让架构确保人类在做出高风险决策的那一刻，面前有 Agent 无法编写的东西：数据库里的账户记录、法庭卷宗里的原始证词、供应商主文件里的银行信息。批准证据，而非摘要。

参考：

https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/