EU AI Act 里最不需要讨论“什么时候用”的部分,就是禁止类 AI 系统。当欧盟把某项技术实践写进黑名单,其实是在告诉你:不管你的模型做得多好、给了多少免责声明,这个场景本身就不允许在欧盟市场出现。我陪客户做 AI 出海合规评估时,几乎每次都要从这一章开始讲,因为它直接关联处罚体系——最高 3500 万欧元,或上一财年全球年营业额的 7%,取孰高。很多团队看到这个数字才真正意识到,这已经不是一个“参考指南”,而是一条带了牙齿的法律。这篇内容,就把第五条禁止清单和后面的罚款体系拆开揉碎,讲清楚哪些 AI 系统不能碰、合规边界怎么判断、万一踩线会有什么后果。
1. 为什么禁止类是整个 AI 合规的最高优先级
1.1 EU AI Act 的风险分级思路
EU AI Act 的核心思路是按风险给 AI 系统分级:不可接受风险、高风险、有限风险、最小风险。这个分级不是凭感觉,而是按 AI 系统所处应用场景和它对人的影响深度来判断的。禁止类 AI 系统位于“不可接受风险”这一档,意味着欧盟委员会在立法时认为,这些 AI 应用本身对社会基本权利、民主过程或个体安全的威胁,已经大到必须一律禁止,连评估准入的余地都不留。对出海企业来说,最需要形成的一个认知是:合规评估不是“从技术属性看”,而是“从使用场景看”。
我见过不止一个团队拿着“我这是个通用大模型”来问要不要按第五条自检。这种问法方向就错了。EU AI Act 对第五条的判断,核心是“部署场景中的特定操作方式”,不是模型本身。比如一个对话机器人,如果你让它根据用户个人资料去故意设计一种隐蔽的信息呈现方式,诱导用户做出伤害自己的决定,这就是禁止类;同样一个对话机器人,仅仅做常见问答,就不在禁止范围内,只会落入透明度或高风险义务。所以,第一步永远是把产品里所有 AI 用途拆成具体的“业务场景”,而不是只写一个模型名称。
1.2 禁止类被列为最高优先级的现实原因
为什么禁止类比其他合规义务优先级更高?一个很实际的原因是时间线。EU AI Act 在 2024 年 8 月生效,但各种义务分批适用,第五条禁止实践从 2025 年 2 月 2 日就开始适用,是整部法案最早落地执行的门槛之一。很多高风险 AI 系统的完整义务要到 2026 年 8 月以后才逐步适用,但如果你踩了禁止类红线,早在第二阶段就会面临监管调查。换句话说,禁止类不是“将来时”,而是“现在完成时”。
优先级高还体现在处罚设计上。同一部法案里,违反禁止类义务的最高罚款是违反其他义务的两倍多:禁止类最高 3500 万欧或全球年营业额 7%,违背高风险系统义务是 1500 万欧或 3%,信息提供不准确是 750 万欧或 1.5%。立法者用罚款梯度直接标注了“什么才是重点”。实际操作里,我通常建议客户先花半天把禁止清单逐条过一遍,反复确认不要踩线,然后再去研究透明度、数据治理、技术文档那些长期功课。这条顺序反了,后面全都白做。
2. 禁止行为逐条拆解:八类红线分别是什么
2.1 操纵、欺骗与剥削脆弱性:不能“替用户做决定”
第五条第一组禁止行为,针对的是利用人类认知弱点来改变行为的 AI 系统。原文表述的要点是:部署潜意识技术,或刻意使用欺骗性技术,目的是实质性地扭曲一个人的行为,导致或合理地可能导致该人或他人身体或心理伤害。通俗来说,如果你的 AI 系统在用户没有意识到的情况下暗算用户,比如通过隐藏的音频消息、闪烁图案、超快速信息闪动来影响决策,这属于潜意识技术。再比如,用 AI 定制一个“深度伪造”的权威人物形象来诱骗老年人转账,也属于这一条。
更麻烦的是第二条“利用脆弱性”:因为一个人年龄、残疾或特定社会、经济状况导致的脆弱性,AI 系统刻意利用这种脆弱性来扭曲行为并引发重大伤害。注意,这里并不要求是未成年人,只要是“处于脆弱地位的人”都算。比如针对经济困难人群设计“不可能拒绝的贷款话术”、利用老年人认知退化做操纵性营销,都可能被认定。这个范围其实非常广,出海做金融、电商、健康、教育的团队,尤其要检查客服机器人和推荐算法有没有“话术套路”属性。
2.2 社会评分与仅凭画像的犯罪风险预测
社会评分是一个典型的禁止行为,也是出海团队容易在理解上跑偏的地方。立法上明确禁止的是:基于一个人的社会行为,或其已知、推断的个人特征,对个人或群体进行“信用评分”,并由此导致其在某些原本不相关的场景下受到不利对待。这个规则覆盖公共和私营主体。也就是说,不能用一个 AI 系统给用户打一个“综合信赖分”,然后拿这个分去决定优惠、权限或者服务等级。如果分数只用于某一特定服务的内部风控,例如用来判断同一贷款申请中的欺诈风险,则需要仔细判断是否与业务场景有直接关联。
另一条是仅凭画像的犯罪风险预测,即禁止用 AI 基于画像或个人性格特质来评估或预测一个人会不会犯罪。这里有个容易被误解的边界:如果 AI 只是辅助人类调查员,并且人类基于“客观可核实的事实”做出最终判断,通常不落入禁止范围;如果你让模型自动输出“此人有较高犯罪倾向”并直接进入警务流程,那就非常危险。做公共安全、反欺诈、合规审查类产品的企业,要重点看这里的定性逻辑。
2.3 无差别人脸抓取与敏感特征分类
接下来这条是很多人脸识别产品成立与否的关键:为了建立或扩展人脸识别数据库,从互联网或闭路电视画面中无差别抓取面部图像,这条被明确禁止。注意,禁止的是“无差别抓取”,不是“经过授权、从特定数据主体直接获取”。就算技术上是公开可访问的数据,用来建设人脸库也不合规。做安防、做相册、做社交媒体内容分析的出海产品,如果数据来源里有“爬公开网站图片”或“录监控视频来训练人脸模型”,要立刻停下来。
同时被禁止的还有基于敏感特征的生物识别分类,也就是用 AI 推断一个人的种族、政治观点、宗教信仰、工会成员身份、哲学信仰或性取向。这类系统原则上禁止,只有执法场景有严格例外。很多公司觉得“我只是做个用户画像标签,不涉及执法”,没问题,但你要清楚:如果标签是通过人脸、步态、语音等生物识别数据推出来的敏感属性,就已经在高压线附近了。商业场景里几乎没有合规空间。
2.4 情绪推断与实时远程生物识别
第五条的生物识别禁令里,还有一个特别容易被职场和教育类产品撞上的,就是情绪识别。法案明文禁止在工作场所和教育机构中使用 AI 来推断人的情绪,除非是医疗或安全原因。如果你有一个“课堂专注度分析”产品,或者“职场情绪监控”产品,面向欧盟市场时风险极高。即便你在产品里写“不用于医疗目的”,只要落点是教育机构或工作场所,就很难绕过去。
再就是实时远程生物识别系统,也就是在公共空间对非特定目标的个人进行实时人脸比对,以识别身份。这条对执法部门也默认禁止,只有少数法定例外,例如搜索失踪儿童、处理迫在眉睫的恐怖威胁、查证特定严重犯罪嫌疑人的身份等,且必须得到司法授权。很多企业会误以为“我不是执法机构,所以这条跟我没关系”,但商场偷偷用客流摄像头做实时 VIP 人脸识别、景区用摄像头抓逃票人员,这类商务场景既不在例外清单里,也很容易被按扩大解释处理。
3. 合规边界判断:你的 AI 系统到底算不算被禁止
3.1 从场景倒推:先看用途,再看技术
我刚说过,第五条看场景,不看你用了什么模型。所以判断边界的方法论是“场景倒推五连问”:系统谁会使用?决策对象是谁?系统输出是否直接指导对人的不利决定?输出与不利决定之间是否存在实质性因果关系?该不利决定是否发生在对个人产生重要影响的领域?这五个问题一过,不少“模糊地带”都会现出原形。
举个例子。一个 AI 面试助手,根据语音分析评估候选人稳定性。第一问,面试官把 AI 评分作为录用参考;第二问,决策对象是候选人;第三问,评分直接影响是否录用,属于典型的不利决定;第四问,语音分析结果和录用决策之间确实有因果关系;第五问,工作机会是重要影响领域。接下来就要查,它是否使用了生物识别数据推断情绪或性格特征。情绪推断在职场和教育场景被禁,招聘流程是否会被认定为“工作场所”的一部分,至少风险极高。何况语音分析还可能被认定为生物识别数据,还要过 GDPR。合规判断一定是层层递进的。
3.2 “重大伤害”这个标准该如何理解
第五条里频繁出现“导致或合理可能导致重大伤害”。很多人问“多少金额算重大?”其实法律没有一刀切数额。判断伤害要考虑几个维度:严重程度,包括身体、心理、经济损失;影响人数;持续时间;是否可逆。同样是操纵性推荐,让你多买了一双鞋,一般不构成重大伤害;但让你背着高息贷款、签下霸王合同,就很可能算。实际评估时,可以用“普通人视角代入”做第一轮筛查:如果这个系统输出的结果被公开报道,会不会引发监管、媒体和公众的强烈反感?如果会,大概率已经在禁止名单附近。
还要注意,条文里很多动词是“导致或合理可能导致”,这意味着监管并不需要证明真实伤害已经发生。只要系统设计能够预测到这种风险,就可能违规。这给企业提了个醒:合规设计不能等用户投诉,要在产品上线前做“伤前分析”,把每个人的决策链走一遍,看哪里可能被 AI 扭曲。
3.3 例外与豁免:不要被“仅限执法”带偏
第五条有一些例外,集中出现在生物识别相关条款中,而且写得很窄。例如,实时远程生物识别的例外要求:基于严重罪行的明确清单、经由司法或独立行政机构事先授权、严格限定时间、地理范围和可识别的数据主体群体。这个授权门槛非常高,几乎相当于“走一遍刑事司法批准程序”。商业公司基本不用想着套例外。
另一个常见误区是“我有用户授权就能豁免”。EU AI Act 不是 GDPR,即使你拿到了用户的同意,只要系统落入禁止类,同意书也不能让它合法化。因为你不能“同意”自己被操纵,也不能“同意”自己被无差别抓取人脸。这个点特别重要,我见过不少出海企业拿用户协议来兜底,方向完全错了。在禁止类问题上,用户授权解决的是数据保护问题,不是 AI 实践本身的合法性问题。
4. 出海企业落地对策:从产品审查到文档留痕
4.1 产品合规卡点检查清单
真正可落地的第一步,是建一张自己的禁止类自检表。不用特别复杂,但要把下面这些维度固定下来:
- 产品所有 AI 组件清单,按使用方、决策对象、决策后果三条线描述;
- 是否包含任何形式的用户行为扭曲、话术操纵、潜意识提示;
- 是否面向脆弱人群做定向推送或自动决策;
- 是否生成个人社会评分,并用于跨场景的不利对待;
- 是否使用公开网络或 CCTV 数据构造人脸识别数据集;
- 是否在职场或教育场景使用情绪识别;
- 是否使用生物识别数据推断敏感特征;
- 是否涉及公共空间实时识别,并检查是否具备执法例外。
每个维度我建议由技术和法务双人签字确认,留一份带日期的版本。这不是形式主义:如果有一天被监管询问,你需要证明“当时我做了合理的判断和记录”。很多公司合规失败,不是因为没做评估,而是因为评估过程没有证据。哪怕底层是通用大模型或 AI Agent 框架,只要场景踩线,一样算违规。
4.2 风险控制计划与可溯性
如果自查后发现某个功能“有可能踩线”,不要急着删功能。先暂停该功能在欧盟市场的上线,然后做一次“替代方案”评审。举例:人脸识别相册分类,可以把“从公开网络抓图建库”的路径全部关闭,只使用用户主动上传并且明确授权的人脸照片;同时把“情绪推断”从课程分析流程里去掉,只保留考勤、答题正确率这类行为指标。这里花不了太多精力,但能让你从第五条的红区里退出来。
与此同时,记录要跟上。EU AI Act 对 AI 系统提出了可追溯性要求,禁止类审查的记录不能只留在会议纪要里,最好放进一个简单的合规文件系统:风险决策人、评估日期、结论、替代措施、生效版本号。我在项目里常用表格管理,一条功能对应一行,状态分“允许 / 禁止 / 暂缓 / 需修订”。这样当销售团队拿着合同来问你“欧盟客户能不能上线”时,一秒就能给出结论。
4.3 合同与供应链传导
不要以为“我是提供底层模型 API 的,用户怎么用不是我的事”。EU AI Act 对“AI 系统提供者”“部署者”各有义务,但禁止类条款的适用范围覆盖了“投放市场、投入使用或提供使用”。如果你把 API 卖给欧盟客户,而客户在欧盟部署了禁止类系统,你怎么证明自己不知情?监管会看你是否尽到了合理的“使用者画像”和“用途限制”审查。我建议在销售合同中明确写入“禁止用途条款”,列明哪些场景不允许接入你的 API,并建立用量的异常检测机制。比如,一个文本生成 API 一天到晚被调用来生成针对老年人的个性化骗局脚本,这种用量模式应该有拦截和预警。
供应链传导的另一个要点是数据集。如果你的训练数据来自欧盟公开网页,其中包含大量人脸图片,那么即使你自己不做抓取,也可能在后续使用中被认定构成“建立人脸识别数据库”的一部分。审查训练数据来源、脱敏策略和数据留存期限,应该和产品功能审查一起做。
5. 处罚后果与风险成本:算一笔账
5.1 处罚梯度对照表
把 EU AI Act 的处罚阶梯放在一张表里,比任何长篇解释都直观:
| 违规类型 | 最高罚款或营业额比例 | 取孰高 |
|---|---|---|
| 违反第五条禁止类 AI 实践 | 3500 万欧元 | 上一财年全球年营业额 7% |
| 违反其他条款义务,如高风险系统、数据治理 | 1500 万欧元 | 上一财年全球年营业额 3% |
| 提供不正确、不完整或误导性信息 | 750 万欧元 | 上一财年全球年营业额 1.5% |
这里的“全球年营业额”不是产品线的收入,也不是欧盟区域收入,而是按照集团整体口径计算的上一财年全球营业额。对大厂来说,7% 甚至比很多年净利润还高;对初创公司来说,3500 万欧元的绝对上限也足以让融资归零。我见过团队算完这笔账后反而平静了,因为他们终于能向业务方解释:为什么有些功能必须砍。需要补充说明的是,具体适用时还要看责任人是谁、在整条供应链里的角色是哪一层,以及成员国执法机构的具体裁量。
5.2 除了罚款,还有哪些隐形代价
罚款只是账单的明面。真正影响业务连续性的是其他几层成本。第一层是“禁止令”。监管机构有权要求你停止投放、召回产品、删除非法数据集,这对一款已经做了市场推广的产品等于直接下架。第二层是“连带诉讼”。禁止类 AI 实践往往同时违反 GDPR、产品责任指令、消费者保护法等,用户的损害赔偿请求会跟着来,而且 AI 生成内容的证据固定非常困难。第三层是“市场准入信任崩塌”。欧盟客户合同中普遍会加入合规保证条款,一旦你的产品被认定违规,客户可以据此解除合同,甚至反过来索赔。
还有一层经常被忽视:保险和融资。现在不少网络安全保险和企业责任保险,在核保时会专门询问 AI 合规状况。如果你的 AI 产品存在禁止类风险,保险公司可能直接拒保或大幅提高保费。投资人做尽调时也会调阅合规评估记录,一个“可能触碰第五条”的结论,足以让进入下一轮的关键节点卡壳。
5.3 还没有大案要案,但执法的方向已经很清楚
截至我写这篇内容时,EU AI Act 禁止类条款刚进入适用期不久,公开处罚案例还不算多。但可以类比 GDPR 的执法趋势。GDPR 历史上,大型处罚动辄数千万欧,而且对“全球营业额百分比”的口径采用集团整体营业额,执法机构也多次表示罚款不是唯一目的。EU AI Act 的罚款体系明显借鉴 GDPR,额度更高。因此合理预期是:监管机构会优先抓“影响面大、明显踩线、证据清晰”的案件,例如无差别人脸识别、操纵未成年人或弱势群体的 AI 系统、社会评分类应用。没有公开案例不意味着安全,反而意味着第一批执法案例出来时,会形成很强的示范效应。
6. 合规落地中的典型误区与个人经验
6.1 我见过的最典型误解
第一个误解是“我们不做欧盟业务就没事”。很多 AI 产品初期没有欧盟用户,但代码、数据流、API 部署在欧盟境外,只要不面向欧盟“投放市场”,第五条可能不适用。可问题在于业务边界极易模糊:你的 Web 服务向全球开放,欧盟 IP 可以访问;你的 App 能在欧盟商店下载;你为某个欧盟客户提供 SaaS 接口——这些都可能被认定为“在欧盟投入使用”。所以不要等到正式做欧盟商务才合规,只要产品结构上存在进入欧盟的路径,就该按这个尺度自查。
第二个误解是“免责声明写清楚就可以”。这点我前面提过,用户授权不够,免责声明更不够。禁止类条款的立法逻辑不是“告知后同意”,而是“这种实践本身对社会危害太大,不允许用同意来交换”。所以不要在隐私政策里写“点击即表示同意情绪分析”,这条在欧盟没有任何保护力。
6.2 合规团队需要盯住的三个关键动作
如果真的要做 EU AI Act 合规,我建议按三个动作推进。第一,每季度做一次“禁止类红线复检”。产品迭代会让新功能掉进禁止清单,比如推荐系统加入了“利用经济脆弱性”的话术优化,这种变化不会自动出现在 AI 模型仓库里,只能靠场景清单复检。第二,给业务方做一次“红线培训”,不要讲法律术语,用例子讲:哪些话术不能做、哪些数据不能爬、哪些摄像头功能不能卖给谁。培训要留签到和答题记录,这是后续证明企业“尽到责任”的痕迹。第三,把合规从文档变成“功能开关”。在后台为每个 AI 能力预设一个禁用 flag,当合规状态为“禁止”或“暂缓”时,该功能在欧盟用户侧自动降级或关闭。这一条是我在项目里最推荐的做法,它让制度不依赖某个人的记忆。
6.3 可以立刻复用的一个自检问题
如果你现在只做一件事,那就把下面这个问题发给产品和研发团队:“我们的系统有没有一个环节,通过欺骗、诱导或利用用户弱点,来让他们做出原本不会做出、而且可能造成明显伤害的决定?”如果答案是“有”,请立刻停掉,而不是问“用户授权签了没有”。这个问题覆盖了第五条里最核心的逻辑。把这个问题答清楚,EU AI Act 禁止类合规的大头就完成了;剩下的,才是处罚金额和风险评估这些“算术题”。