版权与内容来源声明
本文为原创整理。文中涉及官方文档、开源仓库、论文与公开报道的内容,均在附表 A 中标注来源;引用官方原文保持原样,不作改写。文中命令、版本号与界面截图以本文成文时的实测/核验结果为准,标注「待验证」的部分请以你本地环境实际输出为判断依据。本文不推荐任何不合规的软件获取方式,也不对任何收益结果作承诺。转载请注明出处。
一、先看清适用范围:这是「银行业保险业」的文件
1.1 文件叫什么、管谁
2026 年 6 月 18 日,国家金融监督管理总局发布《关于银行业保险业人工智能安全开发应用的指导意见》,来源标注为科技监管司,全文共 32 项。文件对约束对象有明确界定:「开发应用人工智能的银行业保险业金融机构(以下简称金融机构)」。
这是一份行业性监管文件,管的是持牌金融机构,不是面向全行业的强制标准。网上不少解读写成「所有企业做 AI 都得照办」,那是误读。
1.2 为什么非金融行业也值得读
因为它把「高风险业务场景里的 AI 该怎么管」讲得比多数文件细:哪些功能不能让模型直接下结论、要人来拍板;模型出错时怎么快速停掉而业务不中断;出了事要复盘,日志留到什么程度才算留够;客户的身份信息能不能拿去当语料。换成医疗、政务、工业质检,问法不同,骨架一样。所以本文立场是:金融行业按文件执行,其他行业把它当可借鉴的治理思路,门槛与审批主体按自身行业监管来定。
1.3 本文的翻译方法
原则落到工程上,一定能翻译成三件事:落点(对应代码或流程里的哪个环节)、自测(怎么证明做到了)、签字(谁批准、谁复核、记录留哪)。后面每章按这个格式走一遍,第七章汇总成一张对照表。
二、哪些场景算「高风险」:先得有一张应用清单
2.1 条款原文怎么划这条线
第(十六)项原文:
涉及资金交易、资产评估、信贷审批、承保理赔、风险管理等,以及与客户利益直接相关、直接影响金融合约达成的生成式人工智能场景应用应被视为高风险应用。
这里有两层判据,很多人只看第一层。第一层是业务领域枚举:资金交易、资产评估、信贷审批、承保理赔、风险管理。第二层是效果判据:「与客户利益直接相关、直接影响金融合约达成」——枚举之外也可能被认定成高风险。
一个「帮客户算分期方案」的客服功能,名字里没有「信贷审批」四个字,但它直接影响客户签不签这份合约,按第二层就该进高风险。所以不必背下这五个词,只要给每个 AI 功能回答两个问题:它会不会改变客户的钱?会不会改变客户签不签这份合约?任一为「会」,先按高风险处理,再走评估去降级。
2.2 分类分级看五个维度
第(十五)项给了分级依据:
金融机构应根据业务场景重要性、应用规模、对客影响度、模型依赖度、模型复杂度等因素,对人工智能应用进行风险识别和分类分级管理。
这五个词可以直接做成打分卡:每项给 1 到 3 档,加权求和后定级。业务场景重要性看流程停了业务是否中断,对客影响度看结论会不会直接给客户,应用规模看是全行还是单网点试点,模型复杂度看是不是外部黑箱模型。
特别说一句模型依赖度:它低不代表安全。一个只做建议的模型,如果一线已经习惯照抄它的建议,实际依赖度就被放大了。这一项要问「一线实际怎么用」,而不是「系统怎么设计」。
2.3 清单谁维护、什么时候更新
第(二)项要求建立覆盖需求分析、数据准备、训练开发、部署运行、维护迭代、评估退出的全生命周期管理体系;第(十五)项要求「制定应用清单,实施分级管控措施,落实管理责任」。落到工程上是三步:清单入版本库(和代码同一仓库,改动走评审)、上线即落行(没进清单的 AI 功能不允许发布)、定复核周期(换模型版本、扩场景、加权限都要重判)。
| 业务场景 | 是否落在(十六)列举范围 | 判断要点 | 第一件要做的事 |
|---|---|---|---|
| 信贷审批中的额度建议 | 是(信贷审批) | 直接影响合约达成 | 标为高风险,进准入评审 |
| 理赔材料自动预审 | 是(承保理赔) | 输出影响赔付结论 | 增设人工复核节点 |
| 风险评估报告摘要 | 是(风险管理) | 影响风控判断 | 保留推理路径与阈值记录 |
| 交易类资金指令生成 | 是(资金交易) | 直接对客户资金产生影响 | 人工终决加紧急停用开关 |
| 分期方案智能计算推荐 | 否,但实质命中第二层判据 | 直接影响客户是否签约 | 先按高风险处理再评估降级 |
| 客服知识问答 | 否 | 不直接影响合约达成 | 按一般分级,生成内容需标识 |
三、高风险要过谁批准:把「准入评审」加进上线流程
3.1 「须经风险管理委员会批准」意味着什么
第(十六)项最后一句是硬要求:
人工智能高风险应用须经本机构风险管理委员会批准后方可实施。
两个特点:主体明确(本机构风险管理委员会),时序明确(批准之后才能实施)。落到上线链路上,就是在「开发完成」和「灰度」之间插一个不可跳过的节点,且有三条约束:不能自动化通过(配成「符合条件自动放行」等于拿规则替代了批准主体);必须留痕(谁提的、什么时间、依据哪些材料、结论是什么,都要落库);降级也要留痕(从高风险降到中风险同样要走评审,否则定级会变成「谁喊得响谁降级」)。
3.2 评审材料要准备哪些
第(四)项要求建设测试工具链、测评指标和测试用例集,全面评估模型的基础能力、金融业务支持能力、安全可靠性。按这个思路,上会材料至少四块:能力边界(拿失败样例集说话,不是只报评测通过情况)、测试证据(用例集、指标、通过情况、脚本版本号)、人工兜底方案(模型判断与人工判断不一致时以谁为准)、退出方案(什么条件下停用、停用后谁接)。
还有两项容易漏:第(十八)项要求对使用外部人工智能技术实行名单制管理;第(二十九)项要求面向公众服务或高风险场景应用使用生成式人工智能技术的,应向金融监管总局或其派出机构报告,所以材料里应有一栏「监管报告状态」。
3.3 选型时要问供应商什么
第(五)项写得很直接:
金融机构对生成式人工智能模型要实施准入管理,评估模型效能及安全合规性。外部引入的生成式人工智能模型需经过网信部门备案。
「网信部门备案」在《生成式人工智能服务管理暂行办法》里能找到对应逻辑:该办法第十七条规定,提供具有舆论属性或者社会动员能力的生成式人工智能服务的,应当按照国家有关规定开展安全评估,并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续(该办法自 2023 年 8 月 15 日起施行,来源见附表 A)。
所以问题很具体:备案主体是谁、备案编号是多少、模型版本升级后是否需要变更备案、变更了会不会主动告知。这些要写进合同,不能只停在口头承诺。
⚠️代码待验证
app_id:credit-limit-assistantapp_name:信贷额度建议助手risk_level:highrisk_basis:# 依据第十五项的五个维度打分scene_importance:3scale:2customer_impact:3model_dependency:3model_complexity:2scene_enum_hit:-信贷审批approval:body:风险管理委员会required:true# 第十六项:不允许自动放行record_id:""# 批准记录落库后回填model_source:type:externalfiling_authority:网信部门# 第五项filing_no:""# 备案编号,缺此项不得提交评审filing_version:""evaluation:case_set_version:""metrics_version:""failure_cases_uri:""human_review:enabled:true# 第二十二项:人工复核节点fallback:manual_queueshutdown:condition_ref:""# 第十七项:紧急停用及模型退出条件kill_switch:""| 序号 | 检查项 | 通过标准 | 责任方 |
|---|---|---|---|
| 1 | 是否已进应用清单 | 清单内有该应用且定级为高风险 | 业务牵头部门 |
| 2 | 定级依据是否完整 | 五个维度逐项有分值且有打分人 | 科技与数据部门 |
| 3 | 是否经风险管理委员会批准 | 有批准记录编号,非规则自动放行 | 风险管理委员会 |
| 4 | 测试证据是否可追溯 | 用例集、指标、失败样例均有版本号 | 测试团队 |
| 5 | 外部模型备案是否核实 | 备案编号已录入且与模型版本对应 | 采购与科技部门 |
| 6 | 人工复核节点是否上线 | 可查到真实复核工单与结论 | 业务运营部门 |
| 7 | 停用条件与开关是否可执行 | 演练过一次,有时间与结果记录 | 运维与科技部门 |
| 8 | 监管报告是否完成 | 面向公众或高风险场景已报告 | 合规部门 |
四、关键环节要有人工监督和干预
4.1 停用条件要写成「可判定」的
第(十七)项要求:
在高风险应用关键环节建立人工监督和干预机制,明确紧急停用及模型退出条件,建立备用系统或人工替代流程。
关键在「明确」。很多项目写「效果明显下降时停用」——这不是条件,是形容词。可判定的条件必须带数字和观测窗口,例如:人工复核推翻模型结论的比例连续两个观测窗口高于约定上限、模型接口不可用或超时占比超阈值、输出触发越界规则。
「停用」和「退出」要分开写:停用是临时关掉,退出是永久换掉,两者触发阈值和决策层级不一样。
4.2 备用系统或人工替代流程
第(二十六)项有配套要求:发生故障时,人工流程要及时介入或启用备份系统。工程上是两个东西:降级路由(模型不可用时请求自动落到规则引擎或人工队列)和人工队列(降级后要有地方接住,且吞吐能力提前评估过)。
最容易出问题的是降级后的状态回传:模型挂了返回空值,前端如果静默当成「无结果」,业务员根本不知道自己拿到的是降级结果。正确做法是返回显式状态,让下游知道这条不是模型结论。
4.3 这两条必须演练
没演练过的开关等于没有开关。最小演练四步:单点关闭(按下开关,确认 1 分钟内不再出新结论)、降级连通(确认请求真进了人工队列,不是丢进错误日志)、回滚验证(退回已知稳定版本,业务能恢复)、吞吐核对(按降级后真实人工处理速度,估算积压能扛多久)。
⚠️代码待验证
KILL_SWITCH_KEY="ai:killswitch:credit-limit-assistant"defhandle_request(req):# 紧急停用开关,命中后不再调用模型ifflag_enabled(KILL_SWITCH_KEY):returndegrade(req,reason="kill_switch_on")# 运行指标阈值,命中后自动降级并告警ifruntime_guard_triggered(req.scene):alert("runtime_guard",req.scene)returndegrade(req,reason="guard_triggered")try:result=call_model(req)exceptModelError:returndegrade(req,reason="model_error")# 需人工终决的场景,不直接返回给客户ifreq.sceneinNEEDS_HUMAN_FINAL:returnenqueue_manual_review(req,model_result=result)returnresultdefdegrade(req,reason):enqueue_manual_review(req,model_result=None,degraded=True,reason=reason)return{"status":"degraded_to_manual","reason":reason}五、可解释性不足时:只能当辅助工具,人工终决
5.1 人工复核节点放在哪
第(二十二)项讲得最细:
可解释性不足的人工智能技术在高风险场景应用时,仅能作为辅助工具,应由人工进行最终决策。人工智能模型应用于涉及客户权益或有实质性财务影响的关键决策时,须设置人工复核节点,完整保留原始数据、推理路径及阈值触发记录,确保责任可追溯。定期对人工智能模型算法开展审计。
前半句是定位,后半句是动作。「人工复核节点」不是弹窗确认,它得有:工单实体(每次复核生成带编号的工单)、复核人身份(不能是共账号)、复核结论(采纳、修正还是拒绝)、双时间戳(模型出结论与人工出结论的时间都留)。如果复核页面上只有一个「确定」按钮,那只是点了个确认框。
5.2 「完整保留」到底要留哪些字段
条款点名三类。原始数据:输入原文(脱敏后)、检索命中的文档标识、提示词模板版本——注意是脱敏后的原文而不是哈希值,哈希能证明没被改动,但不能用来复盘。推理路径:模型标识与版本、采样参数、命中的规则或工具调用链、检索命中的文档编号。阈值触发记录:最容易漏的一类,风控策略里通常有一堆阈值,这次结论是不是因为踩到某条阈值才变成「拒绝」,要留痕。
5.3 日志保存期限不低于业务存续期
第(二十一)项:
加强模型开发、变更管理和训练过程记录,日志保存期限应不低于业务存续期。
现实含义是成本问题:信贷业务存续期可能长达数年,这条链路的日志(含原始输入与推理路径)也要留数年。归档策略要提前设计,通常是三条:冷热分层(近期热数据用于排查,历史落冷存储)、不可篡改(追加写加校验)、可检索(能按工单号、客户号、时间范围捞出来)。
⚠️代码待验证
{"trace_id":"t-20261015-000123","case_id":"credit-2026-000456","scene":"credit_limit_assistant","risk_level":"high","raw_data":{"input_redacted":"脱敏后的客户申请文本与结构化字段","retrieved_doc_ids":["policy-credit-0031","policy-credit-0044"],"prompt_template_version":"credit-limit-v7"},"reasoning_path":{"model_id":"外部引入的生成式模型","model_version":"按供应商版本号填写","sampling":{"temperature":0.2,"top_p":0.9},"rule_hits":["income_ratio_rule","existing_debt_rule"]},"threshold_trigger":{"debt_ratio_threshold":0.55,"observed_value":0.61,"triggered":true,"policy_version":"risk-policy-2026-03"},"human_review":{"required":true,"reviewer_id":"工号","decision":"modified","reason":"收入证明存在争议,下调建议额度","model_conclusion_at":"2026-10-15 09:12:03","human_decision_at":"2026-10-15 09:41:20"},"final_action":"submitted_to_business","retention_class":"business_lifetime"}| 字段 | 属于哪一类 | 为什么要留 | 缺失后果 |
|---|---|---|---|
| 脱敏后输入原文 | 原始数据 | 复盘时要知道模型看到什么 | 只能用哈希自证,无法复现 |
| 检索命中文档编号 | 原始数据 | 判断结论被哪份资料带偏 | 分不清模型错还是资料过期 |
| 提示词模板版本 | 原始数据 | 模板改过,结论不可比 | 版本变更后无法归因 |
| 模型标识与版本 | 推理路径 | 换版本必须能追溯 | 出问题不知道是哪个版本 |
| 采样参数 | 推理路径 | 同输入不同参数结果不同 | 无法复现同一次输出 |
| 阈值与观测值 | 阈值触发记录 | 解释「为什么这次被拒」 | 决策理由说不清,责任难追溯 |
| 复核人身份与时间 | 人工复核 | 责任到人 | 追溯不到最终决策是谁做的 |
| 保存级别 | 归档策略 | 满足不低于业务存续期 | 归档过早被清理,事后无据可查 |
这份资料是什么:本文用到的监管原文逐条摘录与条款对照笔记,放在资料包里,扫码即可获取:
六、数据与内容:两条容易被忽略的硬约束
6.1 个人信息不得用于生成式模型训练和优化
第(二十四)项是全文里措辞最硬的一句:
姓名、身份证号、手机号、银行卡号等个人信息和隐私数据不得用于生成式人工智能模型训练和优化,有效防止客户隐私泄露。
动词是「不得」,不是「应审慎」。工程上这意味着所有会改变模型行为或检索内容的链路,都要过同一份字段过滤名单:预训练与微调的数据准备、提示词里带进去的客户信息,以及最常被忽略的一项——向量库与知识库的索引。把客户资料切块灌进检索库是不少项目默认会做的事,稳妥做法是先把客户级个人信息从切块与入库环节过滤掉,只保留制度、流程、产品说明这类非个人语料。
可以对照《中华人民共和国个人信息保护法》看:该法第二十八条把「金融账户」列入敏感个人信息,并规定只有在具有特定的目的和充分的必要性,并采取严格保护措施的情形下方可处理;第二十九条进一步要求处理敏感个人信息应当取得个人的单独同意。也就是说,「客户同意了办这笔业务」不等于「客户同意拿他的信息去训练模型」。
6.2 生成内容要显著标识,并主动说明
第(二十一)项前半句容易被略过:「对人工智能生成内容应进行显著标识,并向金融消费者主动说明」。工程动作两条:界面上,AI 生成内容要能一眼区分;说明上,要提前告知客户此处用了 AI。一个细节是:标识要跟着内容走,不能只在入口挂一句免责声明——内容被复制、导出、转发后标识还在不在,应当进测试用例。
6.3 非结构化数据也要有「退出」机制
第(八)项提到「加强对非结构化数据的管理,制定数据采集、清洗、标注、应用、退出管理规范」。多数团队做到了前三步,漏掉最后一步:文档灌进知识库后如果没有退出机制,一份过期的产品说明会一直污染回答。所以每份入库文档至少要带三个字段——来源、生效期、退出条件;作废时索引里必须同步删除。
七、把条款变成一张能自测的对照表
7.1 条款 → 工程动作 → 怎么自测
前面几章汇成一张表。用法是:上评审会前逐行问「这条的自测证据在哪」。
| 条款 | 工程动作 | 怎么自测 |
|---|---|---|
| (二)全生命周期管理体系 | 六个阶段各设卡点与责任人 | 抽一个在跑的应用,能否按阶段说出负责人 |
| (四)测评体系 | 建工具链、指标与用例集,覆盖基础能力、业务支持、安全可靠性 | 报一次评测,必须同时给出失败样例集 |
| (五)外部模型准入与备案 | 供应商进名单,备案编号与模型版本一一对应 | 拿到一个模型版本,能否查出其备案信息 |
| (十五)分类分级 | 五维度打分卡,清单入版本库 | 改一次打分,看是否触发重新评审 |
| (十六)高风险准入 | 上线流程插不可跳过的评审节点并留痕 | 试提一个高风险应用,看能否绕过节点发布 |
| (十七)人工干预与停用 | 明确停用条件,配降级路由与人工替代流程 | 实际按一次开关,计时到生效 |
| (二十一)标识与日志留存 | 生成内容显著标识;日志留存不低于业务存续期 | 导出内容看标识是否还在;查归档是否覆盖存续期 |
| (二十二)可解释性与人工复核 | 设复核节点,留原始数据、推理路径、阈值记录 | 按工单号捞出一次完整决策链路 |
| (二十四)个人信息保护 | 训练与检索链路共用一份字段过滤名单 | 抽样比对入库语料是否含直接标识 |
7.2 非金融行业怎么借鉴
再说一遍边界:这份文件约束的是银行业保险业金融机构。其他行业可以「借骨架、换门槛」——分类分级、人工兜底、日志留存、数据脱敏这四件事几乎所有行业都适用;而谁来批、批到什么级别、日志留多久,按自己行业监管要求定。风险管理委员会是金融机构的治理架构,照抄名字没有意义,要落到自己组织里真正能拍板的那一层。
7.3 一条现在就能做的检查
只做一件事的话,就做这个:打开你自己的 AI 应用,问自己一个问题——现在有一个人能把它的输出停掉吗?按下去之后业务会发生什么?答案如果是「找开发改配置」或者「不知道」,那第(十七)项的两条要求你都没做到。这件事不用等评审、不用等预算,今天就能补。
这份资料是什么:把上面那张对照表做成了可直接打印的自查清单,放在资料包里,扫码即可获取:
附表 A:本文引用事实与出处对照表
| 事实 | 出处 | 本文位置 |
|---|---|---|
《关于银行业保险业人工智能安全开发应用的指导意见》2026-06-18 发布,来源标注科技监管司,共 32 项(另有发布稿docId=1261708与答记者问docId=1261710) | 金融监管总局官网https://www.nfra.gov.cn/cn/view/pages/ItemDetail.html?docId=1261784&itemId=861(本机已抓取全文,2026-10-15) | 1.1、全文 |
| 约束对象为「开发应用人工智能的银行业保险业金融机构(以下简称金融机构)」 | 同上传原文抬头与第(一)项 | 1.1、1.2 |
| 第(二)项:全生命周期管理体系(需求分析、数据准备、训练开发、部署运行、维护迭代、评估退出) | 同上,第(二)项 | 2.3、7.1 |
| 第(四)项:测试工具链、测评指标和测试用例集;评估基础能力、金融业务支持能力、安全可靠性 | 同上,第(四)项 | 3.2、7.1 |
| 第(五)项:外部引入的生成式人工智能模型需经过网信部门备案;对生成式模型实施准入管理 | 同上,第(五)项 | 3.3、7.1 |
| 第(八)项:加强非结构化数据管理,制定数据采集、清洗、标注、应用、退出管理规范 | 同上,第(八)项 | 6.3 |
| 第(十五)项:按业务场景重要性、应用规模、对客影响度、模型依赖度、模型复杂度分类分级;制定应用清单 | 同上,第(十五)项 | 2.2、2.3、7.1 |
| 第(十六)项:高风险应用范围;须经本机构风险管理委员会批准后方可实施 | 同上,第(十六)项 | 2.1、3.1、7.1 |
| 第(十七)项:关键环节建立人工监督和干预机制,明确紧急停用及模型退出条件,建立备用系统或人工替代流程 | 同上,第(十七)项 | 4.1、4.2、7.1 |
| 第(十八)项对外包合作机构实行名单制管理;第(二十九)项要求面向公众服务或高风险场景应用使用生成式人工智能技术的,应向金融监管总局或其派出机构报告 | 同上,第(十八)(二十九)项 | 3.2 |
| 第(二十一)项:生成内容显著标识并向金融消费者主动说明;日志保存期限应不低于业务存续期 | 同上,第(二十一)项 | 5.3、6.2、7.1 |
| 第(二十二)项:可解释性不足时仅能作为辅助工具由人工最终决策;关键决策须设人工复核节点,完整保留原始数据、推理路径及阈值触发记录 | 同上,第(二十二)项 | 5.1、5.2、7.1 |
| 第(二十四)项:姓名、身份证号、手机号、银行卡号等个人信息和隐私数据不得用于生成式人工智能模型训练和优化 | 同上,第(二十四)项 | 6.1、7.1 |
| 第(二十六)项:发生故障时,人工流程要及时介入或启用备份系统 | 同上,第(二十六)项 | 4.2 |
| 《生成式人工智能服务管理暂行办法》第十七条:具有舆论属性或者社会动员能力的生成式 AI 服务应开展安全评估并履行算法备案手续(该办法 2023-08-15 起施行);《个人信息保护法》第二十八条将「金融账户」等列为敏感个人信息,第二十九条要求处理敏感个人信息应取得单独同意 | 中国政府网https://www.gov.cn/zhengce/202311/content_6917778.htm、中国人大网与中国政府网公开文本(2026-10-15 检索核验) | 3.3、6.1 |
附表 B:术语速查表
| 术语 | 一句话解释 | 在本文哪里用到 |
|---|---|---|
| 高风险应用 | 涉资金交易、信贷审批等,或与客户利益直接相关、直接影响合约达成的 AI 应用 | 2.1 |
| 准入评审 | 上线前必过的审批,高风险应用由本机构风险管理委员会批准 | 3.1 |
| 网信部门备案 | 面向公众提供生成式 AI 服务依法履行的备案手续,选型时要核实 | 3.3 |
| 紧急停用开关 | 能立刻让模型停止出结论的开关,不依赖改代码或重新发版 | 4.1 |
| 降级路由 | 模型不可用时把请求导向规则引擎或人工队列的机制 | 4.2 |
| 人工复核节点 | 模型结论不直接生效,由人复核并留下结论,不是点一下确认框 | 5.1 |
| 推理路径 | 模型这次怎么得出结论:版本、参数、工具调用、命中的资料 | 5.2 |
| 阈值触发记录 | 风控规则里哪条阈值被踩到、当时观测值是多少 | 5.2 |
写在最后:这篇用到的资料
写这篇文章时,把相关的官方文档和源码又翻了一遍,顺手也整理了几份配套的东西:
- 大模型学习路线图:从零基础到能自己动手做 Agent,按阶段说明每一步该学什么、哪些可以先跳过
- 《LangChain + LangGraph + MCP 智能体开发实战》视频课:7 个模块,从私有化部署、Embedding+RAG 到 MCP+Agent 全流程
- AI 大模型知识库(在线可查):Agent Skills 从入门到落地、Claude Skills 完全指南等专题,按目录浏览即可
- 640 套 AI 大模型行业报告 + 经典 PDF 书籍:看行业落地案例和别人怎么做的时候用得上
- 大模型零基础到精通教学视频:跟着敲一遍,比只读文档快得多
资料是我自己整理的,放在下面这个码上,扫码即可获取:
添加时备注「AI」,优先通过。
资料按「先路线、再动手、最后查漏」的顺序整理好了,建议先看学习路线那一份,照着它挑一条适合自己当前基础的路径再往下看。