企业官网建设流程全解析

矿山/油井多模态安全风险研判系统

系统功能 · 模型链路 · 优缺点 · 创新点

基于 Django 5.2 + YOLO26-m + YOLOE + PatchCore

开源承诺：系统训练集均来自ultralytics官方提供数据，系统不会用做任何商业活动Annotate, Train, and Deploy Vision AI on Ultralytics Platform

Ai使用说明：系统开发过程使用了腾讯元宝、WorkBuddy、QoderCn、TraeCn等多种AgentCli，模型搭载DeepSeek-4-Flash、Qwen3-Max、Kimi3等多种主流Api

一、系统功能

本系统面向矿山与油田作业场景，通过计算机视觉与多模态融合技术，对现场作业人员、防护装备、矿山设备及危险状态进行实时检测与风险评估，实现从"被动响应"到"主动预警"的安全管理模式转变。

1.1 人员防护装备（PPE）检测

基于 YOLO26-m 微调模型，对 11 类人员防护装备进行精确检测

1.2 矿山设备与危险状态检测

基于 YOLOE 开放词汇检测模型，通过自然语言提示词定义检测目标，覆盖矿山设备与现场危险状态：

• 矿山设备：矿用卡车、挖掘机、轮式装载机、传送带（含损坏检测）、抽油机、井口装置、储罐等
• 危险状态：明火、边坡裂缝、溢油、油池、油污等
• 消防设施：灭火器在位检测

1.3 无监督异常检测

基于 PatchCore 无监督异常检测算法，对无法预先定义的异常状态进行补充检测，包括设备异常形变、区域入侵、非标准作业姿势等，作为规则化检测的兜底通道。

1.4 合规检查清单

将多通道检测结果汇总为结构化检查清单，每个检查项包含：检测目标、检出状态、置信度、判定结果（合规/违规），支持一键生成巡检报告。

1.5 风险评分与告警

综合人员违规、设备异常、危险状态等多维度信号，计算现场综合风险评分，按严重等级触发告警，并自动生成整改工单。

1.6 数据管理与可视化

1.6.1.历史检测记录存储与检索

1.6.2.告警工单管理（派发、跟踪、闭环）

系统可自动根据检测识别出的异常点，生成对应的整改逻辑链路，并配置审批流，这样就可以让各个环节监理、施工方进行整改逻辑闭环。

1.6.3.统计报表与趋势分析

1.6.4.现场图片标注可视化

1.6.5.实时风险监测

1.6.6.员工管理

二、模型链路

系统采用多模型并行融合架构，三条检测通道各司其职、结果互补，最终汇总为统一的风险评估输出。

2.1 整体架构

输入图像 → 三通道并行推理 → 结果融合 → 检查清单 → 风险评分 → 告警/工单

2.2 YOLO26-m 通道（PPE 微调）

• 基础模型：YOLO26-m（中尺寸，参数约 42M）
• 训练数据：1189 张标注图 + 暗光数据增强（HSV 亮度扰动 0.6）
• 检测类别：11 类（合规装备 5 类 + 违规状态 2 类 + 辅助类 4 类）
• 推理阈值体系：人员/中性类 0.45、违规类 0.20、装备正式检出 0.12、护目镜 0.30
• 弱证据机制：0.05~0.12 置信度的装备检测保留为 weak_evidence，阻止"未检出=未佩戴"的误推断

2.3 YOLOE 通道（开放词汇）

• 基础模型：YOLOE-26s-seg（带分割能力）
• 提示词编码：MobileCLIP2 文本编码器，将自然语言提示转为 embedding
• 训练数据：8041 张图，覆盖 7 类有标注目标（明火、边坡裂缝、传送带损坏、灭火器、矿卡、挖掘机、轮式装载机）
• 特点：零样本能力 + 微调增强，灵活检测语言定义的长尾风险

2.4 PatchCore 通道（无监督异常）

• 算法：PatchCore（Patch-based Core-set Anomaly Detection）
• 机制：在正常样本上构建特征记忆库，推理时计算图像 patch 与记忆库的距离作为异常分数
• 阈值：ANOMALY_ITEM_THRESHOLD = 0.3，超过判为异常
• 聚焦区域：优先对矿山设备（抽油机、井口、防喷器、储罐、矿卡等）区域做异常检测

2.5 结果融合与风险评分

• 检测结果合并：三通道检测框去重、NMS 抑制
• 合规推断：基于装备检出状态推断违规（弱证据阻止误判）
• 风险评分：按违规严重度加权计算综合分数
• 告警分级：根据评分触发不同级别告警与工单

三、优缺点分析

3.1 优势

• 多通道互补：微调模型保证高频 PPE 精度，开放词汇覆盖长尾风险，无监督兜底未知异常
• 误报抑制：弱证据机制解决"装备检出置信度低被误判为未佩戴"的常见问题
• 灵活扩展：YOLOE 开放词汇支持通过自然语言新增检测类别，无需重新训练
• 暗光适配：训练阶段引入 HSV 亮度扰动等暗光增强，提升矿井场景鲁棒性
• 结构化输出：检测结果自动转为检查清单，便于巡检报告生成
• 端到端闭环：检测 → 评分 → 告警 → 工单 → 报表全流程覆盖

3.2 不足

• 数据不均衡：YOLOE 仍有 6 类（溢油、油池、油污、抽油机、井口、储罐）无训练数据，依赖零样本能力，精度有限
• 小目标精度：手套、护目镜等小目标在远距离/暗光下置信度偏低
• 计算开销：三通道并行推理，单帧延迟高于单模型方案，对边缘部署硬件要求较高
• 异常检测局限：PatchCore 聚焦区域依赖 YOLOE 设备检出，设备漏检时异常通道退化为全图检测
• 训练数据规模：YOLO26-m 仅约 1200 张训练图，数据增强虽有帮助但上限受限

四、创新点

4.1 双 YOLO 并行融合架构

将 YOLO26-m 微调通道与 YOLOE 开放词汇通道并行部署，前者保障高频 PPE 检测精度，后者以自然语言灵活覆盖矿山设备与危险状态长尾目标，突破单模型"精度与泛化不可兼得"的局限。

4.2 弱证据防误报机制

针对"工人穿全套装备却被标疑似未佩戴"的典型误报，设计 0.05~0.12 置信度区间的弱证据保留策略：低置信装备检出不画框、不计合规数，但作为"疑似佩戴"证据阻止违规推断，在不影响精度的前提下显著降低误报率。

4.3 开放词汇 + 无监督异常的双兜底

YOLOE 开放词汇负责"可语言描述的长尾风险"，PatchCore 无监督异常负责"无法预先定义的未知异常"，两层兜底机制使系统具备持续适应新场景的能力，降低对标注数据的依赖。

4.4 面向矿山场景的暗光数据增强

针对矿井/油井暗光作业环境，在训练阶段引入 HSV 亮度扰动（hsv_v=0.6）、饱和度增强、多尺度缩放等组合增强策略，提升模型在低光照、高反差场景下的检出稳定性。

4.5 结构化检查清单自动生成

将多通道异构检测结果统一映射为合规检查清单（含角色、状态、置信度、判定），实现从原始检测框到可审计巡检报告的自动转换，减少人工整理成本。

五、腾讯元宝接入

5.1 使用的人

•矿山 / 油井安全管理员：要判断一条新规、一次事故通报是否影响本单位制度。

•一线巡检员、班组长：现场遇到不确定的做法时，想知道“现在到底怎么规定的”。

•系统管理员 / 讲解人员：演示系统时经常被问到系统之外、但又和安全直接相关的问题。

5.2 原来的三个痛点

5.3 元宝搜索带来的改变

•问时效性 / 外部事实问题时，先检索公开网页，再把摘要交给 Qwen 组织语言；

•回答下方给出标题、站点、日期、可点击链接，做到“有出处”；

•Qwen 不可用或超时时，直接用检索摘要兜底，不再只能说“当前 AI 模型未启用”；

•系统内部问题（风险等级、工单、检测、传感器等）不检索，不增加延迟和费用。

一句话：让安全问答从“凭模型记忆”变成“先查资料、再回答、能溯源”。

搜索位于智能客服链路的“回答前的事实补充”环节：用户提问之后、Qwen 生成之前。

图 1 智能客服联网检索链路

5.4 三种联网模式

前端入口：客服面板底部“联网·自动 / 联网·强制 / 联网·关闭”三态按钮。

5.5 自动模式的判定规则

•强外部信号（命中即检索）：最新、最近、今天、今年、新闻、政策、法规、标准、条例、事故、通报、天气、预警、价格、应急管理部、国家矿山安全监察局等。

•弱外部信号（且不是系统内部问题才检索）：数据、统计、排名、研究、论文、对比、区别。

•系统内部词（不检索）：风险等级、工单、告警、传感器、检测、模型、页面、登录、导出、报表、摄像头、开放词汇、阈值、派单、销号等。

•含 URL 或年份 / 日期的问题直接检索。

•例：“矿山安全 最新政策” → 检索；“传感器数据怎么看” → 不检索；“最新的风险等级规定” → 检索。