1. 项目背景与核心价值
葡萄成熟度检测是智慧农业中的关键技术痛点。传统果园依赖人工经验判断成熟度,存在主观性强、效率低下、成本高等问题。我们团队采集构建的葡萄成熟度检测数据集,专门针对YOLO目标检测算法优化,包含成熟、半成熟、未成熟三种状态的标注图像,可直接用于训练高精度分类模型。
这个数据集的价值在于:
- 解决农业场景下小目标检测的难题(葡萄串在复杂自然环境中的识别)
- 标注规范严格遵循农业学标准(颜色、纹理、形状等多维度判定)
- 覆盖不同光照条件和拍摄角度(清晨/正午/傍晚,俯拍/侧拍)
- 包含常见干扰项(枝叶遮挡、反光、相邻果实粘连等情况)
2. 数据集构建全流程
2.1 数据采集规范
我们在3个主要葡萄产区(新疆、山东、河北)的示范园区,使用以下设备组合:
- 消费级:华为Mate40 Pro(5000万像素主摄)
- 专业级:Sony A7R4(6100万像素)搭配24-70mm镜头
- 工业级:FLIR AX8热成像相机(用于辅助判断)
拍摄时特别注意:
- 每个采样点保持1.5米固定距离
- 采用三脚架+手动对焦避免抖动模糊
- RAW和JPEG双格式存储(后期可做数据增强)
2.2 标注标准详解
成熟度判定由农科院专家参与制定:
- 成熟:果皮呈品种特征色(如巨峰葡萄紫黑色占比>80%)
- 半成熟:特征色占比30%-80%且果梗呈黄绿色
- 未成熟:特征色占比<30%或果梗完全绿色
标注工具采用LabelImg+YOLO格式,关键参数:
<object> <name>ripe</name> <bndbox> <xmin>256</xmin> <ymin>189</ymin> <xmax>382</xmax> <ymax>310</ymax> </bndbox> </object>3. 数据集技术参数
3.1 基础统计信息
| 类别 | 训练集 | 验证集 | 测试集 | 合计 |
|---|---|---|---|---|
| 成熟 | 2,450 | 350 | 350 | 3,150 |
| 半成熟 | 1,960 | 280 | 280 | 2,520 |
| 未成熟 | 1,470 | 210 | 210 | 1,890 |
| 总计 | 5,880 | 840 | 840 | 7,560 |
3.2 数据增强方案
针对农业场景的特殊处理:
- 光照模拟:随机调整HSV空间的H(±30%)、S(±50%)、V(±40%)
- 遮挡模拟:随机添加落叶、枝条等mask(透明度30-70%)
- 几何变换:-15°到+15°随机旋转,90%-110%随机缩放
4. YOLOv5训练实战
4.1 环境配置
推荐使用Python3.8+PyTorch1.10组合:
git clone https://github.com/ultralytics/yolov5 pip install -r requirements.txt4.2 关键训练参数
# data/grape.yaml train: ../images/train val: ../images/val nc: 3 # 类别数 names: ['ripe', 'semi-ripe', 'unripe']启动训练命令:
python train.py --img 640 --batch 16 --epochs 100 --data grape.yaml --weights yolov5s.pt4.3 模型优化技巧
- 自适应锚框计算:
python utils/autoanchor.py --data grape.yaml- 针对小目标的特殊处理:
- 修改model/yolov5s.yaml中第4层检测头为[20,20]分辨率
- 损失函数增加小目标权重系数:
loss += 1.2 * small_obj_loss # 原始值为1.05. 部署应用方案
5.1 移动端部署
使用TensorRT加速的Android方案:
- 模型转换:
python export.py --weights runs/train/exp/weights/best.pt --include onnx- 在Android Studio中配置NNAPI调用:
Interpreter.Options options = new Interpreter.Options(); options.setUseNNAPI(true); Interpreter interpreter = new Interpreter(modelFile, options);5.2 边缘计算方案
树莓派4B+Intel神经计算棒配置要点:
- 安装OpenVINO工具包:
wget https://apt.repos.intel.com/intel-gpg-keys/GPG-PUB-KEY-INTEL-SW-PRODUCTS.PUB- 优化模型:
python3 /opt/intel/openvino/deployment_tools/model_optimizer/mo.py \ --input_model best.onnx \ --output_dir ./ir_model \ --data_type FP166. 实测性能指标
在测试集上的表现(YOLOv5s模型):
| 指标 | 成熟 | 半成熟 | 未成熟 | 平均 |
|---|---|---|---|---|
| 准确率(%) | 94.2 | 88.7 | 91.5 | 91.5 |
| 召回率(%) | 92.8 | 86.3 | 89.1 | 89.4 |
| F1分数 | 0.935 | 0.875 | 0.903 | 0.904 |
| 推理速度(fps) | 63.2 |
7. 常见问题解决
7.1 误检问题排查
现象:将绿叶误判为未成熟葡萄 解决方法:
- 增加色彩约束条件:
if avg_hue < 80 or avg_hue > 160: # 过滤非葡萄色域 continue- 添加形状验证:
circularity = (4 * np.pi * area) / (perimeter ** 2) if circularity < 0.6: # 葡萄通常较圆 continue7.2 模型轻量化技巧
- 通道剪枝:
python prune.py --weights best.pt --percent 0.3- 知识蒸馏:
# 使用训练好的YOLOv5x作为教师模型 teacher_loss = F.kl_div(student_output, teacher_output.detach())8. 应用场景扩展
8.1 采摘机器人集成
ROS系统对接方案:
def image_callback(msg): img = CvBridge().imgmsg_to_cv2(msg) results = model(img) if results.pred[0].shape[0] > 0: publish_target_pose(results.xywhn[0][:4])8.2 产量预估算法
基于检测结果的统计方法:
def estimate_yield(detections): ripe_count = sum(1 for d in detections if d[5] == 0) avg_weight = 12.5 # 克/串(根据品种调整) return ripe_count * avg_weight / 1000 # 转换为公斤关键提示:实际部署时要考虑葡萄品种差异,建议针对当地主产品种做fine-tuning。我们测试中发现阳光玫瑰和巨峰的色域阈值需要相差约15%