为了实现农业生产的智能化，响应乡村振兴战略，无数科研院所积极响应号召，深入组织了跨学科、跨专业的研究，结合物联网、遥感、红外线、无人机等技术，在智慧农业、设施农业等方面都有了一定提升。
随着水果种植种类与规模的不断扩大，出现了许多给水果套袋的技术，以降低病虫害，这也造成了采摘问题。由于光照不均和严重遮挡，在果园中实现毛桃，尤其是套袋毛桃的检测一直面临着挑战。毛桃等果实的准确检测是实现机械化、智能化农艺管理的必要前提。
安徽农业大学、农业农村部农业传感器重点实验室、智慧农业技术与装备安徽省重点实验室等机构，针对于套袋毛桃检测基本问题，基于改进YOLOv5s和多模态视觉数据提出了面向机械化采摘的毛桃多分类准确检测。
该研究构建了一个多类标签的裸桃和套袋毛桃的RGB-D数据集，包括4127组由消费级RGB-D相机获取的像素对齐的彩色、深度和红外图像。通过引入方向感知和位置敏感的注意力机制，提出了改进的轻量级YOLOv5s(小深度)模型，该模型可以沿一个空间方向捕捉长距离依赖，并沿另一个空间方向保留准确的位置信息，提高毛桃检测精度。
同时，通过将卷积操作分解为深度方向的卷积与宽度、高度方向的卷积，使用深度可分离卷积在保持模型检测准确性的同时减少模型的计算量、训练和推理时间。
实验结果表明，使用多模态视觉数据的改进YOLOv5s模型在复杂光照和严重遮挡环境下，对裸桃和套袋毛桃的平均精度(Mean Average Precision，mAP)分别为98.6%和88.9%，比仅使用RGB图像提高了5.3%和16.5%，比YOLOv5s提高了2.8%和6.2%。在套袋毛桃检测方面，改进YOLOv5s的mAP比YOLOX-Nano、PP-YOLO-Tiny和EfficientDet-D0分别提升了16.3%、8.1%和4.5%。
此外，多模态图像、改进YOLOv5s对提升自然果园中的裸桃和套袋毛桃的准确检测均有贡献，所提出的改进YOLOv5s模型在检测公开数据集中的富士苹果和猕猴桃时，也获得了优于传统方法的结果，验证了所提出的模型具有良好的泛化能力。
最后，在主流移动式硬件平台上，改进后的YOLOv5s模型使用五通道多模态图像时检测速度可达每秒19幅，能够实现毛桃的实时检测。
上述结果证明了改进的YOLOv5s网络，和含多类标签的多模态视觉数据，在实现果实自动采摘系统视觉智能方面的应用潜力，有望实现果实自动采摘。
