基于深度学习的番茄授粉机器人目标识别与检测

	基于深度学习的番茄授粉机器人目标识别与检测
	余贤海 2; 孔德义 1; 谢晓轩 1; 王琼 1; 白先伟 1
刊名	农业工程学报
	2022
卷号	38
关键词	deep learning neural networks target detection flower classification gesture recognition pollination robot 深度学习神经网络目标检测花期分类姿态识别授粉机器人
ISSN号	1002-6819
英文摘要	针对植物工厂中对番茄花朵授粉作业的自动化和智能化需求,为克服当前机器人在授粉作业过程中因番茄花朵小、姿态朝向各异而导致的检测精度不高和授粉策略不完善等难题,该研究提出了一种由目标检测、花期分类和姿态识别相结合的番茄花朵检测分类算法--TFDC-Net(Tomato Flower Detection and Classification Network)。在目标检测阶段,提出了一种改进的YOLOv5s网络模型ACW_YOLOv5s,通过在YOLOv5s网络中添加卷积块注意力模块(Convolutional Block Attention Module,CBAM)并采用加权框融合(Weighted Boxes Fusion,WBF)方法,使模型的准确率达到0.957,召回率达到0.942,mAP_(0.5)为0.968,mAP_(0.5-0.95)为0.620,各项指标相较于原YOLOv5s网络模型分别提高了0.028、0.004、0.012、0.066,并改善了目标漏检和误检的状况。进而,针对不同花期的花朵以及花蕊不同姿态朝向的授粉问题,采用EfficientNetV2分类网络分别对3种不同花期和5种不同花蕊姿态朝向的花朵进行训练,分别得到花期分类模型及姿态识别模型,通过选取300张花期图片和200张姿态图片对其进行测试,花期分类模型和姿态分类模型的总体准确率分别为97.0%和90.5%。将研究提出的TFDC-Net算法应用于自主研发的授粉机器人中进行试验验证,结果表明,该算法能够实现对番茄花朵的目标检测、花期分类和姿态识别。在此基础上,通过坐标转换对目标快速定位,利用机器人机械臂末端执行器对番茄花朵中的花蕊完成了精准授粉,验证了该算法的有效性。该研究可实现对番茄花朵的目标识别与检测,有助于进一步推动授粉机器人的研发与应用。
语种	中文
内容类型	期刊论文
源URL	[http://ir.hfcas.ac.cn:8080/handle/334002/133167]
专题	中国科学院合肥物质科学研究院
作者单位	1.中国科学院合肥物质科学研究院 2.合肥工业大学
推荐引用方式 GB/T 7714	余贤海,孔德义,谢晓轩,等. 基于深度学习的番茄授粉机器人目标识别与检测[J]. 农业工程学报,2022,38.
APA	余贤海,孔德义,谢晓轩,王琼,&白先伟.(2022).基于深度学习的番茄授粉机器人目标识别与检测.农业工程学报,38.
MLA	余贤海,et al."基于深度学习的番茄授粉机器人目标识别与检测".农业工程学报 38(2022).