Py学习  »  机器学习算法

【泡泡一分钟】用于果园果树的一种基于深度学习的语义分割智能喷涂系统

泡泡机器人SLAM • 3 年前 • 324 次点击  

每天一分钟,带你读遍机器人顶级会议文章

标题:An Intelligent Spraying System with Deep Learning-based Semantic Segmentation of Fruit Trees in Orchards

作者:Jeongeun Kim, Jeahwi Seol, Sukwoo Lee, Se-Woon Hong and Hyoung Il Son, Senior Member

来源:2020 IEEE International Conference on Robotics and Automation (ICRA)

编译:李海雄

审核:柴毅,王靖淇

这是泡泡一分钟推送的第 678 篇文章,欢迎个人转发朋友圈;其他机构或自媒体如需转载,后台留言申请授权

摘要

本文提出了一个智能喷涂系统,该系统可对梨园中果树进行语义分割。本文使用SegNet(一个语义分割结构)实现了一个果树检测系统。使用五种明显不同类别的图像对系统进行训练。所学习的深度学习模型精度为83.79%。此外,我们融合了RGB-D相机的深度数据,以防止背景中的果树被检测到。为了操作喷嘴,每个相机采集的图像被纵向均分为四个区域并分别映射到每个喷嘴。当每个区域中的果树面积超过20%的时候打开喷嘴进行农药喷洒。为了验证系统的有效性,作者在梨果园中进行了两种类型的田地试验。最终得到的结果是,基于深度学习的智能喷涂系统的性能令人满意。此系统预计会被引入实际中的农场,以有效降低农药的使用量,并且提高农民工作环境的安全性。

贡献

  1. 可变形的喷洒平台,具有八个可独立控制的喷嘴。

  2. 用于果树喷洒的深度学习语义分割方法。

  3. 平台和方法已被证明具有一定可行性。

图1 平台和系统组成。

图2 语义分割网络的编解码结构,输入和图片都是1280*256的RGB彩色图。

图3 编码网络中使用最大值化的上采样,其中a、b、c、d对应feature map中的数值。

图4 文中的数据集样图,其中a和c是RGB图,b和d对应左侧图像的ground truth。

图5 智能喷洒系统的喷嘴操作图。

图6 图像和喷嘴之间的映射。四个喷嘴安装在喷杆的一侧。4个喷嘴对应从上至下4个区域。红色实线表示该树和果实对应的RGB像素数大于阈值(右)。右图中图像区域在红框内表示对应的喷嘴被打开。

图7 在梨园环境中进行的实验。此实验中,仅使用了四个喷嘴和一个摄像头(绿色和红色圆圈)。此时平台朝实线蓝线方向行驶。

图8 试验1用的水敏贴纸,图(a)表示有喷洒目标,图(b)表示没有喷洒目标

图9 实验2用的水敏贴纸,(a)表示有目标,(b)表示没有目标,绿色、蓝色、红色贴纸距离地面高度分别为0.8米、1.1米和1.4米。

图10 对应图8试验1中的农药附着率,(a)是有目标区域,(b)为无目标区域。

图11 对应图9试验2的caes1场景下农药附着率。(a)是有目标区域,(b)为无目标区域。

图12 试验2的caes1场景下农药附着率。(a)是有目标区域,(b)为无目标区域。

表1 训练的深度学习模型的精度

表2 试验2中的一些环境参数

表3 试验1的实验结果。

表4 试验2的实验结果


Abstract

Abstract—This study proposes an intelligent spraying system with semantic segmentation of fruit trees in a pear orchard. A fruit tree detection system was developed using the SegNet model, a semantic segmentation structure. The system is trained with images categorized into five distinct classes. The learned deep learning model performed with an accuracy of 83.79%. Further, we fusion depth data from an RGB-D camera to prevent the tree in the background from being detected. To operate the nozzles, each image captured from the camera is separated lengthwise into quarters and mapped to the nozzles. Then, the nozzle was opened when the area of fruit trees in each zone exceeded 20%. Two types of field experiments were performed in a pear orchard to verify the effectiveness of our system. From the results obtained, we can confirm the satisfactory performance of our deep learning-based intelligent spraying system. It is expected that the introduction of this system to actual farms will signicantly reduce the amount of pestide used and will make the work environment safer for farmers.


如果你对本文感兴趣,请点击点击阅读原文下载完整文章,如想查看更多文章请关注【泡泡机器人SLAM】公众号(paopaorobot_slam)

百度网盘提取码:sfvh

欢迎来到泡泡论坛,这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题,或者想刷帖回答问题,泡泡论坛欢迎你!

泡泡网站:www.paopaorobot.org

泡泡论坛:http://paopaorobot.org/bbs/


泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成,希望大家珍惜我们的劳动成果,转载请务必注明出自【泡泡机器人SLAM】微信公众号,否则侵权必究!同时,我们也欢迎各位转载到自己的朋友圈,让更多的人能进入到SLAM这个领域中,让我们共同为推进中国的SLAM事业而努力!

商业合作及转载请联系paopaorobot@163.com

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/106626
 
324 次点击