[精品论文]温室串番茄采摘机器人关键技术研究.doc

精品论文温室串番茄采摘机器人关键技术研究纪超，张震华，于建，杨振宇，袁挺，李伟（中国农业大学工学院，北京 100083）5摘要：为提高温室环境下串番茄采收自动化水平，研发了采摘机器人系统，重点研究了采摘 点定位与末端执行器设计两关键技术。开发了基于红绿色差 R-G 的串番茄果实识别算法， 计算得到果实区域形心及边界信息；根据番茄串果梗自然生长特征，开发了基于绿蓝色差 G-B 与等距分块法的采摘点提取算法，利用双目立体视觉获得采摘点三维坐标信息；设计了基于柔性传动的剪刀式末端执行器，同时完成剪切、加持动作；规划了机器人采摘动作流程，10温室采摘试验证明：机器人采摘成功率为 86.67%，成功采下一串番茄平均耗时 37.57s。 关键词：串番茄；采摘机器人；采摘点；末端执行器；试验 中图分类号：TP242.6，S225.92Research on Key Technology of Truss Tomato Picking15Robot in GreenhouseJI Chao, ZHANG Zhenhua, YU Jian, YANG Zhenyu, YUAN Ting, LI Wei(College of Engineering, China Agricultural University, Beijing 100083)Abstract: In order to improve the automation level of truss tomato harvesting, a robot system fortruss tomato harvesting is developed, and two key technologies of picking point location and20end-effector design were mainly studied. Firstly, a fruit recognition algorithm based on color difference R-G was presented, and the centroid and boundary of fruit region was extracted. According to the growth characteristics of the stem of tomato truss, an extraction algorithm forpicking-point based on color difference G-B and “equidistant block location method” waspresented, and then, the 3-D information of picking-point was calculated by sterovision system.25Secondly, the hardware structure of an end-effector based on flexible transmission were designed, and the function of cutting and grasping could be realized simultaneously by this end-effector. At last, the task sequence of harvest operation was planned and a harvesting experiment ingreenhouse was conducted. Experiment results show that, the success rate for harvesting truss tomato is 86.67%, and the execution time for picking a truss tomato successfully was 37.57s.30Keywords: Truss tomato; Harvesting robot; Picking-point; End-effector; Experiment0引言番茄是众多家庭的必备蔬菜，其口感甜爽，营养丰富，全国大部分地区均有广泛种植。 番茄采收作业工作量大、劳动强度高，是番茄生产链中相当耗时、耗力的环节。研究番茄采35摘机器人，提高番茄采收质量，推进番茄采收自动化具有重要意义。目前，国内外番茄采摘 机器人相关研究多以单颗果实作为采摘对象，一简要回顾研究工作的背景和研究目的，一般 般通过颜色分量运算12、色彩空间变换34等方法阈值分割图像、提取果实区域，利用边缘 或形状特征56检测获取单颗果实采摘信息；为避免伤及与目标果实紧密接触的其他同串番 茄，创造出末端执行器手指抓取运动空间，通常采用气吸方式使目标果实暂时脱离番茄串，40通过多指式柔性机械手拉扯、旋转实现目标果实与番茄串彻底分离，完成采摘动作79。 单颗采收方式适用于同串内各番茄成熟时间差别明显、果实间接触不大紧密的番茄品基金项目：农业科技成果转化资金项目（2011GB23600020）；国家自然科学基金项目（31071320）；高校 博士点基金（20090008110007）作者简介：纪超，（1986-），男，博士生，主要研究方向：农业机器人、生物生产自动化、机器视觉技术 应用。通信联系人：李伟，（1956-），女，教授，主要研究方向：农业机器人、机器视觉技术应用、农产品加工.E-mail: liww- 8 -种。对于成熟期较为一致、同串内果实间遮挡严重的串番茄（又名穗番茄）品种，若仍采用单颗采收方式，将增加采摘机器人目标识别算法与末端执行器结构的复杂度，影响采摘效率 与系统可靠性。国内外关于串番茄采收机器人的研究开展较晚，一般以番茄串与果梗作为识45别目标10；末端执行器主要完成番茄串梗的切割、加持动作，且通常将动力元件、传动元 件和执行元件集成一体11，结构略显复杂、笨重。本文以高架线栽培模式下的串番茄（荷兰品种：丰收）为研究对象，搭建串番茄采摘机 器人系统，重点研究串番茄采摘机器人的关键技术采摘信息获取及末端执行器设计，最 后规划采摘作业流程，通过试验对机器人系统进行论证分析。501工作环境番茄植于培养基中，培养基由栽培架支撑，高于地面 1050mm；番茄主茎盘绕吊蔓绳向 上生长，吊蔓绳上端由吊钩悬挂于钢丝绳上，下端固定在栽培架上。番茄成熟期，低于培养 基的番茄叶子光合效率低下、易受病虫害侵扰，将其全部剪除；适时下落主茎，保证健壮叶 片位于培养基与钢丝绳间的 1800mm 范围内，成熟番茄集中于培养基以下。机器人行走于作55物垄间，对成熟番茄进行实时采摘。（a）（b）图 1 高架线番茄种植模式Fig.1 The high-wire cultivation of tomatoes60（a）主视图 （b）侧视图2机器人系统构成番茄采摘机器人系统主要由工控机、行走平台、双目识别定位装置、四自由度关节型机 械臂及末端执行器五部分组成，如图 2 所示。其中，工控机内嵌于行走平台中，负责信号处65理、协调控制各功能部件顺畅运行；行走平台负责承载与供能，采用磁线导航方式，利用车轮差速实现转向；双目识别定位装置固定于行走平台顶部，通过两 CCD 相机获取番茄图像， 经工控机处理计算，识别番茄串果实区域，获得采摘点三维信息；四自由度机械臂负责定位 末端执行器至番茄采摘点，由末端执行器执行果梗切割、加持动作，完成番茄串采收任务。70图 2 采摘机器人系统构成Fig.2 The structure of the harvesting robot3番茄采摘点识别定位3.1 图像获取75选用的图像采集设备为 CCD 彩色相机（嘉恒 OK-AC1210）、8mm 焦距镜头（Computar M0814-MP 型），相机物距 50cm60cm。采集番茄串图像，图像通过 USB 接口输入工控机。 如图 3 所示，由于成熟番茄集中于培养基以下，背景为黑白色栽培架（图 3-a）或地面、管 道等温室设施（图 3-b），显然，图 3-b 所示场景更为复杂，作为主要研究分析对象。80（a） （b）图 3 温室采集番茄串图像Fig.3 Pictures captured in greenhouse（a）黑白色栽培架背景 （b）温室设施背景853.2 番茄果实区域提取番茄区域像素 R 分量值显著高于 G、B 分量，将 R-G 作为分割特征，提取果实区域的 算法步骤为：（1）设源彩色图像中像素点(x,y)各颜色分量为 R(x,y)、G(x,y)、B(x,y)，利用公式 1 对 图 3-b 中各像素点进行灰度化及归一化处理，获得灰度图像 4-a，各图像素灰度值为 Gray(x,y)。90随后利用经典 Otsu 算法12进行阈值分割，经两次中值滤波滤除噪声干扰，获得仅含番茄区 域的二值化图像，如图 4-b 所示。（2）统计规定物距范围下目标番茄串像素面积，设定面积阈值为 A0（本系统中 A0 取20000），滤除背景中面积值小于 A0 的远景番茄或地面落果干扰，获得仅剩目标番茄区域的 二值化图像 4-c。95（3）通过式（2）确定目标番茄串果实区域的形心坐标（ x ， y ），同时计算果实区域 横纵方向边界值：xleft、xright、ytop、ybottom。100（a）（b）（c）（d）图 4 番茄串果实区域提取结果Fig.4 Results of fruits region extractionR(x, y) - G( x, y)Gray(x, y) = R(x, y) + G( x, y) + B(x, y) × 255(R G)0(R G)（1） 1 A x = A xi 1i=1A y = yiA i=1（2）105110115120125式中，A 为连续区域像素面积值， xi 、 yi 为连续区域中第i 点像素坐标值。3.3 采摘点提取受果实重力作用，番茄串果梗轴线姿态多为竖直或倾斜竖直，果梗像素长度为3560mm，宽 58mm。图像中，果梗区域一般位于番茄串果实区域左右边界之间，高于果 实区域形心，低于果实区域上边界与果梗像素长度上限值 Lmax（本系统中 Lmax 取 260 像素） 之和，形成番茄串果梗图像矩形兴趣区（xleft < x < xright，ytop < y < ybottom），如图 5-a 所示。 对矩形兴趣区进行采摘点提取算法处理：（1）果梗区域像素 G 分量明显高于 B 分量，将 G-B 作为获取果梗区域的分割特征。 参照果实区域提取算法，对矩形兴趣区中各像素点进行灰度化及归一化处理，获得灰度图像5-b；随后进行 Otsu 算法阈值分割及中值滤波处理，获得二值图像 5-c。（2）由于少量番茄区域 G 分量值高于 B 分量，一些番茄斑块未能在二值化过程完全滤 除。将图 4-b 逐像素黑白互转，取其矩形兴趣区作为蒙板覆盖到图像 5-c，滤除番茄斑块干 扰，获得图像 5-d。（3）如图 5-e 所示，对图像 5-d 进行等距分块处理，各分块像素高为 L（本系统中 L 取 15）。受果梗空间姿态及生长特征影响，果梗各分块像素面积多为 150600 像素，宽小 于 50 像素，设定阈值 Amin、Amax、Wmax 滤除主茎及部分果萼、绿斑干扰，如图 5-f 所示。（4）与果梗相比，番茄果萼空间姿态不固定，多呈相互交错，在图像横轴方向易形成不连贯像素。取消等距分块，滤除横轴方向存在像素中断的连续区域，去除小面积干扰，最 终得到番茄串果梗区域，如图 5-g 所示。（5）受末端执行器手指厚度限制，为保证手爪顺畅包络果梗，且不碰触主茎与果实，将果梗中心线 1/3 长度处定为采摘点，如图 5-g 所示，图 5-h 为原图标记。(a)(b)(c)(d)130135140145(e)(f)(g)(h)图 5 采摘点提取算法Fig.5 Algorithm of picking-point detection(a)矩形兴趣区 (b)灰度化处理结果（c）二值化处理结果 （d）蒙版处理结果（e）等距分块结果 （f）面积、宽度阈值处理结果（g）番茄串果梗区域 （h）原图标识3.4 采摘点空间定位双目立体视觉定位方法成本低、技术成熟，是番茄采摘机器人定位目标的常用方法之一 1314。为扩大公共视场、拓宽目标搜寻范围，本系统采用交叉双目方式。采摘机器人获得 采摘点空间位置信息的方法步骤为：（1）左、右两摄像机同时采集图像，通过采摘点提取算法分别获得采摘点左右图像坐 标 Pl ( xl , yl )与 Pr ( xr , yr )。（2）利用经典极线约束算法15对左右图像采摘点进行立体匹配，若匹配失败，重新执行步骤（1）。图 6 双目立体视觉模型Fig.6 3-D reconstruction model of stereovision150（3）根据图 7 所示双目立体视觉模型，利用三角视差原理，设左摄像机坐标系OXYZ与世界坐标系重合，图像坐标系为 ol xl yl zl ，有效焦距 fl ；右摄像机坐标系为 Or X rYr Z r ， 图像坐标系为 or xr yr zr ，有效焦距为 fr 。由摄像机透视变换模型推算得到采摘点空间坐标 为 X = Zx /fl l（3）Y = Zyl /flZ =fl ( fr tx - xr tz )式中，xr (r7 xr + r8 yl + fl r9 ) - fr (r1xl + r2 yl + fl r3 )r1 、 r2 、 r3 、 r7 、 r8 、 r9 为双目立体视觉系统的外部旋转矩阵参数，tx 、tz 平155160165170移矩阵参数，均可通过张正友16相机标定算法获得。4末端执行器末端执行器安装于机械臂末端，通过机械臂定位至番茄串果梗采摘点处，完成番茄串的 剪切、加持任务。如图 6 所示，采摘机器人末端执行器类似剪刀结构，动作执行核心部件为 静止手指与移动手指：两手指上层分别为切刀与刀槽，配合完成果梗切割动作；下层均贴有 橡胶垫，配合完成果梗夹持动作。套管与钢丝绳为主要传动部件：套管一端与固定柄同时固 定于连接板上，另一端固定于移动平台顶部；钢丝绳一端与自由柄固定相连，另一端连接至 伺服步进电机输出轴，伺服步进电机固定于移动平台顶部，由单片机信号控制。采摘作业时末端执行器动作流程为：拉动套管中的钢丝绳，使自由柄移向固定柄，压簧 压缩，移动手指靠近静止手指，切刀进入刀槽，切断果梗；与此同时，两指下端橡胶垫挤压 并夹紧果梗。果梗剪切与夹持动作同时完成后，机械臂携末端执行器运动至果实筐上方，放 松钢丝绳，释放压簧，两手指分离，果实串下落至果实筐中。图 7 末端执行器结构Fig.7 Structure composition of end-effector末端执行器通过手指上下分层同时实现果梗的剪切、夹持动作，节约了作业时间；利用 钢丝绳与套管相对运动传递电机输出的动能，解放了末端执行器执行元件与动力元件相对位 置，减轻了机械臂末端负载重量。5采摘试验分析5.1采摘流程机器人自主完成行走、搜寻、定位、采摘、回放等动作，其完整的采摘流程如图 8 所示。175180图 8 机器人采摘流程图Fig.8 Task sequence of the harvest operation5.2 试验与分析随机选择 30 串成熟番茄为采摘对象，试验前，调整番茄藤蔓高度，保证采摘对象高度 低于培养基。分别统计番茄采收成功率及时间效率，试验结果如表 1 所示。表 1 单个叶片的静态频率和动态频率Tab.1 Static frequency and dynamic frequency of single leaf识别抓取采收总计302730成功272626平均0.900.9686.67185190195200可以看出，番茄采摘机器人对 30 串成熟番茄识别成功率为 90%，抓取成功率为 96%， 全程采收成功率为 86.67%。影响识别成功率与采摘点定位精度的主要原因为：光线分布不 均形成阴影、亮斑干扰；番茄藤蔓及果实对果梗形成遮挡。而果梗过短以致难以进入末端执 行器指间是抓取失败的主要原因。除去行走时间，机器人完成采摘动作总耗时 18min47s，成功采摘一串番茄平均耗时37.57s，影响采摘效率的主要因素为：识别失败或采摘点定位不准，造成无效停车或机械臂 空程运动，产生无用耗时。6结论（1）利用色差 R-G 与 G-B 作为番茄串图像阈值分割特征，分别提取出番茄串果实与果 梗区域；根据果梗自然生长特征与果实区域形心、边界，定位了果梗矩形兴趣区，通过等距 分块法有效滤除了主茎、果萼等背景干扰，提取出番茄串果梗及采摘点，通过双目立体视觉 获得了采摘点空间坐标。（2）设计了剪刀式串番茄采摘机器人末端执行器，采用柔性套管传动，使采摘执行元 件与动力元件相对位置自由，大大减轻机械臂末端负载重量，同时完成了果梗加持、剪切动 作，有效提升果实采收效率。（3）搭建了串番茄采摘机器人系统，规划了机器人采摘作业流程，试验证明：机器人 采摘成功率达 86.67%，其中，识别成功率为 90%，抓取成功率为 96%，成功采下一串番茄平均耗时 37.57s，满足采摘作业要求。205参考文献 (References)2102152202252302351 Zhang F M, Zhang N Q. Applying Joint Transform Correlator in Tomato RecognitionJ. 2008 ASAE AnnualMeeting, Paper No. 084672, 20082 Jian H Y, Peng Y S, Shen C, et al. Study of Area-based Stereovision Method for Locating Tomato inGreenhouseJ. 2008 ASAE Annual Meeting, Paper No. 084883, 20083 吕小莲，吕小荣，卢秉福，等. 基于颜色信息的采摘西红柿识别方法J.计算机工程，2010, 36（11）：178179,182.4 赵杰文，刘木华，杨国彬. 基于 HIS 颜色特征的田间成熟番茄识别技术J. 农业机械学报，2004, 35（5）：122124, 135.5 项荣，应义斌，蒋焕煜，等. 基于边缘曲率的重叠番茄识别J.农业机械学报，2012, 43（3）：157162.6 王玉飞，尹建军，仲苏玉，等. 基于特征分析的番茄识别及其软件的快速开发J. 计算机工程与设计，2011, 32（11）：38243827.7 Monta M，Kondo N，Ting K CEnd-effectors for tomato harvesting robotJArtificial Intelligence Review，1998,12(13): 11258 Ling P P, Reza Ehsani, Ting K C, et a1. Sensing and end-effector for a robotic tomato harvesterJ2004 ASAE Annual Meeting, Paper No. 043088, 20049 刘继展，李萍萍，倪齐，等. 番茄采摘机器人真空吸盘装置设计与试验J.农业机械学报，2010，41（10）：170173,184.10 Kondo N, Yamamoto K, Yata K, et al. A Machine Vision for Tomato Cluster Harvesting RobotJ. 2008ASAE Annual Meeting, Paper No. 084044, 200811 Kondo N, Taniwaki S, Tanihara K, et al. An End-Effector and Manipulator Control for Tomato ClusterHarvesting RobotJ. 2007 ASAE Annual Meeting, Paper No. 073114, 200712 Otsu N. A Threshold selection method from gray-level histogramsJ. IEEE Transactions on Systems, Man, and Cybernetics, 1979, SMC-9(1):6266.13 郑小东，赵文杰，刘木华. 基于双目立体视觉的番茄识别与定位技术. 计算机工程，2004，30（22）：155156,171.14 蒋焕煜，彭永石，申川，等.基于双目立体视觉技术的成熟番茄识别与定位J.农业工程学报，2008,24（8）:279283.15 贾云德. 机器视觉M. 北京：科学出版社，2000.16 Zhang Zhengyou. A Flexible New Technique for Camera CalibrationJ. IEEE Transactions on PatternAnalysis and Machine Intelligence, 2000, 22(11):13301334.