机器人双目识别系统原理与搭建.ppt
机器人双目视觉系统的标定与定位,汇报人:,指导导师:,阅读文献的前期思想：,学习目标,机器人双目：利用仿生学模拟人眼视觉标定与定位：利用已有技术，对机器人视野范围内的事物进行空间立体分析，找到所要三维坐标，从而实现机器人对物体的具体操作。,汇报提纲,一、所读论文二、国内外关于该课题的研究现状三、研究内容和解决的关键问题四、采取的研究方法步骤、技术路线和可行性分析五、疑问与想法,所读文献,1、机器人双目视觉系统的标定与定位算法2、基于双目立体视觉的三维定位技术研究3、基于双目立体视觉的三维信息获取技术研究4、基于双目立体视觉的移动机器人目标定位5、基于双目立体视觉技术的成熟番茄识别与定位,国内外关于该课题的研究现状,立体视觉的开创性工作是从 60 年代中期开始的，美国 MIT 的 Roberts 首先成功地用程序完成了对三维积木世界的解释，把过去的二维图像分析推广到了三维，并且在随后的 20 年中迅速发展并形成了一门新的学科。,1、华盛顿大学与微软公司宽基线立体视觉系统：对跨越的几千米内的地形进行精确的定位导航2、麻省理工学院计算机系提出了一种新的用于智能交通工具的传感器融合方法，能够在高速环境下对视频图像中的目标位置进行分割3、CMU 大学基于图像的三维重构系统4、Katholieke 大学可变内参数下的摄像机自标定技术：可自动实现自标定和分层重构5、日本大阪大学自适应的双目视觉伺服系统：对运动方式未知的目标的自适应跟踪6、浙江大学透视成像原理：采用双目体视方法实现了对多自由度机械装置的动态、精确位姿检测,该课题的研究现状,涉及面广（航空测绘、军事应用、医学诊断及工业检测等）,可用性研究趋势,评估指标的转变（重视内容、智能分析、多领域的应用）,方法多样（边缘检测、区域图像分割及最小二乘算法等）,研究内容：,实现该过程一般包括如下几个功能模块：图像获取、摄像机标定、识别、定位、立体匹配。主要研究双目立体视觉系统的各项关键技术及其具体实现，使之能够精确定位手术器械，从而为机器人具体操作提供一定的辅助作用。,解决的关键问题：,机器人双目视觉的可用性指标,标定的要求,定位的要求,识别的要求,采取的研究方法步骤和技术路线,需求评估,构建研究,个案优化,验证,验证方法的有效性,定位（目标点的 深度测量）,平台构建（两台摄像机、两个图像采集卡以及两台驱动电机）,识别,彩色图像转换灰质图像,阈值图像分割,机器人双目视觉的机构平台,如图所示，两台摄像机位置相对固定，同时拍摄同一场景的图像，水平轴和竖直轴分别装有驱动电机以实现系统的仰俯和旋转动作。,机器人双目视觉的机构平台,或者使用双目摄像机更便捷，但是需要一块视频采集卡,双目摄像机购买链接,视频采集卡购买链接,标 定,摄像机针孔成像数学模型：,式中：s 为比例常数,A 为摄像机内部参数(固定不变),Rt为摄像机外部参数(表示摄像机坐标系与世界坐标系的转换关系,随世界坐标系的选定而变化),Mw和m分别表示目标点世界坐标及其对应的像点像素坐标的极坐标。,识 别,实时准确地识别采集到的图像中的目标对象，是机器人视觉系统的关键，而目标识别的实质是图像分割。,在图像分割之前，要将彩色图像进行灰度变换，例如可以将彩色图像变换为灰度图像。,式中 I灰度值；R，G 和 B RGB 颜色空间中像素的 3 个分量,识 别,目标图像和背景图像必须存在较大的色差，根据这个特征，对图像中的每个像素进行了色差处理，以增强背景和目标对象的反差，图像中每一个像素的色差表示为 C=R-I，即：,识 别,根据灰度图像的直方图，采用合适的阈值进行图像分割，设 T 是所取阈值，阈值分割理论如下公式所示。当图像中像素的色差值小于所设定的阈值时，将像素的灰度值设置为 0；当图像中像素的色差值大于或等于所设定的阈值时，将像素的灰度值设置为 255。,目标对象与背景之间的色差值存在较大的差异。只要阈值选择恰当，就可以得到较好的分割效果。,定 位,双目立体视觉计算目标点深度值的模型如图所示，f 为 CCD 摄像机的焦距，b 为两摄像机的中心距离，R为目标点的深度值，XL和 XR分别是目标点在左右图中的位置。,定 位,目标点在立体图像对中的视差为其在两图中水平方向上的距离，即视差 D=|XLXR|。根据三角测量原理，可获得深度值 R 与视差 D 的关系：,立体匹配,立体匹配是在两幅存在视点差异，几何、灰度畸变和噪声干扰的图像间进行，寻求同一空间景物在不同视点下投影图像的像素间的一一对应关系，亦即给定一幅图像中的一点，寻找另一幅图像中的对应点，使得这两点为空间同一物体点的投影，进而可以求出二者视差，用以恢复图像的深度信息，并可以进一步求得某些特征的空间坐标以及由稀疏的三维数据恢复整个曲面。,立体匹配,立体匹配方法很多，但无论对于哪一种立体匹配方法的设计，都必须解决以下三个方面问题：,匹配基元选择：选择适当的图像特征作为匹配基元，如点、直线、区域、相位等；,匹配准则：将关于物理世界的某些固有特性表示为匹配所必须遵循的若干规则，使匹配结果能真实反映景物的本来面目；,算法结构：利用适当的数学方法设计能正确匹配所选基元的稳定算法。,疑问和想法,疑问和想法：双目视觉系统，在实际操作中肯定存在误差，但是其对机器人采棉很有借鉴意义，我进一步想到机器人采棉机器手如何躲过棉花的枝叶来采摘棉花，以及怎样避免采摘到成熟的棉花壳。再进一步的研究中，会多加关注和学习。,敬请老师批评指正！,
