毕业设计工业机器人视觉伺服.doc

毕业设计（论文）题 目 工业机器人视觉伺服 专 业 自 动 化 班 级 自 064班 学 生 白 蕾 指导教师 辛 菁 2010 年摘 要机器人视觉伺服是利用从图像中提取的视觉信息视觉特征，进行机器人末端执行器的位置闭环控制。它是实时图像处理、机器人运动学、控制理论、计算机技术以及实时计算等领域的融合，是计算机视觉研究前沿的一个重要分支。本文首先研究了基于标定技术的机器人视觉伺服，推导了眼在手和眼固定两种配置下的手眼映射关系图像雅克比矩阵，并在MATLAB环境下对这两种配置分别仿真，仿真结果表明该方法能很好地定位到目标。然而，在实际中，由于种种原因，这种基于标定的机器人视觉伺服方法受到了很大的限制。无标定视觉伺服开始成为机器人视觉伺服领域的一个研究热点，所谓“无标定”视觉伺服是指在不预先标定摄像机和机器人参数的情况下，直接通过图像上的系统状态误差来设计控制律，驱动机器人运动，使系统误差收敛到一个容许的误差内。因此，本文研究了基于kalman滤波原理的机器人无标定视觉伺服，并对其仿真，仿真结果表明了该方法的有效性和可行性。最后，采用VC+6.0编写控制软件，并以MOTOMANSV3XL型六自由度工业机器人为对象，采用 CCD摄像机、图像采集卡与PC机建立了机器人无标定视觉伺服实验平台，完成了基于kalman滤波的机器人无标定视觉伺服定位实验，实验结果表明该方法能很好的定位到目标。关键词：MOTOMAN-SV3XL工业机器人、图像雅可比矩阵、Kalman滤波、无标定视觉伺服AbstractRobot visual servoing Is to use visual information-visual features, which are extracted from the images, to complete robot end-position closed-loop control. Robot visual servoing research is the fusion of some degree of expertise in several area,such as real-time image processing, robot kinematics,robot dynamics, control theory, computer technology ,real-time computation and so on. It is a important subject in the research field of computer vision.First,I studied visual servoing robot, which based on the calibration technique and derived the relationship between eye and handimage jacobian matrix.Then simulated the eye-in-hand and the eye-fixed robot visual servoing under MATLAB. Simulation results show that this method can well positioned to target. However in practice, a varity of reasons,limit the application of the visual servoing control method based on calibrated technologies to a great extent. Uncalibrated visual servoing has become a hotspot in the field of robot visual servoing control.Uncalibrated visual servoing means that vision control law is designed directly by the system state error from image plane without pre-calibrating the parpmeters of camera and robot,which controls the robot to make system error converge to a permissible region. Therefore, uncalibrated visual servoing, which based on kalman filter, has been studied and simulated in this paper. Simulation results show the effectiveness and feasibility of the method.Final, completed robot visual servoing positioning experiment, which based on kalman filter. Control software has been programed with VC+6.0. Simultaneously, a MOTOMAN industry robot,a CCD camera and an image grabber card, together with PC host computer,construct a hardware platform. The results show the well performance of the corresponding visual positioning.Keywords: MOTOMAN-SV3XL industrial robot, image jacobian matrix, Kalman filter, uncalibrated visual servoing目 录1绪论11.1引言11.2工业机器人视觉伺服控制系统概述21.2.1工业机器人视觉伺服的发展情况21.2.2 视觉伺服的分类21.2.3图像特征的选取71.3 无标定视觉伺服系统81.4本文的主要工作102基于标定技术的机器人视觉伺服122.1图像雅可比矩阵模型简介122.2摄像机模型152.3机器人模型172.4 视觉控制器的设计182.5基于图像雅克比矩阵的机器人标定视觉伺服的仿真183基于kalman滤波的机器人无标定视觉伺服233.1引言233.2 kalman滤波算法概述233.3基于kalman滤波原理的信号滤波仿真253.4固定眼的基于Kalman滤波的雅可比矩阵在线辨识273.5基于kalman滤波的机器人无标定视觉仿真284机器人无标定视觉伺服实验324.1系统整体结构324.2 机器人控制子系统324.3视觉信息处理子系统354.4机器人无标定视觉伺服控制实验375总结41致 谢43参考文献441绪论1.1引言近年来，机器人技术已成为高技术领域内具有代表性的战略性技术之一，它使得传统的工业生产方式发生根本性的变化，对人类社会的发展产生深远的影响。但随着传感器技术、计算机技术、电子技术以及人工智能技术的发展，人们已不再满足于只能在固定的已知环境中按照程序设定的功能完成重复作业的机器人，纷纷开始研究具有高度灵活性、环境适应能力强的智能型机器人。研究工作者们通过给机器人加上外部传感器件，如力觉、触觉、接近觉、视觉等，来提高机器人的自主感知和决策规划能力，以适应周围变化的环境。而在诸多传感器中，视觉传感器因其信息量大、适用范围广、非接触性等特点已成为最重要的机器人传感器之一。将视觉传感器引入到机器人控制系统，可以增加机器人对周围环境的自适应性，拓宽机器人的应用领域。可以预见，具有视觉的智能机器人将得到越来越广泛的应用【1】。视觉是一种复杂的感官，要从大量的视觉信息数据中提取有用的特征信息，需要实施复杂的算法及耗费大量的运算时间。这使得机器人视觉伺服控制系统的研究涉及高速图像处理技术、机器人运动学、机器人动力学、控制理论、实时计算在内的多个相关领域且多个学科相互交叉和融合，所以实现机器人视觉伺服控制有相当的难度，是机器人领域中具有挑战性的课题。然而，与基于传统传感器的机器人控制相比，它具有比较明显的优点：更高的灵活性，更高的精度，能够对机器人标定误差具有强的鲁棒性等【2】。以上优点决定了机器人视觉伺服在较短的时间里成为机器人研究领域中的热点之一并在工业生产、海洋探测等众多领域得到了成功的应用。而在一些较为危险和复杂的任务领域内，如：太空机器人操作，核设施建设，高电压设备维护，残疾人辅助设备等等，具有视觉功能的机器人将会具有很广阔的应用前景。总之，智能机器人视觉伺服控制的研究，是一个具有重要理论意义和广阔的工业应用前景的基础性研究课题。1.2工业机器人视觉伺服控制系统概述1.2.1工业机器人视觉伺服的发展情况七十年代，Shirai和Inoue提出了用视觉反馈提高机器人定位精度的方法，但由于当时条件所限，其实际为“static look then move”系统。其工作过程分为两部分：首先“look”，确定目标位置，计算出目标的坐标，然后“move”，控制机械臂到达目标位置，完成抓取任务。显然该方法是一种基于图像处理的开环控制，在控制过程中并没有对图像信息进行反馈，其严格意义来讲并不属于我们所说的“视觉伺服”的范畴。早期的“static look then move”模型本身并不具有实际意义，但却为机器人视觉伺服的研究奠定了基础。八十年代末，Hill与Park提出了“视觉伺服”（Visual Servo）的概念，该方法采用视觉反馈闭环控制方案，利用图像特征等视觉信息在线控制机械手位姿，实现控制功能。1994年Hager研究了手眼分离配置下，任意放置的双摄像机组成立体视觉监控机器人抓取物体的手眼协调系统【3】。1995年Yoshimi实现了眼在手上配置的机器人视觉伺服系统插轴入孔的操作【4】。近年来，随着图像处理器件和计算机性能的不断提高，机器人视觉技术也取得了长足的进步，视觉伺服获得了迅猛的发展。目前研究基于图像的运动目标跟踪问题成为主要的发展方向，无标定概念（在未知手眼关系模型的条件下，实现对运动目标的操作）的提出更是为视觉机器人领域提供了广空的发展空间。1.2.2 视觉伺服的分类机器人视觉伺服系统种类繁多，分类方法也很多，通常可以根据物理结构和控制方式来进行分类。a.根据摄像机的安装方式，分为眼固定构型和眼在手上构型。(1)眼固定型：摄像机固定在机器人空间中某个位置，如正上方或斜侧方等，具有固定的图像分辨率，并可同时获得机械臂及其工作环境的全局图像信息，便于将视觉系统集成到控制中。但采用这种安装方式有如下缺点：在机器人运动过程中，会发生图像特征遮盖现象，观察灵活性差，摄像机无法根据作业要求给出环境的细节描述。(2)眼在手上：摄像机固定在机器人终端操作器上，随手爪的运动而运动，不存在图像特征遮盖问题。同时，通过调整手爪位姿，可以让摄像机靠近被观察对象，提高图像分辨率，从而提高测量精度。但是，摄像机的运动容易造成图像模糊，给图像特征的准确提取带来一定的困难。此外，由于摄像机安装在机械臂末端，增加了机械手的负载，摄像机也容易受碰撞。当手爪接近目标时，目标可能会超出摄像机视场。b.根据控制结构是否分层，分为单闭环系统和双闭环系统。(1)单闭环系统（direct visual servoing）(见图1-1)：取消了关节伺服控制器和关节位置反馈回路，其功能由视觉伺服控制器取代。单闭环系统的最大优点就是能直接对机器人的底层运动环节进行控制，因而系统设计的自由度更大，如果规划合理能得到更加优良的控制性能。然而，由于机器人系统和视觉系统固有的非线性特性，视觉伺服控制器的设计成为一大难题。而且为了获得较好的动态相应特性，要求较高的采样速率，这给工程实现带来了一定的困难。摄像机机器人驱动器视觉控制器图像特征提取f*一f图1-1 单闭环视觉伺服系统(2)双闭环系统（look and move）(见图1-2)：其中内环为关节伺服控制，可实现高速率采样，通过关节位置反馈来稳定机器人，从而获得近似线性的机器人对象特征。外环视觉控制器以比较低的采样速率完成关节角设定。双环结构将机器人机械运动奇异性与视觉控制器隔离，把机器人看成理想笛卡尔运动元件，简化了设计过程。由于现存机器人大多预留了接收笛卡尔速度给定或位置增量指令的接口，因此双环结构简单易行，被广泛采用。本文所讨论的机器人系统也采用这种控制方式。摄像机机器人驱动器视觉控制器图像特征提取f*一f机器人关节控制器关节角传感器图1-2 双闭环视觉伺服系统c.根据反馈信号表达方式，分为基于位置和基于图像的控制方式。(1)基于位置的视觉伺服(又称3D视觉伺服)：其反馈信号在三维任务空间中以直角坐标形式定义【5】(如图1-3)。基本原理是通过对图像特征的抽取，并结合已知的目标几何模型及摄像机模型，在三维笛卡尔坐标系中对目标位姿进行估计，然后根据机械手当前位姿与目标位姿之差，进行轨迹规划并计算出控制量，驱动机械手向目标运动，最终实现定位、抓取功能。该方式的控制精度在很大程度依赖于目标位姿的估计精度，但位姿估计与手眼系统参数标定密切相关，因此要保证这一估计过程的准确度是十分困难的。在某些情况下，这种基于位置的控制对标定参数十分敏感。基于位置的视觉伺服的主要特点：1)机器人期望的相对位姿或轨迹都是在三维笛卡儿空间中描述的，这符合机器人学习惯【6】。2)可以直接在笛卡儿空间中控制机器人末端执行器的运动轨迹，例如让它沿着笛卡儿空间中的一条直线移动。3)将位姿估计问题从机器人视觉控制器设计问题中分离出来，首先根据从各种传感器得到的信息计算出目标相对于机器人末端执行器的位姿，然后在此基础上进行机器人控制器的设计。其中位姿估计除了利用视觉传感器以外还可以利用距离传感器、力传感器等多种传感器。这种伺服结构还存在以下不足之处：1)不能在图象空间中进行轨迹控制。这使得位姿估计中所用的图象特征可能超出视场，即不满足图象边界约束条件，进而导致视觉伺服任务失败。2)对系统标定误差敏感。3)由于目标与机器人末端执行器的相对位姿是关于目标和摄像机模型的复杂函数，因此想要确定出解析的系统动态稳定性的鲁棒域比较困难。笛卡尔空间位姿估计机器人对象关节控制器笛卡尔空间控制末端位姿摄像机获得图像特征位姿给定图1-3 基于位置的视觉伺服结构框图(2)基于图像的视觉伺服(又称2D视觉伺服)(见图1-4)：其误差信号直接用图像特征来定义，例如图像平面坐标，而非任务空间坐标的函数，因此无需再进行位姿估计，直接利用图像特征进行视觉信息反馈控制，如图1-4所示。其基本原理是由该误差信号计算出控制量，并将它变换到机器人运动空间中去，从而驱动机械手向目标运动，当图象平面中期望的图象特征和给定的图象特征之间的距离为0(或一个给定的域值)时，机器人视觉伺服任务结束。对于抓取静止目标的任务，该误差仅是机械手图像特征的函数；若是跟踪运动目标，误差同时还是运动目标图像特征的函数。该方法无需估计目标在笛卡尔坐标系中的位姿，减少了计算时延，并且可以克服摄像机标定误差及关节位置传感器误差对定位精度的影响。基于图象的视觉伺服的主要特点是：1)不需要对机器人进行位姿估计。2)系统的动态稳定性对摄象机标定误差具有较强的鲁棒性。许多机器人视觉伺服系统利用了这个优点，例如将之应用于图像平面轨迹跟踪【7】。3)可在图像平面中控制特征点轨迹，使之尽可能沿直线运动。只要初始值和期望的图像特征在摄像机的视野内，机器人在运动过程中图像轨控制在图像平面内。这种伺服结构还存在以下不足之处【8】：1)计算图像雅可比矩阵需要估计目标深度，而深度的估计一直是视觉中的难点；2)整个系统只是局部渐近稳定的。3)跟踪过程中图像雅可比矩阵可能存在奇异值，使系统不稳定。末端位姿图像给定图像空间控制率关节控制器机器人对象获得图像特征摄像机 图1-4 基于图像的视觉伺服结构框图(3)混合视觉伺服(又称2.5D视觉伺服)：在这种方法中反馈信号一部分采用3D笛卡儿空间坐标表示，一部分采用2D图像空间坐标表示。这种混合的视觉伺服方法继承了基于位置和基于图像视觉伺服的优点，既保证了对于标定误差的鲁棒性以及不依赖于笛卡儿空间模型的特点，又避免了直接估计深度信息。通过设计解耦的控制律，可以使系统达到全局稳定。这种伺服结构的主要不足之处是：1)需要在线实时计算图像间的单应性矩阵并对其进行分解，算法复杂、计算量比较大。2)需要进行特征点匹配。3)与基于图象的视觉伺服相比更容易受到噪声的影响。由文献【9】的仿真和实验研究表明，对于Eye-in-Hand构型，在存在图象量化误差及图象噪声的情况下，基于图象比基于位置的控制方式有更好的跟踪性能。文献【10】通过数学分析与仿真研究指出:对于固定安装的摄象机系统，基于位置与基于图象的控制方式具有相同的跟踪结果。目前在基于图像特征的视觉伺服结构方向的研究很多，是视觉伺服研究的主要发展方向。1.2.3图像特征的选取 视觉伺服的性能依赖于控制回路中所用的图像特征。尤其是对于基于图象的视觉伺服结构，图像特征的选择和提取变得更加重要，它将直接决定控制律和最终系统的稳定性和鲁棒性等性能。早期视觉伺服中用到的多是简单的局部几何特征，如点、线、圆圈、矩形、区域面积等以及它们的组合特征。局部特征虽然得到了广泛应用，而且在特征选取恰当的情况下可以实现精确定位，但当特征超出视场时很难做出准确的操作。特别是对于真实世界中的物体，其形状、纹理、遮挡情况、噪声、光照条件等都会影响特征的可见性。所以单独利用局部特征会影响机器人可操作的任务范围。于是全局图像特征开始被应用于视觉控制，常用的全局特征有特征向量、几何矩、傅立叶描述等。全局特征可以避免局部特征超出视场所带来的问题，也不需要在参考特征与观察特征之间进行匹配，适用范围较广，但定位精度比用局部特征低。图像特征的选取往往因系统而异，目的是使整个系统便于分析和设计。特征包括几何特征和非几何特征，机器人视觉伺服中常见的是采用几何特征。如特征点、线段、面积、质心和高阶矩等等。大多数基于图像的视觉伺服系统都采用点特征(如质心点，角点或经过特殊设计的具有明显特征的点等)做为图象特征，也有一部分基于图像的视觉伺服系统中采用线特征(如图像等效椭圆的主、副轴)、面特征(如面积)圆等做为图象特征。值得提出的是，伺服控制用的特征与图像识别用的特征，其选择指标有一定的差别。从图像识别角度看，特征应具有鲁棒性和唯一性；但是从伺服控制的角度看，特征必须对物体姿态的变化具有敏感性，即如果目标的位置和姿态发生变化，图像的特征必须变化。换句话说目标位姿的变化和图像特征的变化要满足一一映射。另一方面特征必须可控，即通过一系列的控制行为能够得到所选择的图像特征。总之，在机器人视觉伺服控制中，图像特征的选择不仅要考虑图像识别问题，还要考虑控制问题，应针对具体的任务、环境、系统的软硬件性能，在时间、复杂性和系统的稳定性之间进行权衡。1.3 无标定视觉伺服系统传统的机器人视觉伺服大都是基于系统标定技术的，包括摄像机内部参数标定、机器人运动学标定、手眼关系标定。其中手眼关系的标定精度对系统最终控制性能的影响尤为明显。由于现有的机器人控制器一般都采用双闭环控制结构，机器人的马达驱动、力矩控制对用户来说是完全透明的，可将其视作理想的笛卡尔运动元件。因此在确定二维图像平面与三维任务空间的映射关系时，主要考虑摄像机内部参数和外部参数（即手眼关系参数）的确定。采用基于标定的方法实现机器人视觉伺服，需要预先对摄像机的内外参数进行标定，然后根据已知模型和标定好的摄像机参数，建立图像空间与机器人操作空间的映射。由于以下原因，这种基于标定的机器人视觉伺服方法受到了很大限制：(1)由于多种因素的影响，即使理论上精度很高的标定算法在实际中也难以得到控制和系统性能所要求的模型；(2)系统的标定结果只有在标定条件成立时才有效。所以，一旦摄像机的位置、焦距等发生稍微变化后，根据原标定参数计算出的结果会有很大误差，必须进行重新标定；(3)由于摄像机镜头畸变等因素的影响，摄像机的标定区域一般限制在一个比较小的区域，如果机器人的工作范围比较大时，难以得到一个满足工作范围内所有位置的参数模型。在这样的情况下，虽然可以采取分区域标定的办法，但这又是以增加系统操作复杂度为代价的；(4)在某些特定环境下是难以对摄像机进行标定的，如在一些危险的或对人体有害的工作环境中。鉴于以上原因，有必要探寻一种新的对环境适应能力更强、鲁棒性更好的视觉伺服方法。无标定方法是人们在研究机器人视觉伺服过程中，为了克服基于标定方法的弊端而提出的。它是指在不预先标定摄像机和机器人参数的情况下，直接通过图像上的系统状态误差来设计控制律，驱动机器人的运动，使系统误差收敛到一个容许的误差域内的机器人视觉伺服方法。对于无标定条件下的机器人视觉伺服方法的研究是从二十世纪九十年代初开始，并已逐渐成为众多学者的研究热点。从本质上讲，无标定机器人视觉伺服是一个具有未建模动态的非线性系统控制问题。根据所使用的描述系统非线性模型以及解决未建模动态的方法的不同，现有无标定视觉伺服的研究方法大致可分为以下三类：基于图像雅可比矩阵的方法，神经网络拟合手眼关系方法和ADRC系统未建模动态补偿方法。基于雅可比矩阵的方法力图用线性关系逼近系统非线性在采样点的瞬时表现，并用这种近似线性化模型建立图像反馈控制。如Yoshimi和P.K.Allen利用试探运动估计当前的图像雅可比矩阵，完成二维平面上插轴入孔的任务11。而神经网络方法则试图利用人工神经网络强大的函数拟合能力，从全局上把握视觉伺服系统的非线性特性，并在此基础上建立图像反馈控制率。神经网络能够比较准确的拟合机器人手眼之间的非线性映射关系，但它的缺点是必须进行大量的样本学习，并不能显示出其相对于传统有标定方法的优越性。此外，无模型理论和ADRC方法也被用于解决无标定的视觉跟踪问题，其基本思路是将视觉伺服系统近似为一个简单的线性模型，而对这种近似所造成的非线性误差在控制过程中加以动态补偿。但这种方法由于未能充分利用模型结构方面的先验知识，且没有自学习能力，跟踪效果并不理想。目前，应用上面所说的这些方法，无标定视觉伺服研究己经在静态的任务目标上取得了很多成果，如机械手的空间定位（Positioning），平面上的插轴入孔（Peg in hole）操作，或是抓取空间具有3D形状的物体等，但在实际的应用环境中，更多的是运动跟踪等动态视觉伺服任务。动态任务环境对手眼系统的视觉处理速度，算法的效率等提出了更高的要求，目前这方面的研究还处于起步阶段。1.4本文的主要工作本文的工作主要集中在研究基于标定技术的机器人视觉伺服，和基于kalman滤波原理的机器人无标定视觉伺服，并通过仿真，表明了该方法的有效性和可行性。构建了MOTOMANSV3XL型六自由度工业机器人无标定视觉伺服实验平台，完成了基于kalman滤波的机器人无标定视觉伺服定位实验，实验结果表明该方法能很好的定位到目标。第二章对基于标定技术的机器人视觉伺服进行了具体介绍。分析了图像雅可比矩阵的定义、特点，摄像机模型，机器人模型以及其在MATLAB环境下基于眼在手和眼固定两种配置的仿真。第三章针对无标定系统的特点以及传统雅可比矩阵在线估计算法的缺点，专门分析了图像雅可比矩阵模型的在线辨识问题。提出用Kalman滤波器解决图像雅可比矩阵的在线辨识问题。本章给出了kalman滤波算法的详细描述，并利用此法仿真了无标定情况下机器人完成二维平面固定目标的定位。第四章介绍了机器人视觉伺服实验系统，给出了整个系统的结构及工作流程，逐一分析了各个子系统的功能以及具体的设计实现，并给出实验结果。第五章对己取得的研究成果进行了简单的总结及分析。2基于标定技术的机器人视觉伺服2.1图像雅可比矩阵模型简介 图像雅可比矩阵是目前在机器人手眼协调研究领域使用最为广泛的一类方法12。这类方法的主要特点就是使用图像雅可比矩阵模型描述机器人手眼映射关系。其定义如下： 式中，为图像特征参数矢量，为机械手在任务空间中坐标参数。即为图像雅可比矩阵。它反映了机器人运动空间与任务所选择的图像特征空间的微分映射关系。由于在绝大多数机器人系统中，控制量输入都是关节运动速度。对于这样的系统，我们可以建立如下的微分映射关系：式中，为自由度机器人关节运动速度向量，与其对应的机器人任务空间速度为。式中被称为机器人雅可比矩阵。通过视觉投影映射变换，可以给出机器人关节运动与相应的图像特征运动之间的关系，即 由此，我们可以建立从图像特征空间到机器人关节运动空间的映射模型如下： 此式中，为整个系统的图像雅可比矩阵。它反映了在当前机器人位置下某一机器人关节运动与其引起的图像特征运动之间的比例关系，从而建立起从关节空间到图像特征空间的直接映射，并可被用来建立各种图像反馈控制器。下面具体说明眼在手和眼固定情况下的图像雅可比矩阵：1、眼在手摄像机观察二维运动的图像雅克比矩阵假定一个6DOF机器人手眼系统，机器人末端执行器相对于摄像机坐标系作旋转运动和平移运动。为固定在此执行器上的一点，为该点在摄像机坐标系中的坐标，为该点在摄像机图像平面上的坐标： (2-1)为摄像机焦距。而根据机器人末端执行器的运动，我们同时可以得到如下关系： (2-2)根据式(2-1)、(2-2)，的微分可以从下式算出则 经过整理，可得图像雅可比矩阵：从上式可以看出，图像雅可比矩阵的值与机器人执行器相对于摄像机坐标系的当前位置及摄像机内部参数有关，并随执行器位置的变化而变化。2、固定摄像机观察二维运动的图像雅可比矩阵假定一个6DOF机器人手眼系统，手爪作二维运动，其在机器人基坐标系中的坐标为, 为手爪在机器人基座标系中的轴高度，保持不变。定义手爪在机器人基坐标系的，坐标为机器人运动空间坐标,同时定义手爪在固定摄像机图像平面的投影位置为系统的图像特征空间。图像雅克比矩阵反映了图像特征空间与机器人运动空间的微分关系，即 使用针孔模型描述摄像头的成像投影关系：图像特征运动:设从机器人基坐标系到固定摄像机坐标系的变换关系如下：式中： ，为相应的旋转和平移关系，对于固定摄像机，它们是常数阵。整理上式可得：由此可以看出，在跟踪过程中，手爪运动引起，的变化，并引起矩阵的改变。2.2摄像机模型线性投影模型(见图2-1)是最常用的摄像机成像模型13：图2-1 小孔成像模型其中，为空间点在图像坐标系上的投影位置的坐标：为在摄像机坐标系下的坐标。为方便起见，将其写成齐次变换形式： (2-3)根据点在像素坐标系坐标与图像坐标系坐标的关系：式(2-3)可以写为 (2-4)其中，是图像中任意一个像素在，轴上的实际物理尺寸，是原点在，坐标系中的坐标。称为投影矩阵；仅与摄像机内部结构有关，称为内参矩阵；完全由摄像机相对于世界坐标系的方位决定，称为外参矩阵。确定某一摄像机的内外参矩阵，称为摄像机定标。至此，我们推导出了摄像机的成像模型(2-4)，它表征了世界坐标系空间中目标点与其在像素坐标系中对应点的映射关系。2.3机器人模型机器人有运动学和动力学14。机器人模型的一个关键问题是机器人的雅可比矩阵。机器人雅克比矩阵通常是指从关节空间向操作空间运动速度的广义传动比，即 式中，为末端执行器在操作空间中的广义运动速度，为关节速度。 根据各变换矩阵可以计算出各连杆到末端执行器的变换矩阵(=0,16)： (2-5) 关节机器人雅可比矩阵的第列元素由决定： (2-6) 由式(2-3)和(2-4)可以构造出机器人雅可比矩阵。在末端执行器的广义运动速度为已知的情况下，各关节运动速度可由下式给出： (2-7)其中，为机器人雅可比矩阵的广义逆。式(2-5)是机器人关节控制器的设计依据，其输入为末端执行器的广义运动速度,输出为各关节的转动控制量（角位移增量）。而末端执行器的广义运动速度由视觉控制器经由对当前视觉特征集与期望视觉特征集间的误差的处理给出。作为视觉控制器的输出控制量送入机器人关节控制器，关节控制器将其转换为各关节的转动控制量，并经驱动器驱动，完成机器人的伺服过程。 2.4 视觉控制器的设计 根据机器人和视觉系统的性能及具体任务的复杂性不同，视觉控制器的设计方法也不同，典型的设计方法有经典PID控制器、状态空间方法和任务函数法。这里我们使用PID控制器。PID控制是最经典的控制器设计方法，被广泛地应用在机器人视觉伺服控制系统中。在该控制系统中误差可以在工作空间、关节空间或图像特征空间表示，而机器人的控制输入为直角空间(也称笛卡尔空间)或机器人关节空间的位置或速度运动(即位置增量)指令，根据视觉反馈得到的误差信号可以建立如下的PID控制律：式中，为机器人的控制输入，、分别为比例、积分和微分的三个系数矩阵，一般取对角阵。对于基于图像的视觉伺服控制系统，误差信号是在图像空间表示的，而机器人的控制输入要求是在笛卡儿空间或关节空间，因此控制器的作用方式有两种，第一种是直接在图像平面设计视觉控制器，然后将得到的控制量乘以图像雅可比矩阵的逆，从而得到笛卡儿空间中的控制量(即相对位姿增量)，或乘以图像雅可比矩阵的逆再乘以机器人雅可比矩阵从而得到关节空间中的控制量(即关节速度)。第二种方式是先将图像平面的误差乘以图像雅可比矩阵的逆变换到笛卡儿空间中的误差，然后在笛卡儿空间中设计视觉控制器，也可以直接变换到关节空间。这里我们采用第二种方式。2.5基于图像雅克比矩阵的机器人标定视觉伺服的仿真基于以上原理，在MATLAB中搭建基于图像反馈视觉伺服系统如下图所示。图中，“fkine”，“jacob”， “ijacob”，“相机模型”以及“图像雅可比矩阵”等模块都是由Matlab Function模块调用相关的“.m”函数然后创建Sub-system（子系统）而形成的。1、眼固定(见图2-2) 图2-2 眼固定模型仿真参数设置如下：目标运动平面为机器人基坐标系的xoy平面，摄像机的内参数为8e-3 20e3 20e3 256 256。图像平面大小为0 511 0 511。设定目标位置为0.1 0.1 0.1；手爪初始位置为=0.3048 -0.9869 0.4483 -0.3513 -1.0595 0.1774，摄像机位置-0.3214 0.3420 0.8830 0.2632-2；0.9397 0 0.3420 -0.7695+.5；0.1170 0.9397 -0.3214 0.7231；0 0 0 1.0000。P控制器的参数为K=0.3。实验最后的得到的误差为E=4.523（pixel）。图2-3中，“+”表示手爪在图像平面上的运动坐标；“”表示要到达的期望的目标坐标。图2-5中，“”表示x方向手爪运动坐标相对于目标点的误差，“-”表示y方向手爪运动坐标相对于目标点的误差。仿真结果如下图所示：图2-3 手爪在图像平面上的运动轨迹(眼固定)图2-4 图像平面定位误差曲线 (眼固定) 图2-5 x，y方向定位误差（眼固定）2、眼在手(见图2-6) 图2-6 眼在手模型仿真参数设置如下：摄像机的内参数为8e-3 80e3 80e3 256 256。图像平面大小为0 511 0 511。设定期望的目标为2 0.5 0.5，即图像坐标为250 250；手爪初始位置为=0.3048 -0.9869 0.4483 -0.3513 -1.0595 0.1774，在世界坐标系下的起始位置为0.5 0 0，即图像坐标为217.7216 261.9538。P控制器的参数为K=0.30。实验最后的得到的误差为E=0.5794（pixel）。仿真结果如下所示：图2-7 手爪在图像平面上的运动轨迹(眼在手)图2-8 图像平面定位误差曲线(眼在手)图2-9 x，y方向定位误差(眼在手)仿真结果分析：由上图可知，在眼固定和眼在手的情况下都可达到满意的定位效果。对于眼固定E=4.523（pixel），而眼在手时E=0.5794（pixel），显然眼在手的定位效果比眼固定好。分析其原因可知眼在手的摄像机的位置随手爪动，可以说手爪的位置决定摄像机的位置，所以通过调整手爪位姿，可以让摄像机靠近被观察对象，提高图像分辨率，从而提高测量精度。而眼在手机器人运动过程中，可能会发生图像特征遮盖现象，观察灵活性差。3基于kalman滤波的机器人无标定视觉伺服3.1引言机器人是一个复杂的多输入多输出的非线性系统，在实际工作中，难免会受到噪声的干扰，导致控制精度下降，因此，为了获取所需信号，排除干扰，就需要对所获取的信号进行滤波。对于确定性信号，可根据频率特性，通过设计各种滤波器，如低通滤波器、高通滤波器、带通滤波器和带阻滤波器等，使有用信号无衰减的通过而干扰信号得到抑制。对随机信号由于其具有确定的功率谱特性，可以根据有用信号和干扰信号的功率设计滤波器，如维纳滤波和卡尔曼滤波。Kalman滤波是kalman(R.E.Kalman)于1960年提出的从与被提取信号有关的观测量中通过算法估计出所需信号的一种滤波算法，是一种最优估计方法。目前，Kalman滤波作为一种重要的最优估计理论被广泛应用于各种领域，如惯性导航、制导系统、移动机器人定位【13】、目标跟踪等。3.2 kalman滤波算法概述Kalman滤波是对随机信号进行估计的算法。假设系统由状态变量模型描述，其中状态变量及输出变量受到外界噪声的污染，当存在这种不希望有的噪