基于机械手的视觉伺服控制及其应用研究(硕士论文)(可编辑).doc

基于机械手的视觉伺服控制及其应用研究(硕士论文) 摘 要摘 要为了使机器人能够工作在动态变化的环境中,代替人类从事各种危险的工作,必须提高机器人的感知能力,提高机器人感知能力的方法是:给机器人配置各种各样的传感器,例如,力传感器、触觉传感器、接近觉传感器、距离传感器和视觉传感器。对于自治机器人来说,视觉传感器起着非常重要的作用,它能够无接触地测量环境的变化,为机器人提供丰富的环境信息,辅助以其它传感器的信息,机器人能够进行决策,并执行相应的操作,完成指定的作业任务。在传统方式中,视觉传感器工作在开环的系统中,对目标物体的岔置劭岔即,姿吞进行测量,机器人根据测得的姿态对目标物体进行操作,其精度完全依赖于视觉系统的精度和机器人本体的精度,当目标物体做未知运动时,机器人的操作就会失败。将视觉传感器加入到机器人控制回路中形成闭环控制,利用视觉信息控制机器人本体例如,车辆、飞行器和潜水器或机械手末端执行器相对于目标物体的位置和方位,就是所谓的视觉伺服控制。视觉伺服以视觉信息引导机器人完成对物体的跟踪、抓取和装配等作业任务,提高了机器人的操作精度和机器人的自治能力。根据视觉信息在控制回路中的作用方式可以将视觉伺服分为基于岔置的视觉伺服、基于母臻的视觉伺服和 视觉伺服:根据摄像机的安装位置,可以将机械手视觉伺服控制分为.?和?.也称为配置下的视觉伺服控制;根据摄像机的数目可以将其分为:单目、双目和多目配置下的视觉伺服控制。本文提出了一种新的基于多摄像机的机械手视觉伺服系统结构,其视觉系统由双目立体视觉和单目.组成,双目立体视觉系统安装在能够进行/运动的云台上,当双目立体视觉系统用于跟踪运动物体时,就构成了类似于双目.?配置的两关节机械手视觉伺服系统;当双目立体视觉系统用于机械手的视觉伺服控制时,构成了双目.配置的机械手视觉伺服系统:当机械手处于目标物体上方对其进行定位、跟踪和抓取等作业任务时,主要依靠单目?视觉系统对机械手进行视觉伺服控制。因此,本文分别对单目?、双目摘 簧.?帮敢嚣,?配置下豹懿缀手撬觉臻骚控剽进霉亍疆究,通过对上述几种视觉伺服方法的组合成用,提高机器人在未知环境中的自治缝力。本文首先给出了单目。?配置和双目立体配置下的视觉伺服控裁模块瓣基本源瑾。烹要内密惫括:基于肇鏊?配置豹霪像雅可比矩阵的推导、多特征点情况下图像雅可比矩阵的组台、基于任务丞数茨撬壤手控测算法,鞋及蘩予双羹立落獠燮翳撬藏手援嚣援黢控剩,并分别给出了基于.和.?配置下的仿崴实验,接蓑绘窭了蕤于多摄像凝聚统款疑觉饲黢控裁煞基本系绞维褥,稳建了硬件实验平台。,最嚣绘逛了艇摭手我囊键毅控豢黪蘸个嶷蠲实例,一个是基予立薅援觉的机械手未知平面内曲线跟踪,另一个是基于视觉和力觉信息混合控制。本文的创新之处和厢献主凝有以一几点:凌当兹姿态和嚣标姿态之阕存在旋转分量鲍凑况下,单肇遮袄靠图像空间的位置误差进行视觉伺服控制常常不能使机械手收敛到目标位饕,铮霹这闫返,本文提出了一穆麓单的传诗旋转误差黪方法,将估计结果叠加在常用的控制方法上,例如,本文所使用的基于任务函数的方法上,实现了对荣窍旋转分量款物体数定位,遴过债奏实验,验证了该方法的有效性。邋过仿嶷实验发现,当起始位器和鼙椽位置窍在深度上鲍蓑别时,仅仅依靠视觉伺服控制不能使萁收敛到目标位置,必须通过深度估计技术对该深度误差进行偿,在消除深度影响鲍愤况下,才能依靠视觉饲服实现对物体的定位。提出了穗裁的基于多摄像机的视觉伺服控制系统的结梅,该系统由一套主动双日立体视觉系统和单酾?摄像机组成,其中双联立体视觉系统安装在跳够做/运动的云台上,丰富了现有的襁燮饲服系统结构。针对实际应用中的非接触型幸留业任务的特点,提出了基于双耳立体视觉的未知平面内齑线跟踪的方法,在假设立体税觉精度能够满足要求的情况下,通过估计未知平西的法线方向和她线的起始点,确定了机械手摘 要末端执行器的姿态,通过仿真实验验证了所提方法的有效性。在实际的接触型作业任务中,需要在控制位置的同时,控制末端执行器与环境之间的接触力,针对这一问题,本文提出了一种基于视觉/力觉的混合控制算法,采用双目?配置下的视觉伺服控制技术确定机械手在和方向上的运动,采用平面约束和力控制的方法确定机械手在方向上的运动,通过仿真实验,验证了所提方法的有效性。关键词:机器人视觉 视觉伺服 视觉/力觉混合控制 多摄像机视觉伺服 立体视觉 手眼协调., , ,. ,.,.,? . ., ?, ., , .,. ?,., ?。?., ?, .,?.,? / ,., ?., , .,?, ?.,., ?, ? ? .? , , ,?.,. ,. ,./ . :,., ., . , ?.,/ ., . . , ? . . , .,. ? ? ? , ? , .:,/ ,? , ,?第章绪论第章 绪 论.课题目的和意义在现阶段工业生产过程中,大量的工业机器人工作在参数己知的结构化环境里,依靠精确的位置设定进行抓取和放置工件等工作,提高了生产效率和产品的质量,一定程度上满足了工业生产和人们生活的需要。与此同时,我们也应该看到,它们也存在着较大的局限性,因为大多数机器人要求工件以精确的方位出现在固定的位置上,如果这一要求不能满足时,往往导致生产过程的失败或中断。也就是说,这些机器人不具备感知外界环境变化的能力。而在实际的工业生产中,企业为了满足市场的需求,经常需要根据市场的形势组织生产,有时会改变产品的结构、尺寸和工艺流程,此时,必须对生产线上的机器人进行重新编程和校准,以适应新的作业任务。例如,电孑元件插装机器人系统,当印刷电路板结构尺寸发生变化时,元件插放或贴装的位置也就发生了改变,这时就需要对机器人的程序进行更改,这一切均由机器人专家来完成,无论是培养自己的员工还是从外面聘请机器人专家,均导致生产成本的增加,另外,在重新编程的过程中,也导致了生产线的停滞和生产效率下降,也将造成一定的经济损失。另外,随着人们生活水平的提高和审美观念的改变,过去大批量生产方式己逐渐落伍,取而代之的是多样式小批量的生产方式,如果继续采用传统的机器人生产线必然会限制企业的生产效率,导致生产成本的提高,从而影响企业在市场上的竞争力,那么,能否研究和开发具有一定智能水平的、能够感知外界环境变化的智能型工业机器人呢这是摆在机器人学研究人员面前的一个难题。在浩瀚的宇宙和深邃的海洋中,蕴藏着丰富的资源和宝藏,同时也存在着重重的、不可预知的危险,这些地方是人类现阶段不宜到达的空间,如何探测这些充满神秘而又具有相当吸引力的领域呢人们自然而然地想到了机器人,让它们代替人们去探索这些未知领域,为人们提供宝贵的、第章绪论第一手的资料。受距离和通信手段的限制,利用现阶段的遥操作技术控制探险机器人进行操作,其效率非常低。研究和开发具有一定程度自治能力的智能型探险机器人是解决这一问题的有效途径。现阶段的自治水下机器人多以观测型为主,对水下环境进行观测,还不能进行自主的操作。因此,研究和开发对环境变化具有一定感知能力和自治能力的智能操作型机器人具有重要的实用价值人类从外界环境所获取的感知信息有%以上来自于视觉感知,使得人类能够认识世界和改造世界,在视觉的引导下完成各种各样的复杂任务。人类也幻想能够赋予机器以视觉,希望机器能够象人类那样感知和适应周围环境的变化,代替人们完成各种充满危险的、条件恶劣的工作,甚至是在人类不宜到达的环境中从事一定的作业任务,例如,排除爆炸物、清理具有放射性的核废料、宇宙探险、科学探险和深海考察等任务。视觉传感器能够模拟人的视觉系统而赋予机器人无接触地感知周围环境的能力,使得带有视觉的智能机器人能够工作在非结构化的环境中,扩大机器人的应用领域。研究和开发具有视觉的智能机器人是机器人技术研究和发展的一个重要方向,主要包括:开发实用的视觉系统、算法和基于视觉感知的智能控制方法,这些研究有助于人类认识自身的视觉系统和智能控制系统。因此可以说,研究具有视觉的智能机器人系统有着重要的理论价值。矿雾祝祝歙也可以称之为“扔器扭货”的主要任务是:通过对数字图像的计算获得周围世界的几何模型例如,物体的形状、大小和位置等和运动特性例如,运动速度。将计算机视觉和机器人学有机地结合起来就形成了所谓的扔;以物货,广泛地应用于产品质量检验与挑选,移动机器人视觉导航,机器人视觉伺服控制等领域。本文主要研究机械手视觉伺服控制系统及其应用。通过对现阶段的机械手视觉伺服控制系统的研究和对比,本文提出了一种基于双目立体视觉和?相结合的多摄像机视觉伺服控制结构,期望该机器人系统能够在未知的环境下对目标物体进行跟踪和操作,同时,希望该系统能够在具有视觉和力觉反馈的情况下完成相应作业任务。例如,在轨迹跟踪和第章绪论轮廓跟踪的同时,保持接触力恒定,以模拟实际工业生产过程中打磨、抛光等加工工艺过程。本文的主要研究工作主要涉及:摄像机一机械手配置,视觉伺服控制算法的分析与设计、基于双目立体视觉的目标估计,轨迹跟踪,机械手力/视觉混合控制等多个研究领域。本课题是国家计划支持的“操作型水下机器人多传感器手爪感知系统”的一个延伸,主要完成基于视觉伺服和力信息的典型操作,可为水下和空间机器人基于视觉的控制提供一定的理论和应用基础,对本系统加以改造后,可应用于工业机器人和微操作机器人的视觉伺服控制,提高操作精度和降低劳动强度。.视觉伺服控制综述人们对具有视觉功能的机器人研究可以追溯到年,设计开发了一台以电视摄像机作为输入机构的计算机装置,能够实时地识别物体,并且能够判断其位置。年,在斯坦福大学研制成功了一台带有摄像机和机械臂计算机,该系统能够玩游戏和解难题,能够将四个带有不同颜色面的立方体堆放在一起,要求每个侧面不能为同一种颜色。在,一台类似的系统能够通过观察而重建积木结构。在日本,研究开发出一个机器人手眼系统,该系统能够按照装配图组装块状结构?。最初的带有视觉的机器人系统多采用开环的控制策略,在这种控制方式下,视觉传感器获取目标物体的图像,经过特征提取和匹配,计算出目标物体相对于摄像机或者机器人坐标系的位姿,。利用该位姿信息,机器人运动到理想的位置,然后在无视觉的状态下,完成相应的作业任务。为了能够利用视觉信息估计目标物体的姿态,该物体的几何模型和摄像机的模型必须已知;为了能够准确无误地运动到理想位置,机械手的运动学正解和反解也必须事先已知。年,学者和最先将视觉信息引入控制回路,通过视觉反馈控制提高了机器人定位的精度,通过视觉反馈成功地将一个方块放入盒子里“。年,学者和首次使用了”视觉伺服” 这一术语口】。在”视觉伺服”这一术语被引入之前,多采用视觉反馈第章绪论来表示类似的研究方法。什么是视觉伺服控制呢视觉伺服是利用视觉信息控制机械手末端,或执行器与目标物体之间的相对位姿:者是利用一组从图像中提取的特征来控制机械手末端执行器与该组特征之间的相对位姿。根据利用图像信息的不同,可以将视觉伺服分为基于位置的视觉伺服、基于图像的视觉伺服【和.视觉伺服。如果将视觉伺服控制应用到移动机器人,例如自治车辆、自治飞行器和自治潜水器,那么就是利用视觉信息或者一组从图像中提出的特征信息来控制机器人与目标物体之间的相对位姿。因此,可以认为视觉伺服控制是一门多学科交叉的研究领域,它涉及许多学科,主要包括:数字图像处理、数字信号处理、实时系统、控制理论、运动学、动力学、计算机视觉和机器人学等。到了年代末、年代初,关于视觉伺服的论文数量明显增加,这得益于个人计算机处理能力的提高以及摄像机技术的发展。因为在个人计算机性能提高之前,研究视觉伺服需要专用的、价格昂贵的采用流水线技术的像素处理设备,因此,当个人计算机性能大幅度提高以后,越来越多的学者加入到视觉伺服控制研究领域,大大地提高了视觉伺服控制研究方面的论文数量。针对视觉伺服的应用,各国学者也提出了很多的应用原型,例如:从传送带上抓取零件、零件装配、机器人遥操作、.导弹跟踪图像系统、水果采摘、汽车无人驾驶和飞机降落【】。.摄像机配置机械手视觉伺服控制的任务是利用视觉信息或者从图像中抽取特征点信息控制末端执行器的位姿量。在三维空间中,位姿是一个包括位置和方位的六维矢量。在视觉伺服控制中,摄像机的配置方法通常有两种:固定在周围的环境中,称之为.?或者 ;安装在末端执行器上,称之为?。摄像机和物体之间的距离定义为深度。在.的摄像机配置情况下,摄像机坐标系与机械手基座坐标系之间存在一个固定的齐次变换关系耳,目标物体和末端执行器第章绪论与摄像机之间的齐次变换关系分别为。和。上。在此种摄像机配置情况下,目标物体在摄像机上的成像与机械手的运动无关。如果将摄像机安装在移动机器人、另一台机械手或者能够作/运动的云台上,则大大增强视觉控制的灵活性,并且能够在一定程度上避免机械手对目标物体的遮挡问题。在?的摄像机配置情况下,摄像机坐标系和末端执行器坐标系之间存在一个固定的齐次变换关系。正,表明了摄像机和末端执行器之间的相对位姿。而目标物体与摄像机之间相对位姿用。表示。摄像机、目标物体和机械手之间的坐标变换关系如图?所示。在?的配置情况下,能够避免机械手遮挡摄像机的视线。图卜 在?配置下,各坐标系之间的关系图卜 在?配置下,各坐标系之间的关系第章绪论本文提出的基于多摄像机的视觉伺服控制系统中,采用的就是将双目立体摄像机安装在能够作/运动的云台上,另外将单目摄像机安装在机械手的末端执行器上,构成?.配置,使得两个视觉系统之间能够实现优势互补,提高机械手伺服系统的整体性能。从图一和图?中可以看出,为了进行视觉伺服控制,必须知道摄像机的外部参数,即摄像机坐标系与机械手基座坐标系之间的齐次变换关系,以及摄像机的成像几何模型,即摄像机的内部参数,主要包括:焦距长度,主点在像平面上的坐标,像素尺度因子。可以通过观测尺寸已知的标定模板的方法对这些参数进行计算,这一过程称为摄像机标定。视觉系统通过摄像机透镜将三维立体空间的物体投影到二维像平面上,丢失了深度信息,二维像平面上一点对应三维空间的一条射线。为了通过二维像平面上一点来确定物体在三维空间中的关系,必须有附加的信息,主要包括:多个视图、目标物体上多个特征点之间的几何关系。对于多个视图,可以通过多摄像机的方法来获得,常用的是双目立体视觉,也可以通过单目摄像机在不同进行拍摄来获得,该方法又称之为主动单目立体视觉 。在双目立体视觉中,采用两个摄像机测量物体的深度信息即物体和摄像机之间的距离,主要是利用左右两个摄像机之间的视差信息对深度信息进行估计,该方法的主要难度在于图像特征点之间的对应关系的确定,使得计算量很大,同时得到的深度信息误差较大。在主动单目立体视觉中,采用一个摄像机对同一个场景进行多位置拍摄,依靠多幅图像之间的对应关系对深度信息进行估计,当两个摄像机距离基线距离较小时,图像之间的对应关系很容易确定,但是计算结果的误差较大。为了获得较高精度的深度信息,必须对摄像机进行多次移动以获得较大的基线距离。另外,该方法只能用于场景保持静止不变的情况,因此,该方法不能用于运动物体的跟踪。然而,无论采用哪种方法,所得到的计算结果都存在较大的误差,主要原因在于摄像机的量化误差和测量误差不可避免。量化误差是模拟信号向数字信号转换过程中产生的,测量误差是由摄像机镜头畸变和扫描采样时序等造成的。对于模型已知的目标物体来说,其特征点之间的几何关系获取相对比第章绪论较简单,可以从物体的模型中获得。.,视觉伺服分类 .典型的视觉伺服控制任务通常有:定位问题,即通过视觉信息控制机械手末端执行器对准目标物体,也就是控制机械手末端执行器运动到理想位姿。跟踪问题,即保持机械手末端执行器和运动目标之间的相对位姿恒定。在这两种任务情况下,视觉传感器用来测量机械手末端执行器当前位姿和理想位姿之间的误差,该误差可以是以像平面空间坐标的形式表示,也可以通过摄像机和物体的几何模型回算到坐标空间,以坐标的形式来表示,根据视觉信息应用方式的不同,可以将视觉伺服控制分为、和.视觉伺服控制。其中,视觉伺服就是所谓的基于图像的视觉伺服,而视觉伺服就是基于位置的视觉伺服,.视觉伺服是上述两种视觉伺服控制的结合,误差分别由图像空间和空间的误差所组成。和提出了一个关于视觉伺服的分类方法,即基于位置的:?和基于图像:?的伺服控制,它们分别包含了差于动态的系统和茸嫠扭货何腰,孬纠”。在基于位置的伺服控制中,从图像中抽取特征点在二维像平面上的坐标信息,并与物体和摄像机的几何模型相结合,估计出物体与摄像机之间的位置关系,估计值与理想位置之间存在定的误差,用该误差去计算机器人系统的控制信号,实现在任务空间内的机械手伺服控制。而在基于图像的视觉伺服控制系统中,伺服控制直接根据目标物体特征点在像平面上的当前位置和理想位置之间的误差而在图像空间内进行的。动态膨 控制结构中利用了关节角的实时反馈,而直接物劈橱殷膨和则没有利用关节反馈信息。因为大多数报道的视觉伺服系统是基于动态 系统结构的,而且没有与直接视觉伺服系统之间加以区分,皆称之为视觉伺服系统,在文献【】中,采用了直接视觉伺服系统以示与基于动态 系统之间的区别。各种控制系统的结构如图.所示【。第章绪论图?动态基于位置的的系统框架图?动态基于图像的的系统框架图基于位置的视觉伺服的系统框架图基于图像的视觉伺服的系统框架第章绪论.视觉伺服控制的研究内容图?机械手视觉伺服控制框架从图?至图可以看出,前面所提到的几种视觉伺服系统都包含在如图.所示的框架下。一个机械手系统工作在环境下,视觉传感器用于采集环境信息,该信息被用于估计机械手的状态,估计值与理想值之间的误差被用于产生控制信号,在任务空间中,机械手在控制信号下产生相应的运动。根据对视觉伺服控制系统的整体分析,可以看出主要的研究集中在以下几个方面:视觉一运动模型的估计;指出了视觉运动学控制和视觉动力学控制之间的不同,前者解决的是在视觉感知信息的作用下,机械手该怎样运动的问题,而后者考虑的是在机械手作这样的运动时,动力学参数对机械手运动控制的作用和影响。状态估计:主要研究与视觉测量有关的问题,涉及到摄像机配置及其个数,以及所采用的图像处理技术等诸多因素。视觉测量主要针对视觉信息的提取,例如,光流、物体的位置和方位、还有特征信息,例如,点,线和矩等。摄像机一机械手配置主要有以下几种:?.和?,以及这两种形式的结合。测量主要在像平面空间完成,所得的结果与摄像机模型和物体几何模型一起可以解算出末端执行器在第章绪论任务空间的状态。、控制信号的生成:控制系统集成与第一个问题“视觉一运动模型”有关,模型的精度直接影响这系统的收敛速度和稳态误差。.视觉一运动模型的估计在机械手视觉伺服控制系统中,如果机械手的运动学正解和反解均己知,摄像机模型已知,关节空间和任务空间的微分运动可以用机械手雅可比矩阵来估计,对于这样的视觉伺服系统来说,其视觉一运动模型是事先已知的,根据反馈信号的表达方式不同,可以将系统分为以下几类:基于位置的、基于图像的和.视觉伺服系统。最初的机械手视觉伺服系统需要进行严格的摄像机标定,而且多采用基于位置的视觉伺服控制。由于摄像机标定过程非常烦琐,而且很容易产生误差,因此,研究无标定或弱标定的视觉伺服控制方法具有相当大的吸引力,称为视觉伺服研究的一个热门领域。另外,由于基于图像的视觉伺服控制不需要根据摄像机模型将视觉信息转换成位置信息,因此,无标定或弱标定视觉伺服控制多优先选择基于图像的系统结构。然而,也存在下面一种情况:视觉一运动模型是呆匆的,可以通过在线或离线的方法对模型进行估计。有两种方法对视觉一运动模型进行估计:解析法,例如非线性最小二乘法;通过学习的方法,即训练。视觉一运动模型的研究内容如图.所示。图卜视觉一运动模型研究第章绪论在许多情况下,模型的参数是部分已知的,例如,在已知机械手运动学模型的情况下对图像雅可比矩阵进行估计,有时,需要对图像和机械手雅可比矩阵的组合整体进行估计。如图?所示。复合?雅可比矩阵机械手雅可比矩阵 图像雅可比矩阵图 图像雅可比矩阵与复合雅可匕矩阵的估计.视觉一运动模型已知如上所述,根据反馈信号表示方式的不同,将视觉伺服控制分为:基于位置的视觉伺服;基于图像的视觉伺服;.视觉伺服。在视觉一运动模型已知的情况下,在此对上述三种视觉伺服方法分别进行讨论。基于岔置的孝赠何胺控励又称之为视觉伺服,主要是因为视觉测量的结果用于估计目标物体相对于摄像机坐标系或世界坐标系的位姿。当前位姿和理想位姿之间的误差是定义在机械手任务空间的,记作。下面给出摄像机一机械手配置的两种情况:?,如图.所示。在这种情况下,摄像机安装在机械手末端执行器上,观测静止物体或运动物体,物体的已知几何模型被用于估计物体的位姿。通过视觉信息控制机械手末端执行器的运动,即摄像机的运动,使其到达理想的位姿。矗,如图.所示。在这种情况?,也可称之为下,可以认为是机械手拿着目标物体在运动。因为采用固定的摄像机来估计物体的位姿,并以此与理想的位姿作比较,产生控制机械手运动的控制命令,所以必须知道机械手一摄像机之间的坐标变换关系。从上面两种情况可以看出,基于位置的视觉伺服控制存在以下问题:在估计目标物体位姿时,需要知道目标物体的几何模型;为了得到机械手的控制输入信号,必须对摄像机、机械手以及机械手一摄像机进行标第章绪论定,而标定工作相当烦琐,且易产生误差。该方法对摄像机标定精度很敏感,小的参数波动会导致伺服性能的下降。夕、坦/图卜 ?配置下基于位置的视觉伺服臂、聂、扭“斟? ?配置下基于位置的视觉伺服基于位置的视觉伺服控制方法的优点在于:其直接控制机械手在任务空间中的轨迹,便于机械手运动在任务空间中进行规划。等采用双目?摄像机配置实现了对平面内运动物体的跟踪和拦截¨。等利用?.配置实现了基于位置的视觉伺服控制【】。第章绪论,宣蒡于留缉矽甚功蜇橱胺控励需要计算图像雅可比矩阵该矩阵又叫作“相互作用矩阵” 【”。图像雅可比矩阵描述了图像空间和和任务空间之间的微分运动关系。通过视觉测量可以得到特征点在像平面上的微分运动,利用图像雅可比矩阵,可以获得机械手在任务空间中的微分运动,结合机械手雅可比矩阵,可以求出关节空间中的微分运动。对于基于图像的视觉伺服来说,可以通过“”的方式获得像平面上理想特征点坐标,即,将机械手移动到理想的位置,由摄像机拍摄目标物体的图像,通过一系列图像处理技术即可得到特征点的理想坐标。然后,将机械手移动到一个任意的起始位置,视觉伺服控制将控制机械手回到理想的位置。对于图像雅可比矩阵的估计需要摄像机的内、外参数。当采用一个摄像机来完成视觉伺服控制时,由于不知道摄像机和目标物体之间的距离,即深度信息,许多系统常常采用理想位姿时的深度代替变化的深度信息,从而用固定不变的图像雅可比矩阵代替时变的图像雅可比矩阵。该方法的缺点是只能收敛到理想特征点的附近,而不能收敛郅理想特征点。可以通过自适应深度估计”、物体的几何模型以及从运动恢复结构等方法解决该问题。然而,如果采用变化的深度信息进行视觉伺服控制的话,有可能导致局部极小值、奇异点和系统不稳定【¨】。如果采用固定的摄像机系统,而且摄像机内部参数、摄像机一机械手之间的齐次变换关系已知的话,那么可以采用机械手运动学正解和摄像机参数得到图像雅可比矩阵。本文采用双目立体视觉对摄像机一物体之间的深度信息进行估计,并以此实时计算图像雅可比矩阵。采用?.双目立体视觉系统能够同时观测机械手末端执行器和目标物体,如果摄像机的外极线几何己知的话,可以将单个摄像机的图像雅可比矩阵相连而生成图像雅可比矩阵。一般地,最少需要三个特征点来控制空间中物体的位姿,然而,存在两种奇异配置【】:三个特征点共线;个特征点位于同一个柱面上而摄像机的光轴刚好与圆柱的轴线重合。和证明了第章绪论当四个特征点中任意三个不共线时,图像雅可比矩阵是满秩的】。嫠予图像魏程凳餐骚蔽割对掇豫规纛飘摄手熬标定误差县蠢鲁磅热,粗标定会影响其收敛的速度,需要较长的时间才能收敛剿理想位姿【。掰劈簿殷童字影枣等在年提嶷,渡方法分予基于蕊嚣的视觉伺服和基于图像的视觉伺服之间,具有两者的优点,同时,又避免了嚣喾兹缺点。与蘩手篷繁懿视爨爨疆掴魄,它不嚣要强标兹锩戆足何横型;与溅于图像的视觉伺服相比,它能够保证在整个工作空间内收敛。该方法建立在瓣摄稼鼓当兹援罄嚣毽怒规嚣之阕豹疆像瓠饿蓼惫含旋转和平移进行估计的熬础之上。在每次迭代运算中,两个视图的旋转聱分被嵇诗出来,这群藏可戳分爨考虑旋转分鬟秘平移分量。采曩扩鼹的图像坐标,使得袋示机械手运动与扩展的图像碰标系之间的微分运动映袈弱耀互终鬻矩阵不存在奄舅蠢。这僳涯了在摄缘捉痰部参数已麓豹翡猿下,定位任务在整个任务窀间内收敛。对于摄像机内部参数未知的情况,绘密了局部澎近稳定豹充分必要条馋。.视觉一运动模型估计前面小节介绍了系统模型标定参数已知的视觉伺服控制的发展情况,由予拣定过程菲索烦琰,甚至在墓些主提下,振定是不珂憨进行载,嚣越,一些学者致力于研究机械手运动参数和摄像机参数完全未知成部分米知蟪蒎下极城等数援鳖爨瑕控制翊爨。棂豢解决淘遴豹方法蟊手羧翡不瓣可以分为:在任务执行过程中,通过在线解析的方法,对复合雅可比矩阵或露缘骓可魄矩黪送行继诗;袭经务执簿之藏,通过鬻线学习襄谢练豹方式,对系统的模激进行估计。筹拉援窭了一秘逶用予系统络搀宠全来翘蟪提下豹控割繁旗,对复合的机械手一图像雅埘比矩阵进行估计,该方法不受摄像机数目、摄缘掇一枧械手配置媾况亵系统羹秘复杂爨发豹影螭。该工终豹主要嚣瓠是保诞特征点渐近收敛到理想的特征点,而不考虑所估计的雅可比矩阵魑否毂敛鬟囊畿。等在曩续靛王终中,埯锐觉反馈释力甏及镶融合在起,形成混合控制策略,完成对未知表面的跟踪,在此项研究中,机械手运动参数稷定邑翔,辩銎黎穰爵晓矮阵逮行在线鑫诗。第章绪论等】将机械手视觉伺服控制问题描述为非线性最小二乘法问题,采用拟牛顿方法中的方法对雅可比矩阵进行估计,并对、和自由度的机械手进行了实际实验,不过,该工作主要是控制机械手去操纵一个静态的物体。等,采用类似的方法并将其应用到运动物体的跟踪上,采用自由度的机械手进行了实际实验。上述方法是在机械手向着目标姿态运动的过程中完成对雅可比矩阵的估计,由于数据的更新是沿着目标方向的,所以估计得出的雅可比矩阵可能只工作在任务工作空间的一部分区域。上述方法是针对点状特征的,一般不适用于线状特征的机械手视觉伺服。提出了一种基于神经网络的学习控制算法,用于学习传感器输出和控制量之间的映射关系,采用模型进行学习,在机械手运动学参数、物体速度、以及物体一机械手之间的相对位姿未知的情况下,采用基于视觉的机器人控制系统作为实验平台,对其有效性进行了验证。所报道的一些基于学习的方法在处理上大致类似,虽然在训练之后,能够较为准确地完成对目标物体的操作,但是,对于操纵其它的类型的物体,以及全部个自由度的控制操作,还需要继续努力。.视觉测量在视觉伺服控制系统中,需要相应的图像处理技术进行目标物体测量,主要途径包括:直接在图像平面上进行测量,利用光流检测和图像差分等技术;利用摄像机参数和其它先验知识例如物体的几何模型对物体的姿态进行计算,所采用的技术主要取决于摄像机数目、机械手一摄像机配置情况、标定的精确程度和场景先验知识的多寡等因素。在视觉伺服系统中,将直接在图像平面进行测量的方法应用到跟踪中形成了以下几种方法:基于窗口的跟踪、基于特征的跟踪和主动轮廓等。基于窗口的跟踪通常应用于跟踪不随时间变化的模式,该方法计算速度快,也不需要专门的硬件设备,可以根据图像的内容,灵活地进行重新调整跟踪目标。基于特征的跟踪,特征主要包括:点、线和圆,虽然该方法易于推广和实现,但是随着参数空间维数的增长,相应的时间和存储空间第章绪论成指数增长。主动轮廓【】通常用于跟踪移动的刚体或准刚体,也可以应用于跟踪任意形状的物体。一些视觉伺服系统采用了主动轮廓技术【如。.单目视觉系统在单目视觉伺服控制系统中,单个摄像机与机械手可以组成以下两种机械手一摄像机配置:? ?。通常需要目标物体的几何模型来估计目标物体和摄像机之间的距离,即深度。当采用?配置时,物体的几何模型被用来估计目标物体的姿态,一般,也多采用基于位置的视觉伺服控制方法:而在?配置下,多采用基于特征的跟踪或者基于窗口的跟踪技术。采用单目视觉系统能够减少视觉信息处理的时间,因为只有一幅图像需要处理。但是,由摄像机成像几何关系可知,单目视觉系统会失去物体的深度信息,针对这个问题有两个解决方法:主动单目视觉,该方法只适用于静止的目标物体;利用物体的几何模型。在单目?情况下,摄像机安装在末端执行器上或者被夹持器抓着,摄像机和末端执行器之间存在一个固定的齐次坐标变换关系,可以通过标定的方法得到这一关系。典型的任务是控制摄像机运动使得图像特征点到达预定的图像位置,可以通过采用特殊的特征点来简化视觉系统。文献【和【采用光流技术用于跟踪,并提出了一系列的优化技术以加速相关处理,该系统应用于静止和运动目标的跟踪,图像特征自动选取,另外,能够估计摄像机与目标物体之间的距离,该距离信息将被用于计算图像雅可比矩阵。文献【和【采用外极线几何方法得到机械手当前位置和目标位置之间的姿态参数,针对摄像机弱透视投影模型和透视投影模型提出了两种算法。因为不需要环境的模型,所以该方法具有相当的吸引力,但是,对所提方法的的稳定性和收敛性没有给予讨论。文献【】采用主动轮廓方法估计当前图像和目标图像之间的仿射变换参数,并以此估计运动视差矩阵,该矩阵描述了图像中的微分不变量和用于定位的自由度机器人之间的关系。第章绪论文献采用基于模型的跟踪方法,估计出目标物体的姿态,同时采用基于黔信息融台方法,控制飙城手完成打开房门的操傅。在单目摄像机与机械手构成.配霞的情况下,该摄像极佟为一个全局的转感器,能够闽时观测到物体鄹规城手寒端执行嚣,早期的视觉伺服控制多采用的是这种摄像机配置。典型的任务是估计物体相对予摄像机或规城手豹缀姿,在该整姿翡基础上,由飙城手宠藏对物体豹抓取和放鬣。在这种情况下,需疆对摄像机参数、以及摄像机机械手之阀驰坐标变换关系进行据定。与单嗣?的配置相比,.配置巢有更大的视场,经常皮爰子甥搭豹彝蠹攫强摄取。等】采臻羚止躲摄像投残溅运动静平颟上的目标物体,通过颜色分割的方法检测该运动物体,井由安装在末弱捷括器上款熬子去籀提该甥薅。等】慰.?和。.分别谶行了研究,从每一帧阕像中抽取角点、圆和线段终点的经嚣,融合这三秘信息寒控裁毫氇缓手朝瓣于汽零犍涵爨垫圈操持洹定戆姿态。帮】慕强主凌轮露技零嚣辩鞭踩捉器天手聚熬手撵帮一条螺钉,通过视觉伺服控制将两者对准,最后由机械手将螺钉拧下。等袋思猿交熬、霹穆费戆缀豫辍辫次遮撼阕题,提裹系绕熬稳定性,诚摄像机安装柱一台机械手上,由其控制另一台机械手完成对物抟熬操终。等剽溪该系绞鼹黥霹估计爹毛缀手寒璇执行器豹姿态,著提出了对机械手邀动链谶行在线自适应标定方法。.戏目视觉系统翻用嚣令摄像援组成双嚣立体视觉系统能够恢复场景兹痿息,透过计算两个像平馘上特糕点的视差可以估计出深度信息。获樗视差信息的摄本闫题在于图像特征感在两谣图像中憋互翊蒺配,遴零采用的特援点匹配方法有以下两种:基于区域相关的方法;基于特征的方法,例如角点黟逮缘键。与肇基援甓箱比,采爰双轻立钵援爨将趱趣一臻豹诗冀量,但是由于蕻能够程不需骚物体模型的情况下对深度信息进行估计,所阻,还建有稷当多静撬棱手提觉强照控割系统采弱双基稷觉静摄像掇醚藿形第章绪论式。根据摄像机与机械手之间的关系,可以将其归纳为双目.配置和双目.配置,下面对其进行简单的介绍。双目.配置尽管此种摄像机配置能够估计深度信息,但是由于其基线较短,故深度估计的精度有限,在机械手视觉伺服控制中较少采用。文献【】采用双目?.配置重构物体的线框图。机械手沿着一定的姿态序列运动,而安装在机械手上的双目立体视觉系统在此过程中拍摄成对的图像序列,根据三角测量算法估计出特征点在空间的位置,采用曲线生长算法,估计出物体的线框、尺寸和位置。该系统没有采用视觉伺服控制,但是却是率先采用这种摄像机配置的系统之一。如图?所示。图? 双日?配置文献采用基于图像的视觉伺服控制和双目.?配置完成了对平面物体的跟踪。文献描述了一个基于图像视觉伺服控制的多摄像机系统,有三个摄像机安装在锅炉盖子的周围,并由机械手抓持着,其目的在于通过图像观测锅炉口的边缘,并用于机械手的伺服控制,当在实际实验中,由两个摄像机完成,而不是三个摄像机。第章绪论双目?.配置此种摄像机一机械手配置在视觉伺服控制研究中较为常见。与双目.配置相比,采用双目.配置可以通过增大基线的长度来提高测量精度;另外,还可以有更大的视场,可以同时观测目标物体和末端执行器。文献将此种配置应用到乒乓球机器人上,利用乒乓球轨迹的动态模型和颜色分割,抽取乒乓球的特征,采用基于位置的控制方法对机械手进行控制,视觉系统经过严格的标定。等偈】构建了一个基于双目?.配置视觉伺服控制系统,该系统采用基于位置的视觉伺服方法,能够跟踪和抓取运动中的火车模型。,】描述了一个双目机械手视觉伺服控制系统,该系统能够工作在摄像机与机器人之间的坐标变换关系不进行精确标定的情形下,采用的是基于图像的视觉伺服控制方法。其典型的应用是在视觉伺服控制下将磁盘插入磁驱动器。在该系统中,视觉传