机器人感知与智能.ppt

山东大学机械工程学院机电工程研究所2010/09/02,第六章 机器人感知与智能,第一节 基本概念与相关理论第二节 机器人的感觉与传感器第三节 机器人信息识别、表达与融合第四节 机器人智能第五节 应用系统举例,山东大学机械工程学院机电工程研究所2010/09/02,第一节 基本概念与相关理论,6.1.1 机器人信息测量与分析方法感知与智能的作用：感知自身的工作状态和周边环境及其变化，改善和提高机器人系统的性能。机器人的感知通过各种传感器实现，分为：内部感知（内部传感器）和外部感知（外部传感器）。内部传感器：检测和感知机器人本身的状态，如：位置、速度、加速度、驱动力矩等。对内部传感器的要求：精度高、响应速度快、测量范围宽、体积小、重量轻、能耗低、工作可靠。,山东大学机械工程学院机电工程研究所2010/09/02,第一节 基本概念与相关理论,外部传感器：识别环境、工件情况或工件与机器人的关系。如：力觉、视觉、距离、听觉等传感器。通常安装在末端执行器上。对外部传感器的要求：除精度高、响应速度快、测量范围宽外，尽量非接触测量，体积小、重量轻更加重要。另外，还要求安装使用方便、安全可靠、对环境无不良影响。,山东大学机械工程学院机电工程研究所2010/09/02,第一节 基本概念与相关理论,内部传感器：位置/角度 行程开关、电位器、码盘、旋转变压器、光栅尺/盘等。速度/加速度 测速发电机、码盘、速度/加 速度传感器。力/力矩 力传感器、力矩传感器。方位角 陀螺仪、方位仪。电流/电压 霍尔电流传感器、电压计。,山东大学机械工程学院机电工程研究所2010/09/02,第一节 基本概念与相关理论,外部传感器：视觉：感知外部图像，如：CCD、CMOS等。触觉/滑觉：感知接触/滑动，接近/距离：感知距离，如：接近开关、位置传 感器、激光测距仪。热觉：感知温度，如：热电偶、红外CCD。力觉：如：各类力、力矩传感器。嗅觉：感知气味，各种气味传感器。听觉：如：微型MIC，味觉：感知味道。方位：如：陀螺仪等。,山东大学机械工程学院机电工程研究所2010/09/02,第一节 基本概念与相关理论,信号感知过程：信号提取 信号分析与处理 识别 融合与应用 信号提取：各类传感器。信号分析与处理：信号分析：研究信号的构成与特征，如：滤 波、谱分析。信号处理：各种信号变换，如傅里叶变换。信号识别：识别算法、智能技术。信号融合：多传感器的集成，多信息的融合。信息的利用：实现功能、目标。,山东大学机械工程学院机电工程研究所2010/09/02,第一节 基本概念与相关理论,6.1.2 多传感器系统与信息融合 机器人系统包含各种传感器，如何使它们协作工作、发挥出更大的作用？多传感器系统涉及多种类型传感器或多个同类型传感器，还有多功能集成传感器。多传感器系统与信息融合主要作用：1、提高系统可靠性：替代。2、降低系统的不确定性：沉余 3、提高完整描述环境的能力：协同 4、提高系统的实时性：并行处理,山东大学机械工程学院机电工程研究所2010/09/02,第一节 基本概念与相关理论,机器人与人工智能 人工智能是指将人类所具有的智能的一部分用计算机来实现以及与此相关的技术领域。机器人是从事与人类相识动作的自动机械，代替人类行使某些智能动作，因此，它也是人工智能的研究对象，从这个意义上说，机器人也称为智能机器人。人工智能的研究内容包括：知识获取、知识表达、知识推理、学习与决策、专家系统等理论，为机器人智能奠定了基础。机器人的智能可分为基于传感器的感知智能和基于知识、学习、推理的抽象智能。,山东大学机械工程学院机电工程研究所2010/09/02,第一节 基本概念与相关理论,到20世纪80年代，国际上基于知觉控制的机器人已经开始走向实用化阶段，基于知识的智能机器人的研究仍处于比较低级的层次。目前，智能机器人的研究重点在通过多传感器信息融合等技术，提高机器人的性能和可靠性，扩大机器人的应用领域。,山东大学机械工程学院机电工程研究所2010/09/02,第二节 机器人知觉与传感器,6.2.1 位置、转角传感器 当前，常用的位置、转角传感器有：1、光栅尺：2、光电角编码器。,山东大学机械工程学院机电工程研究所2010/09/02,一、光栅尺 根据摩尔条纹原理，通过光电转换，以数字方式表示线性位移量的高精度位移传感器。具有检测范围大，检测精度高，响应速度快的特点。1、光栅与莫尔条纹 通过印刷技术在不透明的介质上形成密集的透明条纹（刻痕），条纹间的距离称为栅距（节距），每毫米刻痕的多少称为光栅常数。莫尔条纹：当指示光栅上的线纹和标尺光栅上的线纹之间形成一个小角度，并且两个光栅尺刻面相对平行放置时，在光源的照射下，位于几乎垂直的栅纹上，形成明暗相间的条纹。这种条纹称为“莫尔条纹”；两光栅相互运动时间看到的是莫尔条纹运动。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,第二节 机器人知觉与传感器,严格地说，莫尔条纹排列的方向是与两片光栅线纹夹角的平分线相垂直。莫尔条纹中两条亮纹或两条暗纹之间的距离称为莫尔条纹的宽度，以W表示，设光栅的栅距为d，两光栅的夹角为，则：,山东大学机械工程学院机电工程研究所2010/09/02,两光栅交点由栅线序数N、M组成。K=MN,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,长光栅光闸莫尔条纹,播放动画,山东大学机械工程学院机电工程研究所2010/09/02,莫尔条纹的特点：1）、莫尔条纹的变化规律 两片光栅相对移过一个栅距，莫尔条纹移过一个条纹距离。由于光的衍射与干涉作用，莫尔条纹的变化规律近似正(余)弦函数，变化周期数与光栅相对位移的栅距数同步。2）、放大作用 在两光栅栅线夹角较小的情况下，莫尔条纹宽度W和光栅栅距d、栅线角之间有下列关系：W=d/由于栅线角很小，Wd。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,3）、误差平均。莫尔条纹是由若干光栅条纹共用形成，这样栅距之间的相邻误差就被平均化了，消除了由于栅距不均匀、断裂等造成的误差。2、分类 按照制造方法和光学原理的不同，分为透射光栅尺和反射光栅尺。透射光栅尺的光源与接收装置分别放置在光栅尺的两侧，通过接收光栅尺透过来的衍射光变化来反应位置变化。比较通用的是玻璃光栅。.反射光栅指的是光源与接收装置安装在光栅尺的同一侧，通过接收光栅尺反射回来的衍射光变化来反应位置变化。比较通用的有钢带光栅。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,透射式光栅,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,反射式光栅,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,3、检测与数据处理随着光栅的移动，莫尔条纹也随之上下移动。这样就把对光栅栅距的测量转换为对莫尔条纹个数的测量。在一个莫尔条纹宽度内，按照一定间隔放置4个光电器件就能实现电子细分与判向功能。两路相位不同的光电信号，其相位差为/2，为得到判向和计数脉冲，需对这两路信号整形为方波。然后，通过对方波的相位进行判别比较，就可以得到光栅尺的移动方向。通过对方波脉冲进行计数，可以得到光栅尺的位移和速度。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,4、技术参数 测量范围：50mm3000mm 测量精度：6um/m10um/m 测量基准（栅距）：光栅周期20m的光学玻璃尺。光学测量方式：透射式、反射式 反应速度：60m/min(0.005mm)25m/min(0.001mm)输出信号：TTL/EIA-422-A 供应电压：DC 5V5%,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,二、光电编码器 编码器分为接触式编码器和光电式编码器，光电编码器是一种通过光电转换将输出轴上的机械几何位移转换成脉冲或数字量的传感器。1、工作原理 光电编码器由光栅盘（码盘）和光电检测装置组成。光栅盘是在一定直径的圆板上等分地开通若干个长方形孔。当它与电动机轴一起旋转时，经发光二极管等电子元件组成的检测装置输出若干脉冲信号，通过计算输出脉冲的个数等信息，就能反映当前电动机转过的角度或转速。此外，为判断旋转方向，还可提供相位相差90o的两路脉冲信号。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,第二节 机器人知觉与传感器,光电编码器的工作原理,输出波形,山东大学机械工程学院机电工程研究所2010/09/02,2、光电编码器类型：按测量方式分类：旋转编码器和直尺编码器按编码方式分类：绝对式编码器 增量式编码器 混合式编码器3、光电式码盘的优缺点 光电式编码器无触点磨损，允许高转速；每条缝隙宽度可做得很小，所以精度和分辨率很高，单个码盘可做到18位。其缺点是结构复杂、价格昂贵、光源寿命短。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,4、绝对式编码器1）、光栅盘（码盘）图中为一个四位码盘。涂黑部分为遮光区，输出“0”；空白部分为透光区，输出“1”。图示码盘共有四圈码道，当码盘与被测物转轴一起转动时，每个码道对应的光电接受器将读出对应的数码。若有n条码道，则角度分辨率为：,光栅盘（码盘）,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,绝对式格雷码码盘：将码盘分成一系列具有相等角距角的角，对每个角用格雷码进行编码；当光信号扫描与传动轴相联的刻有格雷码的码盘时，获得的码盘上的码值确定被测物的绝对位置值，然后将检测到的格雷码数据转换为电信号以脉冲的形式输出测量的位移量。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,第二节 机器人知觉与传感器,2）、绝对式光电编码器工作原理：,图1-8 绝对式光电编码器原理,山东大学机械工程学院机电工程研究所2010/09/02,3）、直接读出角度坐标的绝对值。不受掉电、关机的影响。没有累积误差，可靠性高，抗干扰能强。使用简单，方向判断较容易。范围大于360度时可采用多组码盘。每个码道都必须放置光电收发装置。编码器的精度取决于位数。最高运转速度比增量式光电编码器高。价格高,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,4）、技术参数:量程（单组或多组码盘）输出代码：格雷码,BCD码,二进制码。输出信号：并口/串口，高/低电平有效。分辨率：如：12位，4096线/圈。准确度：如：0.3度。最大允许转速：2400转/分钟。工作电压：1030Vdc。消耗电流：100mA。工作温度：-20-60C 连接方式：键、轴套、法兰等 外形尺寸：,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,5、增量式光电编码器 由光源、码盘、检测光栅、光电检测器件和转换电路组成，如图所示。,第二节 机器人知觉与传感器,光敏元件,光栏板及辨向用的A、B狭缝,零位标志,转轴,盘码及狭缝也称光栅盘,LED,A,B,C,A,B,C,山东大学机械工程学院机电工程研究所2010/09/02,第二节 机器人知觉与传感器,1）、工作原理 当光栅盘随被测工作轴一起转动时，每转过一个缝隙，光电管就会感受到一次光线的明暗变化，并转变成电信号的强弱变化，这个电信号近似于正弦波，经过整形和放大等处理，变换成脉冲信号。通过计数器计量脉冲的数目，即可测定旋转运动的角位移；通过计量脉冲的频率，即可测定旋转运动的转速。,山东大学机械工程学院机电工程研究所2010/09/02,第二节 机器人知觉与传感器,随被测工作轴一起转动时，每转过一个缝隙，光电管就会感受到一次光线的明暗变化，并转变成电信号的强弱变化，近似于正弦波的信号，经过整形和放大等处理，变换成脉冲信号。通过计数器计量脉冲的数目，即可测定旋转运动的角位移；通过计量脉冲的频率，即可测定旋转运动的转速。,山东大学机械工程学院机电工程研究所2010/09/02,2）、方向辨别 为了判断光栅盘转动的方向，可采用图的逻辑控制电路,将光电管A、B信号放大整形后变成a、b两组方波。a组分成两路，一路直接微分产生脉冲d，另一组经反相后再微分得到脉冲e。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,d、e两路脉冲进入与门电路后分别输出正转脉冲f和反转脉冲g。b组方波作为与门的控制信号，使光电盘正转时f有脉冲输出，反转时g有脉冲输出，这样就可判别光电编码器的旋转方向。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,一些增量式编码器提供六路输出信号A和A反、B和B反、Z和Z反；如单相联接，用于单方向计数，单方向测速。A、B两相联接，用于正反向计数、判断正反向和测速。A、B、Z三相联接，用于带参考位修正的位置测量。A、A-，B、B-，Z、Z-差动连接，由于带有对称负信号的连接，电流对于电缆贡献的电磁场为0，衰减最小，抗干扰最佳，可传输较远的距离。对于TTL的带有对称负信号输出的编码器，信号传输距离可达150米。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,增量式旋转编码器的特点：1、编码器每转动一个预先设定的角度将输出一个脉冲信号，通过统计脉冲信号的数量来计算旋转过的角度，因此编码器输出的位置数据是相对的。2、旋转角度的起始位可以任意设定。3、由于采用相对编码，因此掉电后旋转角度数据会丢失需要重新复位，重新想设置零点。4、一般都是输出相位相差90度的方波信号A和B，以及一个指示零点的Z信号。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,技术参数：1、分辨率：360度刻线数，单位：p/r,简称 多少线，501000线，。2、输出类型：正弦、方波(TTL,HTL高阈值 逻辑）、推拉式、集电极开路。3、输出电压：高电平、低电平。4、转动惯量：kgm2。5、最大允许转速：rpm。6、工作电压：5V-24V。7、连接方式：孔或轴，孔径或轴颈。8、外形尺寸：9、工作温度：10、重量：,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,优点:1、原理构造简单、易于实现；2、机械平均寿命长，分辨能力强，3、抗干扰能力较强，4、可靠性较高。缺点:1、无法直接读出转动轴的绝对位置信息。2、断电后丢失位置信号。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,混合式旋转编码器：同时输出绝对旋转角度编码与相对旋转角度编码混合式旋转编码器的特点：具备绝对编码器的旋转角度编码的唯一性与增量编码器的应用灵活性。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,6.2.2 霍尔电流传感器 霍尔效应指磁场作用于载流金属导体、半导体中的载流子时，产生横向电位差的物理现象。利用霍尔效应可以设计制成多种传感器。霍尔元件是一种基于霍尔效应的磁传感器。用它们可以检测磁场及其变化，可在各种与磁场有关的场合中使用。霍尔元件具有许多优点，它们的结构牢固，体积小，重量轻，寿命长，安装方便，功耗小，频率高（可达1MHZ），耐震动，不怕灰尘、油污、水汽及盐雾等的污染或腐蚀。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,由于通电导线周围存在磁场，其大小与导线中的电流成正比，故可以利用霍尔元件测量出磁场，就可确定导线电流的大小。利用这一原理可以设计制成霍尔电流传感器。其优点是：1.测量范围广：它可以测量任意波形的电流和电压。2.响应速度快，动态性能好：最快者响应时间只为1us。3.测量精度高：其测量精度优于1%。4.线性度好：优于0.2%。5.工作频带宽：0100KHz 频率范围。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,6.可靠性高，平均无故障工作时间长5 10 小时。7.过载能力强、测量范围大：0-几十安培上万安培.8.体积小、重量轻、易于安装。由于霍尔电流电压传感器以上的优点，故而可广泛应用与变频调速装置、逆变装置、UPS 电源、逆变焊机、电解电镀、数控机床、微机监测系统、电网监控系统和需要隔离检测电流电压的各个领域中。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,霍尔电流传感器根据结构的不同，可分为：霍尔直测式电流传感器和霍尔磁补式电流传感器。1）霍尔直测式电流传感器,由于磁感应的非线性等原因，精度不高，较少使用。,第二节 机器人知觉与传感器,磁芯,山东大学机械工程学院机电工程研究所2010/09/02,2）霍尔磁补式电流传感器 原边电流产生磁场Hp为软磁芯聚集，该磁场又被副边线圈产生的反向磁场Hs所补偿，霍尔器件作为监测补偿度的元件使传感器处于零磁通，按安匝比由副边电流算出原边电流。,直到HpHs时Is不再增加，这时霍尔片就达到零磁通检测。,磁平衡时，NpIpIsNs计算Ip,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,霍尔磁补式电流传感器技术指标，例：测量范围:（0150A）额定电流：（100A）频率范围：（0100kHz）线性度：（0.1）反应时间：0.1s 绝缘电压：（3KV）穿孔尺寸：(10mm)匝数比：（1：1000)可靠性：2106h,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,第二节 机器人知觉与传感器,6.2.3 力觉系统与传感器 力觉系统发展较为成熟，在机器人工业应用中起到重要作用。在工业机器人及其操作中，力觉传感器的作用有：1、检测关节的驱动力矩。2、感知是否夹起了工件或是否夹持在正确部位。3、控制装配、打磨、研磨抛光的质量。4、装配中提供信息、以产生后续的修正补偿运动来保证装配质量和速度。5、防止碰撞、卡死和损坏机件。,山东大学机械工程学院机电工程研究所2010/09/02,第二节 机器人知觉与传感器,机器人的力觉传感器分为：1、测量驱动器输出力或力矩的力传感器：2、装在末端执行器和最后一个关节之间，测量作用于末端执行器上的各向力和力矩的腕力传感器。3、装在机器人指关节上的指力传感器。测量原理与方式：根据测量原理的不同，分为：应变片式、压电式、差动变压器式、电容位移式力传感器。按分量获得的方式可分为直接测量和间接测量。所谓直接测量，各分量的值由直接测量得出。所谓间接测量，就是由测量数据，根据各分量的数学模型，计算出各分量的值。,山东大学机械工程学院机电工程研究所2010/09/02,关节力传感器：,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,竖梁结构的Waston腕力传感器：如图，按120度周向分布着三个细梁，其上部圆环通过螺栓与手臂连接，下不圆环与手爪相联，细梁上贴有应变片；该传感器结构较简单，灵敏度也高；但六维力和力矩需要解耦运算，抗过载能力也较差。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,轮辐式十字腕力传感器：采用横梁结构，四个主梁上装有应变片，可组成桥路；为简化弹性体的受力模型，常在十字梁与轮缘连接处增加一个柔性环节。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,六维腕力传感器：竖梁结构，具有八个窄长的弹性梁，每一个梁的颈部开有一个小槽以使颈部只传递力，力矩作用很小，梁的另一头两侧贴有应变片。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,第一节 基本概念与相关理论,6.2.4 接近觉与传感器 机器人在移动或操作过程中，获知对目标物体的接近程度；实现避障，或通过减速接触物体来避免冲击。接近传感器一般根据波束碰到目标物体产生物理变化或反射波的原理工作，根据波束的不同可分为：电磁、激光、超声波、红外线等几种。接近传感器一般测量精度不高，作用距离较短，要求目标物体需要具有反应波束的能力。,山东大学机械工程学院机电工程研究所2010/09/02,1、电磁式接近传感器：接近对象必须产生磁反应或产生电涡流，通常为磁性材料或金属。当接近对象时，引起磁场改变或产生涡流。通过检测周围电磁的变化情况，判断接近程度。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,2、电容式接近传感器：我们知道，电容的电容量与电极板之间的距离成反比；把接近对象和传感器分别看成电容的正负极，就可以根据电容量的变化情况，判断接近程度。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,6.2.4 触觉与滑觉传感器 机器人触觉是人的触觉的模仿。它是有关机器人和物体接触时感觉的科学。如：手指与被测物是否接触，感知物体的表面性质和物理特征。若没有触觉，就不能完好平稳地抓住纸做的杯子，也不能握住工具。触觉主要有两方面应用：1检测功能：对操作物进行物理性质检测如光滑性、硬度等。2识别功能：识别对象物的形状(如识别接触到的表面形状)。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,举例：触觉传感器(a),结构：平板上安装着多点通、断传感器附着板的装置原理：平常为通态，当与物体接触时，弹簧收缩，上、下板间电流断开。它的功能相当于一开关，即输出0和1两种信号。可用于控制机械手的运动方向和范围、躲避障碍物等。,1.导电橡胶；2.金属；12.衬底；13.引线,1,山东大学机械工程学院机电工程研究所2010/09/02,各种触觉传感器,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,人工皮肤触觉传感器,选择更为合适的敏感材料，现有的材料主要有导电橡胶、压电材料、光纤等；将集成电路工艺应用到传感器的设计和制造中，使传感器和处理电路一体化，得到在规模或超大规模阵列式触觉传感器。,PVF2阵列式触觉传感器,山东大学机械工程学院机电工程研究所2010/09/02,第一节 基本概念与相关理论,机器人触觉20世纪八十年代开始出现，早期主要由微动开关、金属触须等实现；现在有各种原理的触觉传感器：压电式、压阻式、电容式、电磁式等，并延生了各种感觉组合在一起的仿人皮肤。触觉传感器的工作重点：触觉传感器的工作重点集中在阵列式触觉传感器信号的处理上，目的是辨识物体接触物体的形状。这种信号的处理涉及到信号处理、图像处理、计算机图形学、人工智能、模式识别等学科，是一门比较复杂、比较困难的技术，还很不成熟，有等于进一步研究和发展。,山东大学机械工程学院机电工程研究所2010/09/02,第二节 机器人知觉与传感器,滑觉是物体在手爪中运动时，手爪的感觉，它与触觉和力觉都有着密切的关系。当发现物体在手中滑动时，我们会进一步地抓紧物体，滑觉系统可以提高机械手抓握物体的可靠性。机器人滑觉信号的获取：1、通过对触觉信号的处理：根据触觉信号的动态变化。2、专用滑觉传感器：存在小型化的困难。,山东大学机械工程学院机电工程研究所2010/09/02,第二节 机器人知觉与传感器,6.2.5 视觉系统与传感器 视觉分二维平面视觉和三维立体视觉。视觉分为三个过程：视觉获取、图像处理、图像理解。一、机器人视觉系统系统.机器人视觉系统的硬件组成（）景物和距离传感器 常用的有摄象机、CCD图像传感器、超声波传感器和结构光设备等。（）视频信号数字化设备 其任务是把视觉传感器输出的模拟信号转换成方便计算和分析的数字信号，即A/D转换。（）视频信号快速处理器，视频信号时实、快速、并行运算的硬件设备：如DSP系统。,山东大学机械工程学院机电工程研究所2010/09/02,第一节 基本概念与相关理论,视觉输入装置的构成,山东大学机械工程学院机电工程研究所2010/09/02,（）计算机及其外设 根据系统的需要选择不同的计算机及外设来满足机器人视觉信息处理及机器人控制的需要。（）机器人或机械手及其控制器。2.机器人视觉的软件系统组成（）计算机系统软件 选用不同类型的计算机，就有不同的操作系统和它所支撑的各种语言、数据库等。（）机器人视觉信息处理算法 图像预处理、分割、描述、识别和解释等算法。（）机器人控制软件。,第二节 机器人知觉与传感器,山东大学机械工程学院机电工程研究所2010/09/02,第二节 机器人知觉与传感器,3、视觉传感器 机器人视觉使用的主要部件是电视摄象机，它由摄象管或固态成像传感器及相应的电子线路组成。常用的固态成像传感器有：电荷耦合器件(CCD)、CMOS和电荷注入器件(CID)。与具有摄象管的摄象机相比，固态成像器件有若干优点，它体积小、寿命长、功耗低、图像质量高、灵敏度高、抗震动等优点。CCD电荷耦合器：特点：敏感度高、分辨率高、噪声低，技术成熟，在机器人视觉中得到广泛应用。CMOS互补金属氧化物半导体。特点：成本低、功耗低。,山东大学机械工程学院机电工程研究所2010/09/02,第二节 机器人知觉与传感器,二、视频数字信号处理 图像信号一般是二维信号，一幅图像通常由512*512个像素组成，每个像素有256级灰度，或者是3*8bit，红黄蓝16M种颜色，一幅图像就有256KB或者768KB个数据。为了完成视觉处理的传感、预处理、分割、描述、识别和解释，主要完成的数学运算可以归纳为：(1)点处理(2)二维卷积的运算(3)二维正交变换(4)坐标变换(5)统计量计算,山东大学机械工程学院机电工程研究所2010/09/02,第二节 机器人知觉与传感器,(1)点处理 常用的有对比度增强、密度非线性校正、阈值处理、伪彩色处理等。例如对数变换可以实现暗区对比度扩张。(2)二维卷积的运算 常用于图像平滑、尖锐化、轮廓增强、空间滤波、标准模块匹配计算等。(3)二维正交变换 常用的二维正交变换有FFT、Walsh、Haar和K-L变换等，常用于图像增强、复原、二维滤波、数据压缩等。,山东大学机械工程学院机电工程研究所2010/09/02,第二节 机器人知觉与传感器,(4)坐标变换 常用于图像的放大缩小、旋转、移动、配准、几何校正和由投影值重建图像等。(5)统计量计算 如计算密度直方图分布、平均值和协方差矩阵等。在进行直方图均衡化、面积计算、分类时，常常要进行这些计量计算。,山东大学机械工程学院机电工程研究所2010/09/02,第二节 机器人知觉与传感器,3D视觉中的三角测量方法：,山东大学机械工程学院机电工程研究所2010/09/02,第二节 机器人知觉与传感器,6.2.6 听觉系统与听觉传感器 机器人听觉传感器可分为语音感觉和声音感觉两种传感器。常用的听觉传感器是语音传感器；声音传感器是利用声波或超声波进行测量的一类传感器。听觉系统可以实现操作人员通过语言直接控制机器人，涉及语音合成和语音识别技术。话筒是典型的声觉传感器，有电动式、压电式、电容式等多种类型。1、电动式声觉传感器 也称动圈式，它利用线圈在磁场中，切割磁感线，将声音信号转化为电信号。一般来说效果比较好，较贵。,山东大学机械工程学院机电工程研究所2010/09/02,第二节 机器人知觉与传感器,我们生活中常见的话筒大部分都是动圈式话筒，其结构如图（下）：它在一个膜片的后面粘贴着一个由漆包线绕成的线圈，也叫音圈。在有膜片的后面还安装了一个环形的永磁体，并将线圈套在永磁体的一个极上，线圈的两端用引线引出。,山东大学机械工程学院机电工程研究所2010/09/02,第二节 机器人知觉与传感器,2、压电式声觉传感器 根据压电效应原理，将声压转变成电信号的设备。3、电阻变换型声敏传感器 原理：音频振动电阻值变化。接触阻抗型：振动使得接触电阻发生变化。阻抗变换型：振动使膜片变形应变片将应变转化为电阻值变化。4、电容式声觉传感器 利用音频振动，使膜片变形，引起电容大小的变化，将声音信号转化为电信号，也叫做驻极体话筒。,山东大学机械工程学院机电工程研究所2010/09/02,第二节 机器人知觉与传感器,语音系统在服务、娱乐型机器人中应用较多；目前，由于可靠性方面的不足，在工业中应用还较少。,山东大学机械工程学院机电工程研究所2010/09/02,第三节 机器人信息识别、表达与融合,1、阈值法：给定一个阈值为界。2、边界测量法：根据边界的形状。3、特征法：使用对象特征。4、平均值法：,山东大学机械工程学院机电工程研究所2010/09/02,第四节 机器人智能,6.4.1 环境模型的描述 基于实体模型6.4.2 基于传感信息的规划问题 基于视觉的路径规划6.4.3 学习与推理 记忆学习、示教学习、类推学习6.4.4 人机交互,山东大学机械工程学院机电工程研究所2010/09/02,第五节 感知与智能应用系统实例,仿人机器人智能行走系统一、ZMP理论与计算 ZMP(零矩点)控制是目前应用比较成功的双足机器人平衡理论，它要求ZMP点必须位于支撑面内。根据任务要求设计双足机器人结构，得到重力的大小；再由运动轨迹规划确定重力的位置和惯性力，；计算出期望ZMP位置，并进行稳定性分析和验证，保证期望ZMP落入支撑面内。在建模和计算误差，实际ZMP与期望ZMP会存在一定误差，可能会造成双足机器人的失稳。因此，必须实时监控期望ZMP与实际ZMP的偏差，并进行相应的补偿。,山东大学机械工程学院机电工程研究所2010/09/02,第五节 感知与智能应用系统实例,ZMP位置检测需要六维力传感器获取地面反力信息；另外，摆动腿着地时与地面间的冲击力，对于运动过程的稳定性同样起到至关重要的作用。仿人机器人行走系统采用六维力/力矩传感器IFS-105M50A220-I63构成实际ZMP检测系统，控制软件包括：1、采集地面反力数据和对数据进行处理。2、计算机器人系统的实际ZMP位置。,山东大学机械工程学院机电工程研究所2010/09/02,第五节 感知与智能应用系统实例,右图为ZMP行走模型，重力和惯性力构成机器人的广义力，广义力的延长线落在地面上的点，即为期望的ZMP，对该点的广义力矩为零。如果作用在机器人脚底的实际地面反力（包括垂直反力和摩擦力）中心与期望的ZMP重合，并落在支撑面上，则对于机器人无翻转力矩，从而使机器人处于稳定行走状态。如果不重合，则存在翻转力矩。,山东大学机械工程学院机电工程研究所2010/09/02,第五节 感知与智能应用系统实例,期望ZMP的位置可通过实际结构的尺寸、质量、步态规划进行计算。六维力/力矩传感器的最佳位置应在踝关节以下，越接近地面越好。根据测量得到的力和力矩值，由传感器数学模型（右图），可以计算出实际的ZMP值：,山东大学机械工程学院机电工程研究所2010/09/02,第五节 感知与智能应用系统实例,期望ZMP与实际ZMP不重合产生的附加翻转力矩的计算公式为：,参考上述公式，为了消除翻转力矩，必须消除期望ZMP与实际ZMP的偏差；因此，平衡策略为：1、改变机器人行走步态，改变实际ZMP的位置。2、改变惯性力的大小，改变期望ZMP的位置。,山东大学机械工程学院机电工程研究所2010/09/02,第五节 感知与智能应用系统实例,二、基于传感器的机器人智能行走 基于ZMP理论的步态规划在线调整可以有：1、根据传感器测得的地面反力数据，调整机器人行走步态，使ZMP期望值达到恰当的位置，与实际ZMP重合，保证稳定行走。2、根据传感器数据，调整支撑脚步态，从而改变实际地面反力中心，使实际ZMP达到恰当的位置，与期望ZMP重合。3、根据传感器数据，调整各关节的驱动力矩从而改变各杆件的加速度和机器人惯性力的大小，使期望ZMP与实际ZMP重合，实现稳定行走。,