传感技术ppt课件.ppt

第七章视觉传感技术,本章内容,7.1 概述7.2 图像传感器7.3 3D视觉传感技术7.4 智能视觉传感技术7.5 视觉传感应用技术,现代传感器技术,7.1.1 生物视觉与机器视觉,视觉：直观理解就是通过对环境场景（组成成分、空间关系、质地质感等）成像，一次性得到包含大量场景信息的“图、像”，经过分层次处理，最终达到理解和表达的目的。通过视觉系统的外周感觉器官（眼）接受外界环境中一定波长范围内的电磁波刺激，经中枢有关部分进行编码加工和分析后获得的主观感觉。,现代传感器技术,7.1.1 生物视觉与机器视觉,生物视觉功能建立在生物组织、器官的基础上。环境场景通过成像器官（眼睛）成像，视觉神经感受到亮度信号，形成神经脉动，进而传输至中枢神经系统（大脑），上述路径构成视觉通路。生物视觉系统是一个结构复杂、功能强大、高度智能的信息系统。人的眼可分为感光细胞（视杆细胞和视锥细胞）的视网膜和折光（角膜，房水，晶状体和玻璃体）系统。其适宜刺激是波长为370-740纳米的电磁波(可见光部分)，约150种颜色。,现代传感器技术,背侧皮质视覚路(绿色)与腹侧皮质视覚路(紫色),7.1.1 生物视觉与机器视觉,借助于信息处理理论、电子器件和计算机技术的进步，人们试图用摄像机获取环境场景图像，转化为计算机处理的数字信号，由计算机平台进行视觉信息处理，由此诞生一门新兴学科计算机视觉。,现代传感器技术,计算机视觉系统组成包括：过程控制（例如工业机器人和无人驾驶汽车）事件监测（例如图像监测）信息组织（例如图像数据库和图像序列的索引建立）物体与环境建模（例如工业检查，医学图像分析和拓扑建模）交感互动（例如人机互动的输入设备）,7.1.1 生物视觉与机器视觉,基于工程应用的考虑，在计算机视觉中可以将视觉传感（信息获取）、视觉信息处理、理解和认知等环节分开考虑，一方面简化了类生物视觉系统复杂的相互作用体系结构，同时便于现有计算机平台的实现。将计算机视觉用于工程应用，产生了一门新的学科机器视觉。将近80%的工业视觉系统主要用在检测方面。,现代传感器技术,7.1.1 生物视觉与机器视觉,计算机视觉和机器视觉,现代传感器技术,7.1.2 Marr 计算机视觉理论,20世纪70年代中后期，D.Marr教授从信息处理的角度，综合了当时图像处理、心理物理学、神经生理学及临床精神病学等方面的研究成果，提出了一个较为完善的人工视觉系统架构。Marr的计算视觉理论把视觉过程看作信息处理过程，对该过程的研究分为三个不同的层次：计算理论层次计算理论层次要回答的是计算目的与策略问题表达与算法层次表达与算法层次则进一步回答如何实现上述计算理论的问题硬件实现层次硬件实现层次是回答如何物理（硬件）上实现上述表示表达和算法的问题,现代传感器技术,7.1.2 Marr 计算机视觉理论,Marr将视觉过程区分为三个阶段： 图像-要素图-2.5维图-三维表示第一阶段，称为早期视觉，由输入二维图像获得要素图。第二阶段，称为中期视觉，由要素图获取2.5维图。第三阶段，称为后期视觉，由输入图像、要素图和2.5维图获得环境场景的三维表示。2.5维图:以三维图数据库为基础，按照一定比例对现实世界或其中一部分的一个或多个方面的三维、抽象的描述。,现代传感器技术,7.1.2 Marr 计算机视觉理论,缺陷1）物理成像过程在数学上是一个透视投影过程，深度和被视线遮挡的信息被丢弃了，使得相同场景在不同视角下得到的二维图像是完全不同的；2）二维图像是依靠图像灰度（亮度）来反映视觉信息的，在成像过程中很多无关因素都会和有用信息综合在一起生成二维图像。,现代传感器技术,7.1.2 Marr 计算机视觉理论,视觉传感与计算机视觉的区别由图像信息恢复三维场景问题 Marr的视觉计算理论是通过三维场景映射到的二维图像来研究和感知场景三维物理结构的理论，强调的是识别和理解功能，侧重于基本理论研究而视觉传感则是从工程应用的角度出发，研究定量提取三维空间内有用信息的理论和方法精度问题传统的计算机视觉研究，侧重于定性的三维场景识别和理解，定量的精度分析很少涉及或不涉及；视觉传感测量则是以计算机视觉为理论基础，结合精密测量、测试理论，解决工程应用领域内的测量问题，要求在满足一定的精度前提下，实现被测对象的可靠测量。,现代传感器技术,7.1.3 视觉传感技术的发展,视觉传感应用于测量是多方面的，一个主要的研究领域就是基于视觉传感的几何量测量视觉测量，尤其是3D坐标尺寸测量，在现代工业制造领域内有着广泛的应用背景。视觉像机是视觉测量的基础。将通过镜头投影到传感器的图像传送到能够储存、分析和（或者）显示的机器设备上。,现代传感器技术,7.1.3 视觉传感技术的发展,视觉测量的分析方法的显著变化采用多参数的非线性模型和误差补偿措施；将精密测量领域内的标定方法、设备和技术引入到计算机视觉中；结合近景摄影测量理论和计算机视觉。视觉测量的应用范围不断扩大早期主要用于特定的、有非接触要求的场合；现今可以满足绝大多数工业测量需求。,现代传感器技术,本章内容,7.1 概述7.2 图像传感器7.3 3D视觉传感技术7.4 智能视觉传感技术7.5 视觉传感应用技术,现代传感器技术,7.2.1 摄像管工作原理,典型的光电摄像管包含三个基本部分：镶嵌板集电环电子枪当光线照在光电管上，电子被打出，投影在镶嵌板上的图像将变成一幅正电荷的分布图。集电环收集光电管所放出的电子，移出光电发像管电子枪发射电子形成电子束。电子束逐个扫描镶嵌板上的个光电管时，便形成一系列电脉冲。,现代传感器技术,7.2.1 摄像管工作原理,电荷耦合器件CCD（Charge Coupled Device）传感器使用一种高感光度的半导体材料制成，能把光信号转变成电荷信号。当CCD表面受到光线照射时，每个感光单位会将电荷反映在组件上。所有的感光单位所产生的信号加在一起，就构成了一幅完整的画面。CCD以电荷作为信号。基本功能：信号电荷的产生、存储、传输和检测(即输出)。,现代传感器技术,7.2.2 电荷耦合摄像器件工作原理,现代传感器技术,当光入射到CCD的光敏面时，便产生了光电荷。CCD在某一时刻所获得的光电荷与前期所产生的光电荷进行累加，称为电荷积分。入射光越强，通过电荷积分所得到的光电荷量越大。,基本功能一 光电荷的产生,7.2.2 电荷耦合摄像器件工作原理,现代传感器技术,构成CCD的基本单元是MOS结构。如图所示.UG=0时，P型半导体中的空穴(多数载流子)分布是均匀的；UG Uth时，表面势s变得很高，形成反型层，反型层电荷的存在表明了MOS结构存储电荷的功能。,基本功能二 电荷的存储,7.2.2 电荷耦合摄像器件工作原理,如图(a)空势阱的情况。在没有反型层时，势阱的深度和UG成正比例关系。如图(b)，当反型层电荷填充势阱时，表面势收缩.如图(c)所示，反型层电荷浓度继续增加，势阱被填充更多，此时表面不再束缚多余的电子，电子将产生“溢出”现象。,现代传感器技术,7.2.2 电荷耦合摄像器件工作原理,如图示意CCD中势阱中电荷的转移：(a) 初始状态； (b) 电荷由(1)电极向 (2)电极转移； (c) 电荷在(1) (2)电极均匀分布；(d) 电荷继续由(1)电极向(2)电极转移；(e) 电荷完全转移到(2)电极；(f) 三相转移脉冲转移。,现代传感器技术,通过按一定的时序在电极上施加高低电平，可以实现光电荷在相邻势阱间的转移。,基本功能三 电荷的转移,7.2.2 电荷耦合摄像器件工作原理,现代传感器技术,光电荷的输出是指在光电荷转移通道的末端，将电荷信号转换为电压或电流信号输出，也称为光电荷的检测。,基本功能四 光电荷的输出,CCD电荷的检出方式还有浮置扩散输出、浮置栅放大器输出等。其结构示意如图7-6、图7-7所示。,7.2.3 CCD图像传感器,现代传感器技术,CCD图像传感器,线阵CCD传感器,面阵CCD传感器,单沟道线阵CCD,双沟道线阵CCD,帧转移型面阵CCD电荷耦合器件,行间转移型面阵CCD电荷耦合器件,帧-行转移型面阵CCD电荷耦合器件,7.2.3 CCD图像传感器,图示是三相单沟道线阵CCD的结构图。光敏元阵列与转移区-移位寄存器是分开的，移位寄存器被遮挡。这种结构的CCD转移次数多，效率低，只适用于像敏元较少的摄像器件。图示为双沟道线阵CCD的结构图。它具有两列移位寄存器A和B，分别位于像敏阵列的两边。当转移栅为高电平时，光积分阵列的信号电荷包同时按箭头所示方向转移到对应的移位寄存器中，然后在驱动脉冲的作用下分别向右转移，最后以视频信号输出。,现代传感器技术,7.2.3 CCD图像传感器,帧转移型面阵CCD电荷耦合器件(FT-CCD)由成像区、存储区和读出寄存器3个基本区域组成，由三相脉冲驱动，又称三相驱动式面阵CCD电荷耦合器件。,现代传感器技术,优点： 电极结构简单；较高的分辨率和灵敏度。缺点： 尺寸较大；易形成光“污染”严重时形成垂直拖尾现象。,7.2.3 CCD图像传感器,行间转移型面阵CCD电荷耦合器件(IT-CDD)的感光行与垂直位移寄存器相间排列，由转移栅极控制电荷的转移和输出。,现代传感器技术,优点： 结构简单，面积小；较高的空间频率；垂直拖尾减轻。缺点：防止漏光，总的感光面积减小，灵敏度降低；有部分入射光到达垂直位移寄存器，形成光污染。,7.2.3 CCD图像传感器,CCD图像传感器,现代传感器技术,7.2.4 CMOS图像传感器,CMOS图像传感器(CIS)由许多光敏单元组成。 根据光敏像元结构的不同，可分为光栅型和光电二极管型。 根据敏感单元内是否具有放大功能，可分为无源像素图像传感器（PPS）和有源像素图像传感器(APS)。,现代传感器技术,7.2.4 CMOS图像传感器,1、无源像素结构无源像素传感器的像元结构简单，没有信号放大作用，是由一个反向偏置的光敏二极管(MOS管或p-n结二极管)和一个行选择开关管Tx构成。,现代传感器技术,优点：在给定的单元尺寸下，可设计出最高的填充系数在给定的设计填充系数下，单元尺寸可设计得最小可获得较高的“量子效率” 有利于提高器件的灵敏度不足: 存在较大的固有图形噪声列线不宜过长，减小分布参数影响,7.2.4 CMOS图像传感器,2、有源像素结构（1）光敏二极管型有源像素结构光敏二极管型有源像素结构如图所示，每个像元包括三个晶体管和一个光敏二极管。光敏面没有多晶硅层叠，光敏二极管型APS量子效率较高；难以设计在片相关双取样电路，读出噪声出复位噪声限制，典型值为75100个均方根电子。CMOS光敏二极管型APS适宜于大多数中低性能的应用。,现代传感器技术,7.2.4 CMOS图像传感器,（2）光栅型有源像素结构光栅型有源像素传感器结合了CCD和X-Y寻址的优点，其结构如图所示，每个像元采用了五个晶体管。采用0.25um工艺将允许达到5um的像元间距。由于可以设置CDS电路和双取样DDS)电路，其读出噪声小，一般为1020个均方根电子，可接近高档CCD水平，目前已有读出噪声为5个均方根电子的报道CMOS光栅型APS适用于高性能科学成像和低光照成像。,现代传感器技术,7.2.4 CMOS图像传感器,CMOS传感器,现代传感器技术,7.2.5 CCD与CMOS图像传感器比较,与CCD图像传感器相比，CMOS图像传感器具有明显的优势。CCD存储的电荷转移和读取电路较为复杂，速度较慢；CMOS信号读取十分简单，能同时处理各单元的图像信息，速度比CCD快得多。CCD器件的成像点为X-Y纵横矩阵排列且仅能输出模拟电信号；CMOS器件的集成度高、体积小、重量轻 ，具有高度系统整合的条件。从功耗和兼容性来看，CCD功耗大；而CMOS-APS具有功耗低、兼容性好的特点。CCD传感器成本高；CMOS传感器成品率高，制造成本低。CMOS-APS比CCD图像质量高。高速性是CMOS电路的固有特性。CMOS图像传感器具有更强的灵活性.,现代传感器技术,7.2.5 CCD与CMOS图像传感器比较,现代传感器技术,本章内容,7.1 概述7.2 图像传感器7.3 3D视觉传感技术7.4 智能视觉传感技术7.5 视觉传感应用技术,现代传感器技术,7.3.1 3D视觉传感原理,3D视觉传感是指采用一个或多个图象传感器（摄像机等）作为传感元件，在特定的结构设计的支持下，综合利用其它辅助信息，实现对被测物体的尺寸及空间位姿的三维非接触测量。基于三角法的主动和被动视觉测量原理抗干扰能力强效率高精度合适组成简洁适合制造现场的在线、非接触测量，是实际应用的主流。,现代传感器技术,7.3.1 3D视觉传感原理,3D视觉测量模型包括三个层次：摄像机成像模型、3D传感器测量模型、3D测量系统模型，与此对应，标定问题也分为三个层次。,现代传感器技术,基于三角法的3D视觉测量方法,结构光方法通过构造结构光，使得结构光平面和摄像机之间配置成三角测量关系，依靠被测点成像光束和结构光平面的交汇约束，求解3D信息。,立体视觉方法采用两个以上的摄像机在空间构成三角配置，利用被测点在多个摄像机中成像位置的不同（所谓“视差”），由多个摄像机的成像光束在空间交汇，由此得到被测点3D信息。,7.3.2 摄像机模型及结构参数标定技术,现代传感器技术,摄像机模型,基于像机成像过程和自身物理参数的成像模型,基于投影变换关系的模型,针孔成像模型,直接线性变换模型,摄影测量模型,7.3.2 摄像机模型及结构参数标定技术,现代传感器技术,针孔成像模型,P为物点，Q为像点，像机针孔模型的数学表示：,式中，q=（x，y）为像点Q在摄像机像平面上的坐标；p=（xw,，yw，zw）为P在摄像机坐标系中的三维坐标；F 透视变换矩阵；M 旋转矩阵；T 平移矩阵；,（7-1）,7.3.2 摄像机模型及结构参数标定技术,现代传感器技术,式中， 表示刻度因子；F、M、T三个矩阵，它们与针孔模型中具有相同的含义；V、B两个矩阵是补偿矩阵。,直接线性变换模型,（7-2）,DLT模型由下式表述：,式中，p，q与（7-1）中相同；A为矩阵，可分解为,（7-3）,7.3.2 摄像机模型及结构参数标定技术,现代传感器技术,摄影测量模型,假设 (xu, yu) 为空间物点P 在像平面上理想像点坐标，实际像点位置为 (xd, yd)，则,（7-4）,其中，Cx、 Cy为像面中心，x、y为成像综合畸变（修正因子），可采用下列模型：,（7-5）,式中：,7.3.2 摄像机模型及结构参数标定技术,直接标定及技术通过建立已知空间点（控制点）三维坐标（Xw, Yw, Zw）及其对应成像点的二维像面坐标（xd，yd）之间的对应关系：对于较小视场的成像，可以通过精确的共面或非共面的靶标建立控制点的三维物点和二维特征像点的对应；对于较大视场的成像，可以通过大型CMM构造较大空间的三维控制点。,现代传感器技术,7.3.2 摄像机模型及结构参数标定技术,直接标定技术以摄影测量模型为例，由成像模型得到：,现代传感器技术,式中：（Xw, Yw, Zw）为控制点空间坐标（已知量）（xd，yd）为控制点对应象点的象素坐标（已知量） f、Cx、Cy、k1、k2、k3、b1、b2、P1、P2 为模型 参数（未知量）， 为像机坐标系OXYZ到世界坐 标系OwXwYwZw之间的变换关系，即像机姿态外 参数（未知量），解算上述非线性方程组，可以得到模型参数。,7.3.2 摄像机模型及结构参数标定技术,自标定技术基本思路：在空间简单设置标定控制点，控制点的空间坐标未知，像机在不同的姿态（ ）条件下，获取视场中控制点的图像，处理得到控制点的象面坐标。,现代传感器技术,7.3.2 摄像机模型及结构参数标定技术,自标定技术本质：将像机的姿态、控制点的空间坐标以及模型参数均作为未知量，以控制点的成像光束在空间交汇作为已知条件，建立高度非线性的大规模方程组，从中解算像机模型参数，原理上消除了直接标定方法中要求控制点三维坐标已知的局限性。优点：对工作环境要求不高，易于实现标定结果不受控制点坐标精度影响，标定精度高标定过程可以和测量过程有机结合适合大尺寸视觉测量,现代传感器技术,7.3.3 结构光视觉传感器,测量原理设摄象机坐标系为OXYZ ，光平面和被测物体相交形成光条l ，记光条上一特征点P 在OXYZ中的坐标为（X，Y，Z），光平面在OXYZ 中的方程已知，特征点P在摄象机象素坐标系中的坐标为（xm，ym），由摄象机数学模型知,现代传感器技术,又，P点在光平面内,其中，fx，fy是摄象机的模型函数，可以通过精确的摄象机标定过程得到；fp为光平面在OXYZ坐标系中的方程，在标定传感器时精确求得。联立方程可解出被测物体上特征点P在坐标系OXYZ 中的三维坐标。,结构光传感器测量原理,7.3.3 结构光视觉传感器,标定,现代传感器技术,标定借助一个细丝靶标进行，细丝靶标上固定n个（相互近似平行）细直钢丝l1，ln。将细丝靶标固定在传感器的工作空间，取细丝方向和光平面的法向一致。光平面入射到靶标细丝上时产生n个散射亮点Pi（i=1,n），Pi对应像点的象素坐标由计算机处理得到。相应地，Pi的空间三维坐标（xw，yw，zw）可用另外的空间坐标测量设备测量。设Pi在OXwYwZw坐标系中的坐标为（xwi，ywi，zwi），Pi对应像点的象素坐标为（xdi，ydi）。,在光平面F内，取P0点为原点，P0 P1为X方向，光平面法线方向为Z方向，由X、Z方向按右手法则，在F上建立坐标系OXfYfZf。由空间坐标转换关系，容易将Pi在OXwYwZw坐标系中的三维坐标转换到坐标系OXfYfZf中，设经转换后Pi在OXfYfZf坐标系中的坐标为（xfi，yfi，zfi），因为Pi在OXfYfZf的xy平面内，所以zfi=0。,结构光传感器标定,7.3.3 结构光视觉传感器,现代传感器技术,假设坐标系OXfYfZf到摄像机坐标系OXYZ的旋转矩阵为R，平移矩阵为T，则,（7-8）,且,（7-9）,展开（7-8），利用矩阵元素之间的对应关系，得到,式中：r1, r9为Rt矩阵中的元素；tx ty tz为T矩阵中的元素。R为旋转矩阵，存在正交约束,由(7- 9),(7-10)，采用一般的非线性方程组解法，可以解出R矩阵中的元素r1, r9，T矩阵中的元素tx ty tz。,（7-10）,7.3.3 结构光视觉传感器,光平面F在摄像机坐标系中的位姿可理解为：经过OXfYfZf坐标系原点，平面法线矢量为OXfYfZf的Z轴方向。令F0=（tx，ty，tz）；n0=（r1，r4，r7）（r2，r5，r8），于是，光平面F在OXYZ坐标系中的点法式平面方程为式中：X=（x，y，z）为光平面F上的点在OXYZ坐标系中的坐标。该方程表明了光平面在摄像机坐标系中的位姿，是光条结构光传感器的结构参数。,现代传感器技术,7.3.4 双目视觉传感器,测量原理左摄象机坐标系为O1X1Y1Z1 ，右摄象机坐标系为O2X2Y2Z2 ，空间被测点P 在左、右摄象机坐标系中的坐标分别为（x1，y1，z1），（x2，y2，z2），P点在左、右摄象机象素坐标系中的象素坐标分别为（x1m，y1m），（x2m，y2m），由摄象机模型知,现代传感器技术,（7-12）,（7-13）,式中， f1x，f1y 和 f2x，f2y分别为左、右摄象机的模型函数，通过标定摄象机准确得到。,双目立体视觉测量原理,7.3.4 双目视觉传感器,设左、右摄象机坐标系O1X1Y1Z1 ，O2X2Y2Z2 之间的关系可表示为式中,现代传感器技术,（7-14）,R为3X3阶坐标系间旋转变换矩阵；T为3X1阶坐标系间平移变换矩阵；R，T在立体视觉传感器中是已知的，可通过传感器标定严格求出。由（7-12）（7-13）（7-14）解出被测空间点P在左摄象机坐标系O1X1Y1Z1中的三维坐标。,7.3.4 双目视觉传感器,标定原理左摄像机坐标系为OX1Y1Z1，右摄像机坐标系为OX2Y2Z2，靶标坐标系为OXYZ。设OXYZ到OX1Y1Z1的旋转矩阵为R1，平移矩阵为T1，OXYZ到OX2Y2Z2的旋转矩阵为R2，平移矩阵为T2，有,现代传感器技术,（7-15）,（7-16）,式中：X1=（x1，y1，z1）为点在OX1Y1Z1坐标系中的坐标；X2=（x2，y2，z2）为点在OX2Y2Z2坐标系中的坐标；X=（x，y，z）为点在OXYZ坐标系中的坐标；,（7-17）,双目特征传感器的标定,7.3.4 双目视觉传感器,即：OX2Y2Z2坐标系到OX1Y1Z1坐标系之间的旋转矩阵，平移矩阵分别为（7-18）和（7-19）式是双目特征传感器的结构参数，其中R1，R2，T1，T2，矩阵分别为采用同一靶标标定传感器中两个摄像机同时得到的摄像机外部参数。以上分析可知：双目特征传感器中两个摄像机的标定，以及摄像机之间关系的结构参数标定可以同时进行，标定工作量可明显减少。,现代传感器技术,（7-18）,（7-19）,7.3.4 双目视觉传感器,光束定向交汇约束在双摄像机的重合视场中任意设置控制点（点的空间坐标无需已知）Pi，控制点在两个摄像机中的成像光束必定在空间交汇，以此为约束可以精确求解摄像机之间的空间变换关系，。对于较小视场（测量空间）的传感器，也可采用固定靶标产生控制点。,现代传感器技术,光束定向交汇约束标定双摄像机位姿,7.3.5 组合视觉测量系统,多个传感器安装在刚性支架上形成统一的视觉检测系统。每个传感器实现对大型被测物体一个局部区域的测量，所有传感器组合实现对物体多个不同区域的测量，从而实现对被测物体的整体测量。,现代传感器技术,多视觉传感器组成的视觉检测系统,7.3.5 组合视觉测量系统,基于网络的组合视觉测量系统,现代传感器技术,7.3.5 组合视觉测量系统,现代传感器技术,令传感器（测头）坐标系为OsXsYsZs，外部测量坐标系为OoXoYoZo ，靶标坐标系为OTXTYTZT，系统测量坐标系为ObXbYbZb，标定时：首先，测头和外部测量装置同时测量靶标，分别建立测头坐标系OsXsYsZs和靶标坐标系OTXTYTZT，靶标坐标系OTXTYTZT和外部测量坐标系OoXoYoZo之间的关系，此外，用外部测量装置测量系统测量坐标系（基准点位置），建立外部测量坐标系OoXoYoZo和系统坐标系ObXbYbZb之间的关系，经过坐标变换链：,可以得到每一个测头坐标系到系统测量坐标系的变换关系，即系统标定。,OsXsYsZs OTXTYTZT OoXoYoZo ObXbYbZb,全局标定原理,本章内容,7.1 概述7.2 图像传感器7.3 3D视觉传感技术7.4 智能视觉传感技术7.5 视觉传感应用技术,现代传感器技术,7.4.1 智能视觉传感器及其结构组成,智能视觉传感器(Intelligent Vision Sensor)通常也称为智能相机(Smart Camera)，是一种集图像采集、分析处理和信息传输于一体的微小型视觉检测系统，是一种嵌入式视觉传感器。,现代传感器技术,OMRON,Sensopart,7.4.1 智能视觉传感器及其结构组成,现代传感器技术,7.4.1 智能视觉传感器及其结构组成,现代传感器技术,7.4.2 智能视觉传感器的特点及其发展趋势,现代传感器技术,7.4.2 智能视觉传感器的特点及其发展趋势,智能视觉传感器的发展趋势进一步优化系统的体系结构，提高硬件系统的效率和可靠性开发性能更好、可靠性更高的嵌入式图像处理软件建立智能视觉传感器相关产品标准,现代传感器技术,7.4.3 几种典型的智能视觉传感器,现代传感器技术,7.4.3 几种典型的智能视觉传感器,现代传感器技术,7.4.3 几种典型的智能视觉传感器,现代传感器技术,7.4.3 几种典型的智能视觉传感器,现代传感器技术,7.4.3 几种典型的智能视觉传感器,现代传感器技术,本章内容,7.1 概述7.2 图像传感器7.3 3D视觉传感技术7.4 智能视觉传感技术7.5 视觉传感应用技术,现代传感器技术,7.5.1 汽车车身视觉检测系统,汽车车身视觉检测系统的主体是多个视觉传感器，包括机械运送机构、机械定位机构、电气控制设备、计算机等相关组成部分。,现代传感器技术,7.5.1 汽车车身视觉检测系统,汽车车身视觉检测系统的优点：测量效率高测量工作全部自动完成车身视觉测量系统的组成灵活,现代传感器技术,基于机器人的柔性视觉测量装置,多传感器车身视觉测量应用系统,7.5.2 钢管直线度、截面尺寸在线视觉测量系统,测量原理：测量系统由多个结构光传感器组成，传感器上结构光投射器投射的光平面和被测钢管相交，得到钢管截面圆周上的部分圆弧，传感器测量部分圆弧在空间中的位置。系统中每一个传感器实现一个截面上部分圆弧的测量，通过适当的数学方法，由圆弧拟合得到截面尺寸和截面圆心的空间位置，由圆心分布的空间包络，得到直线度参数。,现代传感器技术,7.5.2 钢管直线度、截面尺寸在线视觉测量系统,测量系统在计算机的控制下，测量时间约3秒，满足实时性要求，研制的应用样机系统见图。,现代传感器技术,钢管直线度测量样机系统,7.5.3 三维形貌视觉测量,三维形貌测量的对象通常是大型或具有复杂表面的物体，受像机视场和测量视角的限制，通常分为局部三维形貌信息获取和整体拼接两部分。形貌整体拼接的实质就是将分块局部形貌测量数据统一到公共坐标系下，完成对被测形貌的整体描述。为控制整体精度，避免误差累积，采用全局控制点拼接方法。,现代传感器技术,7.5.3 三维形貌视觉测量,基于立体视觉的三维形貌测量,现代传感器技术,7.5.4 光学数码三维坐标测量,光学数码柔性坐标测量采用先进高精度的数码成像器件作为角度传感器，两台传感器构成空间三角交汇测量配置，在光学测量靶标的配合下，组成工作范围大、通用的空间坐标测量系统。,现代传感器技术,7.5.4 光学数码三维坐标测量,基于高分辨率数字成像的光学数码三维坐标测量系统可以稳定地实现了约0.01象素的图像细分精度，将成像精度提高到0.02 0.03象素，使得测量精度达到10ppm水平，实现视觉测量在精度上的重要突破,现代传感器技术,扫描式三维形貌测量,思考题,简述计算机视觉、机器视觉及视觉测量的区别与联系。摄像机模型分几类？用于视觉测量的摄像机模型有何特点？简要概述摄像机模型参数的标定方法。简述结构光传感器和双目立体视觉传感器的测量原理。CCD和CMOS之间的区别是什么？各有哪些类型和优缺点。何为智能相机？其结构及使用特点是什么？,现代传感器技术,参考资料,（插 图）,尺寸检测,线性CCD图像传感器的应用, 上端受光照的像素数,下端受光照的像素数, 视场范围,测量小尺寸物体,测量大尺寸物体,视觉传感器校验告诉传送带是否在传送正确的部件,由背光视觉传感器找到的泡罩包装中的破损药片,在药品包装应用中，视觉传感器辨别包装瓶上是否缺少标签,经过训练，知道如何监视横向和纵向位置的传感器辨别出的误贴标签,行扫描在无纺布质量检测上的应用,优点：.适应高速生产的需求，增加产量，因识别了过程缺陷的来源，使缺陷可以立即修复，避免了大量缺陷产生的情况.保证对产品质量的检测，减少客户退货及投诉.高精度能力，能检测出更小的缺陷，满足国际客户的需求.精确的定位功能及图片显示，可以减少废料，一旦发现缺陷，在对照缺陷图片后即可在分切过程中进行修复处理。.数据回溯能力可进行精确的质量分级及定价,无纺布质量检测,谢谢,Faculty of Mechanical & Electrical Engineering, Kunming University of Science & Technology,现代传感器技术,