第7章视觉传感技术.ppt
《第7章视觉传感技术.ppt》由会员分享,可在线阅读,更多相关《第7章视觉传感技术.ppt(75页珍藏版)》请在三一办公上搜索。
1、第7章 视觉传感技术,7.1 概述7.1.1 生物视觉与机器视觉7.1.2 Marr 计算机视觉理论7.1.3 视觉传感技术的发展,7.1.1 生物视觉与机器视觉,所谓视觉,直观理解就是通过对环境场景(组成成分、空间关系、质地质感等)成像,一次性得到包含大量场景信息的“图、像”,经过分层次处理,最终达到理解和表达的目的。,生物视觉功能建立在生物组织、器官的基础上。环境场景通过成像器官(眼睛)成像,视觉神经感受到亮度信号,形成神经脉动,进而传输至中枢神经系统(大脑),上述路径构成视觉通路。生物视觉系统是一个结构复杂、功能强大、高度智能的信息系统。,7.1.1 生物视觉与机器视觉,借助于信息处理理
2、论、电子器件和计算机技术的进步,人们试图用摄像机获取环境场景图像,转化为计算机处理的数字信号,由计算机平台进行视觉信息处理,由此诞生一门新兴学科计算机视觉。,7.1.1 生物视觉与机器视觉,出于工程应用的考虑,在计算机视觉中可以将视觉传感(信息获取)、视觉信息处理、理解和认知等环节分开考虑,一方面简化了类生物视觉系统复杂的相互作用体系结构,同时便于现有计算机平台的实现。将计算机视觉用于工程应用,产生了一门新的学科机器视觉。,7.1.2 Marr 计算机视觉理论,20世纪70年代中后期,D.Marr教授从信息处理的角度,综合了当时图像处理、心理物理学、神经生理学及临床精神病学等方面的研究成果,提
3、出了一个较为完善的人工视觉系统架构。,Marr的计算视觉理论把视觉过程看作信息处理过程,对该过程的研究分为三个不同的层次:计算理论层次计算理论层次要回答的是计算目的与策略问题表达与算法层次表达与算法层次则进一步回答如何实现上述计算理论的问题 硬件实现层次硬件实现层次是回答如何物理(硬件)上实现上述表示表达和算法的问题,7.1.2 Marr 计算机视觉理论,Marr将视觉过程区分为三个阶段:图像要素图2.5维图-三维表示第一阶段,称为早期视觉,由输入二维图像获得要素图。第二阶段,称为中期视觉,由要素图获取2.5维图。第三阶段,称为后期视觉,由输入图像、要素图和2.5维图获得环境场景的三维表示。,
4、缺陷,1)物理成像过程在数学上是一个透视投影过程,深度和被视线遮挡的信息被丢弃了,使得相同场景在不同视角下得到的二维图像是完全不同的;2)二维图像是依靠图像灰度(亮度)来反映视觉信息的,在成像过程中很多无关因素都会和有用信息综合在一起生成二维图像。,7.1.3 视觉传感技术的发展,由图像信息恢复三维场景问题 Marr的视觉计算理论是通过三维场景映射到的二维图像来研究和感知场景三维物理结构的理论,强调的是识别和理解功能,侧重于基本理论研究;而视觉传感则是从工程应用的角度出发,研究定量提取三维空间内有用信息的理论和方法。精度问题传统的计算机视觉研究,侧重于定性的三维场景识别和理解,定量的精度分析很
5、少涉及或不涉及;视觉传感测量则是以计算机视觉为理论基础,结合精密测量、测试理论,解决工程应用领域内的测量问题,要求在满足一定的精度前提下,实现被测对象的可靠测量。,视觉传感与计算机视觉的区别,7.1.3 视觉传感技术的发展,视觉传感应用于测量是多方面的,一个主要的研究领域就是基于视觉传感的几何量测量视觉测量,尤其是3D坐标尺寸测量,在现代工业制造领域内有着广泛的应用背景。视觉像机是视觉测量的基础。视觉像机技术一直在迅速发展,成本不断降低,为高性能视觉测量系统的开发和普及应用奠定了坚实的基础。,7.1.3 视觉传感技术的发展,视觉测量的分析方法发生显著变化采用多参数的非线性模型和误差补偿措施;将
6、精密测量领域内的标定方法、设备和技术引入到计算机视觉中;结合近景摄影测量理论和计算机视觉。视觉测量的应用范围不断扩大早期主要用于特定的、有非接触要求的场合;现今可以满足绝大多数工业测量需求。,7.2 图像传感器,7.2.1 摄像管工作原理7.2.2 电荷耦合摄像器件工作原理7.2.3 CMOS图像传感器7.2.4 CCD图像传感器,典型的光电摄像管包含三个基本部分,镶嵌板、集电环和电子枪。当光线照在光电管上,电子被打出,投影在镶嵌板上的图像将变成一幅正电荷的分布图。集电环收集光电管所放出的电子,移出光电发像管电子枪发射电子形成电子束。电子束逐个扫描镶嵌板上的个光电管时,便形成一系列电脉冲。,7
7、.2.1 摄像管工作原理,7.2.2 电荷耦合摄像器件工作原理,电荷耦合器件CCD(Charge Coupled Device)传感器使用一种高感光度的半导体材料制成,能把光信号转变成电荷信号。当CCD表面受到光线照射时,每个感光单位会将电荷反映在组件上;所有的感光单位所产生的信号加在一起,就构成了一幅完整的画面。,CCD的突出特点就是以电荷作为信号。CCD的基本功能是信号电荷的产生、存储、传输和检测(即输出)。,7.2.2 电荷耦合摄像器件工作原理,当光入射到CCD的光敏面时,便产生了光电荷。CCD在某一时刻所获得的光电荷与前期所产生的光电荷进行累加,称为电荷积分。入射光越强,通过电荷积分所
8、得到的光电荷量越大。,基本功能一 光电荷的产生,构成CCD的基本单元是MOS结构。如图7-1所示,UG=0时,P型半导体中的空穴(多数载流子)的分布是均匀的;UG Uth时,表面势s变得很高,形成反型层,反型层电荷的存在表明了MOS结构存储电荷的功能。,基本功能二 电荷的存储,7.2.2 电荷耦合摄像器件工作原理,如图7-2(a)空势阱的情况。在没有反型层时,势阱的深度和UG成正比例关系。如图7-2(b),当反型层电荷填充势阱时,表面势收缩,如图7-2(c)所示,反型层电荷浓度继续增加,势阱被填充更多,此时表面不再束缚多余的电子,电子将产生“溢出”现象。,7.2.2 电荷耦合摄像器件工作原理,
9、通过按一定的时序在电极上施加高低电平,可以实现光电荷在相邻势阱间的转移。,如图7-3来示意CCD中势阱中电荷的转移:(a)初始状态;(b)电荷由(1)电极向(2)电极转移;(c)电荷在(1)(2)电极 下均匀分布;(d)电荷继续由(1)电 极向(2)电极转移;(e)电荷完全转移到(2)电极;(f)三相转移脉冲转移。,基本功能三 电荷的转移,7.2.2 电荷耦合摄像器件工作原理,光电荷的输出是指在光电荷转移通道的末端,将电荷信号转换为电压或电流信号输出,也称为光电荷的检测。,CCD电荷的检出方式还有浮置扩散输出、浮置栅放大器输出等。其结构示意如图7-6、图7-7所示。,基本功能四 光电荷的输出,
10、7.2.3 CCD图像传感器,CCD图像传感器,线阵CCD传感器,面阵CCD传感器,单沟道线阵CCD,双沟道线阵CCD,帧转移型面阵CCD电荷耦合器件,行间转移型面阵CCD电荷耦合器件,帧-行转移型面阵CCD电荷耦合器件,7.2.3 CCD图像传感器,图7-8所示是三相单沟道线阵CCD的结构图。光敏元阵列与转移区-移位寄存器是分开的,移位寄存器被遮挡。这种结构的CCD转移次数多,效率低,只适用于像敏元较少的摄像器件。,图7-9为双沟道线阵CCD的结构图。它具有两列移位寄存器A和B,分别位于像敏阵列的两边。当转移栅为高电平时,光积分阵列的信号电荷包同时按箭头所示方向转移到对应的移位寄存器中,然后
11、在驱动脉冲的作用下分别向右转移,最后以视频信号输出。,7.2.3 CCD图像传感器,帧转移型面阵CCD电荷耦合器件(FT-CCD)由成像区、存储区和读出寄存器3个基本区域组成,由三相脉冲驱动,又称三相驱动式面阵CCD电荷耦合器件。,优点:电极结构简单;较高的分辨率 和灵敏度。缺点:尺寸较大;易形成光“污 染”严重时形成 垂直拖尾现象。,7.2.3 CCD图像传感器,行间转移型面阵CCD电荷耦合器件(IT-CDD)的感光行与垂直位移寄存器相间排列,由转移栅极控制电荷的转移和输出。,优点:结构简单,面积小;较高的空间频率;垂直拖尾减轻。缺点:防止漏光,总的感 光面积减小,灵敏度 降低;有部分入射光
12、到达 垂直位移寄存器,形 成光污染。,7.2.3 CCD图像传感器,帧-行转移型面阵CCD电荷耦合器件(FIT-CCD)是在行间转移型的基础上加上场存储区而构成的,其结构如图7-17所示。,优点:垂直转移速度极映,可有效消除光污染,使垂直拖尾消失。缺点:尺寸较大,材料利用率较低。,7.2.4 CMOS图像传感器,CMOS图像传感器(CIS)由许多光敏单元组成。根据光敏像元结构的不同,可分为光栅型和光电二极管型。根据敏感单元内是否具有放大功能,可分为无源像素图像传感器(PPS)和有源像素图像传感器(APS)。,7.2.4 CMOS图像传感器,1、无源像素结构,无源像素传感器的像元结构简单,没有信
13、号放大作用,是由一个反向偏置的光敏二极管(MOS管或p-n结二极管)和一个行选择开关管Tx构成。,优点:在给定的单元尺寸下,可 设计出最高的填充系数 在给定的设计填充系数下,单元尺寸可设计得最小 可获得较高的“量子效率”有利于提高器件的灵敏度不足:存在较大的固有图形噪声 列线不宜过长以减小其分 布参数的影响,7.2.4 CMOS图像传感器,2、有源像素结构,(1)光敏二极管型有源像素结构,光敏二极管型有源像素结构如图7-11,每个像元包括三个晶体管和一个光敏二极管。,光敏面没有多晶硅层叠,光敏二极管型APS量子效率较高;难以设计在片相关双取样电路,读出噪声出复位噪声限制,典型值为75100个均
14、方根电子。CMOS光敏二极管型APS适宜于大多数中低性能的应用。,7.2.4 CMOS图像传感器,2、有源像素结构,(2)光栅型有源像素结构,光栅型有源像素传感器结合了CCD和X-Y寻址的优点,其结构如图7-12所示,每个像元采用了五个晶体管。采用0.25um工艺将允许达到5um的像元间距。,由于可以设置CDS电路和双取样DDS)电路,其读出噪声小,一般为1020个均方根电子,可接近高档CCD水平,目前已有读出噪声为5个均方根电子的报道。CMOS光栅型APS适用于高性能科学成像和低光照成像。,7.2.5 CCD与CMOS图像传感器比较,与CCD图像传感器相比,CMOS图像传感器具有明显的优势。
15、,CCD存储的电荷转移和读取电路较为复杂,速度较慢;CMOS信号读取十分简单,能同时处理各单元的图像信息,速度比CCD快得多。CCD器件的成像点为X-Y纵横矩阵排列且仅能输出模拟电 信号;CMOS器件的集成度高、体积小、重量轻,具有高 度系统整合的条件。从功耗和兼容性来看,CCD功耗大;而CMOS-APS具有功 耗低、兼容性好的特点。CCD传感器成本高;CMOS传感器成品率高,制造成本低。CMOS-APS比CCD图像质量高。高速性是CMOS电路的固有特性。CMOS图像传感器具有 更强的灵活性,7.2.5 CCD与CMOS图像传感器比较,7.3 3D视觉传感技术,7.3.1 3D视觉传感原理7.
16、3.2 摄像机模型及结构参数标定技术7.3.3 结构光视觉传感器7.3.4 双目视觉传感器7.3.5 组合视觉测量系统,7.3.1 3D视觉传感原理,3D视觉传感是指采用一个或多个图象传感器(摄像机等)作为传感元件,在特定的结构设计的支持下,综合利用其它辅助信息,实现对被测物体的尺寸及空间位姿的三维非接触测量。基于三角法的主动和被动视觉测量原理具有抗干扰能力强、效率高、精度合适、组成简洁等优点,非常适合制造现场的在线、非接触测量,是实际应用的主流。,7.3.1 3D视觉传感原理,基于三角法的3D视觉测量方法,结构光方法通过构造结构光,使得结构光平面和摄像机之间配置成三角测量关系,依靠被测点成像
17、光束和结构光平面的交汇约束,求解3D信息。,立体视觉方法采用两个以上的摄像机在空间构成三角配置,利用被测点在多个摄像机中成像位置的不同(所谓“视差”),由多个摄像机的成像光束在空间交汇,由此得到被测点3D信息。,3D视觉测量模型包括三个层次:摄像机成像模型、3D传感器测量模型、3D测量系统模型,与此对应,标定问题也分为三个层次。,7.3.2 摄像机模型及结构参数标定技术,摄像机模型,基于像机成像过程和自身物理参数的成像模型,基于投影变换关系的模型,针孔成像模型,直接线性变换模型,摄影测量模型,7.3.2 摄像机模型及结构参数标定技术,针孔成像模型,P为物点,Q为像点,像机针孔模型的数学表示:,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 视觉 传感 技术
链接地址:https://www.31ppt.com/p-6618977.html