机器视觉入门介绍课件.ppt

机器视觉,机器视觉概述,?,使机器具有像人一样的视觉功能，从而实现各种检测、判断、识,别、测量等功能。一个典型的机器视觉系统组成包括：图像采集,单元（光源、镜头、相机、采集卡、机械平台），图像处理分析,单元（工控主机、图像处理分析软件、图形交互界面），执行单,元（电传单元、机械单元）,机器视觉概述,?,机器视觉系统通过图像采集单元将待检测目标转换成图像信号，,并传送给图像处理分析单元。,?,图像处理分析单元的核心为图像处理分析软件，它包括图像增强,与校正、图像分割、特征提取、图像识别与理解等方面。输出目,标的质量判断、规格测量等分析结果。,?,分析结果输出至图像界面，或通过电传单元（,PLC,等）传递给机,械单元执行相应操作，如剔除、报警等，或通过机械臂执行分拣、,抓举等动作。,机器视觉优势,?,机器视觉系统具有高效率、高度自动化的特点，可以实现很高的,分辨率精度与速度。机器视觉系统与被检测对象无接触，安全可,靠。人工检测与机器视觉自动检测的主要区别有：,机器视觉自动检测,效率高,速度快,高精度,检测效果稳定可靠,可,24,小时不停息工作,方便信息集成,成本不断降低，一次性投入,适合恶劣、危险环境,人工检测,效率低,速度慢,受主观影响，精度一般,易疲劳，受情绪波动,工作时间有限,不易信息集成,人力和管理成本不断上升,不适合恶劣和危险环境,效率,速度,精度,可靠性,工作时间,信息集成,成本,环境,机器视觉的应用领域,?,识别,?,标准一维码、二维码的解码,?,光学字符识别（,OCR,）和确认（,OCV,）,?,检测,?,色彩和瑕疵检测,?,零件或部件的有无检测,?,目标位置和方向检测,?,测量,?,尺寸和容量检测,?,预设标记的测量，如孔位到孔位的距离,?,机械手引导,?,输出空间坐标引导机械手精确定位,机器视觉系统的分类,?,智能相机,?,基于嵌入式,?,基于,PC,主流的解决方案提供商,?,提供从单一的视觉检测到视觉系统集成的完整视觉检测方案。,?,视觉检测方案主要包括两个方面：,?,硬件,相机，控制器，光源及支架；,?,软件,控制系统，图形用户界面,(GUI),和图像分析算法。,厂家,康耐视,迈思肯,邦纳,Leuze,基恩士,擅长,识别,/,检测,/,测量,识别,/,检测,/,测量,识别,/,检测,/,测量,识别,/,检测,/,测量,识别,/,检测,/,测量,前身,一,/,二维码识别,一,/,二维码识别,传感器,传感器,传感器,ABB,发那科,美国国家仪器公司,机械手引导,机械手引导,数据采集,/,交互,变频器,机器人,软硬件测试、自动化,机器视觉主要行业协会和标准,?,美国自动成像协会（,AIA,）,?,相机专用传输协议,CameraLink,标准,?,相机千兆网传输协议,GigEVision,标准,?,欧洲机器视觉协会（,EMVA,）,?,相机统一控制协议,GenICam,标准,?,相机灵敏度和成像质量评测,EMVA1288,机器视觉发展历程（国外）,?,发展阶段：,?,20,世纪,50,年代提出机器视觉概念，,?,20,世纪,70,年代真正开始发展，,?,20,世纪,80,年代进入发展期，,?,20,世纪,90,年代发展趋于成熟，,?,20,世纪,90,代后至今高速发展。,?,关键标志：,?,20,世纪,70,年代,CCD,图像传感器的出现是机器视觉提供了可靠清晰的图像；,?,20,世纪,80,年代以来处理器、图像处理技术的飞速发展为机器视觉的高速发展提,供了基础条件；,?,2000,年以来基于,LED,光源的任意光场设计使机器视觉在各种行业的应用成为可,能。,机器视觉发展历程（国内）,?,起步于,20,世纪,80,年代,?,20,世纪,90,年代进入发展期，加速发展是近几年的事情。,?,机遇与挑战并存,?,中国正在成为世界机器视觉发展最为活跃的地区之一；,?,中国已经成为全世界的制造中心，许多生产线已经迁至中国，许多国际,先进水平的机器视觉系统也进入了中国；,?,国内机器视觉企业在与国际机器视觉企业的竞争中不断得到成长。,机器视觉系统组成,?,图像获取：光源、镜头、相机、采集卡、机械平台,?,图像处理与分析：工控主机、图像处理分析软件、图形交互界面。,?,判决执行：电传单元、机械单元,图像获取,?,组成：光源、镜头、相机、采集卡、机械平台,Garbage In, Garbage Out,光源,种类,?,LED,：,寿命长,/,可以有各种颜色,/,便于做成各种复杂形状,/,光均,匀稳定,/,可以闪光；,?,荧光灯：光场均匀,/,价格便宜,/,亮度较,LED,高；,?,卤素灯：亮度特别高,/,通过光纤传输后可做成；,?,氙灯：使用寿命约,1000,小时,/,亮度高，色温与日光接近。,大部分机器视觉照明采用,LED,光源,光路原理,?,照相机并不能看见物体，而是,看见从物体表面反射过来的光。,?,镜面反射：,平滑表面以对顶角,反射光线,?,漫射反射：粗糙表面会从各个,方向漫射光线,?,发散反射：多数表面既有纹理，,又有平滑表面，会对光线进行,发散反射,光源,作用和要求,?,在机器视觉中的作用,?,照亮目标，提高亮度,?,形成有利于图像处理的效果,?,克服环境光照影响，保证图像稳定性,?,用作测量的工具或参照,?,良好的光场设计要求,?,对比度明显，目标与背景的边界清晰,?,背景尽量淡化而且均匀，不干扰图像,处理,?,与颜色有关的还需要颜色真实，亮度,适中，不过曝或欠曝；,光源,光场构造,?,明场：,光线反射进入照相机,?,暗场：,光线反射离开照相机,明场照明,暗场照明,光源,构造光源,光源,构造光源,使用不同照明技术对滚珠轴承产生的影响：,滚珠轴承,光纤环光灯,荧光环光灯,漫射圆顶灯,同轴照明灯,直角持续漫射灯,持续漫射灯,镜头,主要参数,?,工业的镜头大都是多组镜片组合在一起的。计算时会忽略厚度对透镜的影响,将其等效成没有厚度的播透镜模型，即理想凸透镜。,?,参数：焦距,/,视场,/,物距,/,像距,/,光圈,/,景深,/,分辨力,/,放大倍数,/,畸变,/,接口,物距,视,野,成象面,FOV,景深（,DOV,）,像距,镜头,主要参数,?,分辨率,：对色彩和纹理的分辨能力。,?,畸变：镜头中心区域和四周区域的放大倍数不相同。,畸变的校正一般用黑白分明的方格图像来进行，过程并不复,杂。一般如果畸变小于,2%,，人眼观察不到；若畸变小于,CCD,的一个像素，摄像机也看不见。,镜头,分类,CCTV,镜头,专业摄影镜头,CCTV,镜头,专业摄影镜头,远心镜头,远心镜头,价格,分辨率,畸变,焦距选择范围,低,低,（,20L/MM,）,高,广泛,中,中,（,4080L/MM,）,中,广泛,高,高,低,狭窄,使用灵活性,适合应用,高,低精度测量,/,简单检测,中,标准精度测量,/,定位,低,高精度测量,/,纵深测量,镜头,远心镜头,?,在测量系统中，物距常发生变化，从而使像高发生变化，所以测得的物体尺,寸也发生变化，即产生了测量误差；,?,即使物距是固定的，也会因为,CCD,敏感表面不易精确调整在像平面上，同样,也会产生测量误差。,?,采用远心物镜中的像方远心物镜可以消除物距变化带来的测量误差，而物方,远心物镜则可以消除,CCD,位置不准带来的测量误差。,相机,?,种类：线,&,面、隔,/,逐、黑,/,彩、数,/,模、低,/,高、,CCD/CMOS,?,指标：象元尺寸、分辨率、靶面大小、感应曲线、动态范围、灵敏度、,速度噪声、填充因子、体积、质量、工作环境等,?,工作模式：,Free run,、,Trigger,（多种）、长时间曝光等,?,传输方式：,GIGE,，,Cameralinker,模拟,相机,线扫描系统,相机,面阵相机,相机,自由触发,/,外部触发,自由触发：按照相,机自己的时钟抓怕,图像，对于运动目,标，每次在图像中,出现的位置不同。,外部触发：按照外,部传感器给的触发,信号拍摄图像，运,动物体在图像中每,次的位置一致。,相机,数据接口,?,模拟接口：,CCIR/EIA, Non-Standard,RS-422/LVDS,?,高速，可靠性高，传输距离远，支持多相机连接。管脚定义不统一，电缆成本高。,?,Camera Link,?,高速，高可靠性。不便于多相机连接和集中控制，电缆价格高。,?,IEE1394,?,灵活性高，成本低。传输距离短，可靠性低。,?,USB2.0,?,灵活性高，成本低。传输距离短，可靠性低，技术不成熟。,?,GigEVision,?,灵活性高，可扩充性强，支持远距离传输，支持多点传输，技术成熟，鲁棒性强，成本低。,?,USB3.0,?,灵活性高。传输距离短，可靠性低，技术不成熟。,图像分析,核心算法,物体测量,二维码读取,瑕疵检测,空间标定,图像数学和逻辑运算,图像分割,图像分析,核心算法,模板和形状匹配,光学字符的识别与确认,色彩检测,边缘检测,目标分类,图像滤波和频率分析,图像处理分析,核心功能,?,测量工具：测量两点的距离，点到线的距离，两线,之间的角度,?,线性定位：通过检测工件边缘的相对移动确定工件,的平移和旋转,?,模板查找：通过检测图形的相对移动确定工件的平,移和旋转,?,GEO,查找：通过检测图形的相对移动确定工件的平,移和部件,360,度的旋转,?,斑点查找：通过检测工件的有无、关联、尺寸、形,状和坐标来确定工件位置,?,边缘工具：确定边缘的有无、数量、类别和位,置目标物工具：确定目标物有无、数量、类别、,尺寸和位置,?,图形计数工具：确定图形的有无、数量和位置,GEO,计数工具：在,360,度范围内确定目标图形的,有无和位置,?,条码检测工具：查找、解码和评估一维和二维,码,?,OCR/OCV:,读取和确认光学字符,?,圆弧工具,:,检测圆弧，以及圆心及其他弧形特征,?,线段工具,:,检测长度，端点及其他线段特征,?,颜色匹配,:,检测匹配的色调和浓度,图像处理分析,核心功能,行业应用,?,饮料行业：类别和瑕疵检测,?,日用品行业：排列顺序检测,行业应用,?,电子器件行业：电镀不良检测,?,电子器件行业：器件污点检测,行业应用,?,电子器件行业：仪表按键位置,错误检测,?,包装行业：树脂盖污点检测,行业应用,?,电子器件行业：轮廓和边缘曲线检测,?,包装行业：罐头底部污点检测,行业应用,?,日用品行业：透明塑料瓶污点检测,?,纺织行业：布匹瑕疵检测,行业应用,?,加工业：金属元件检测与内径测量,?,包装行业：二维码读取，,OCR,字符识别,行业应用,?,电子器件行业：接线位置检测,?,包装行业：保质期有无检测,/,标签错位检测,行业应用,?,电子器件行业：电子零部件的有无,检测、方向识别,/,确认,?,工业制品检测：金属零部件内的密封,垫有无、螺纹孔的螺纹槽是否存在,高精密工件检测,?,线阵相机,+,远心镜头,+,精密丝杆组成的线扫描式工业视觉检测,应用案例,产品可追溯,?,针对润滑油灌装生产线，实现产线一体,化管理，产品生产数据与上下游数据实,现无缝连接，实现产品在整个供应链中,的可追溯性需求。,?,机器视觉系统重点聚焦调合和灌装两个,生产区域，先后实现了产品在线赋码、,灌装线管汇自动化、储罐信息共享、调,合配方系统化、灌装线自动数据采集、,储运发货优化、中转库和经销商管理、,原料油到货管理、生产任务智能排产等,管理课题的突破，有效地提高了现场作,业管理效率，具备了先进过程控制体系,的基本格局，使智能数字化管理水平进,一步提升。,应用案例,产品可追溯,?,使用机器视觉技术进行条码读取和标签验证，具体包括读码（包括读取一维码，二维,码），,OCR,（光学字符识别），检测有,/,无，定位，测量，标签验证，,OCV,（光学字符,验证）等等，,?,保证产品质量和全程可视化操作。管理者和生产人员可轻松地管理日常工作，对各类,时间能快速响应和决断，确保生产顺利进行，实现产品的全程可追溯性。,应用案例,视觉堆垛,?,通过相机视野内目标比例的变化来估算目标,的高度并引导机器人的运动补偿目标的偏移，,允许机器人只借助一个普通,2D,相机或线激光,辅助来拾取码放堆集的目标。,应用案例,视觉堆垛,?,工作原理：,?,利用传感器和辅助光源组成机器视觉系统，实,现对无定位工件的准确位置判断，在机器人收,到信号后，机器人装上为工件定制的专用手爪,去可靠的抓取工件，在与机床进行通讯得到上,料请求后，最终完成机床的上下料，在各种机,械加工行业中该系统应用广泛。,?,工作流程,?,标定：图像坐标映射与世界坐标的映射,?,检测：工件有无及在图像坐标中的位置,?,定位：工件映射到世界坐标的位置,?,引导：发出指令动作,应用案例,视觉堆垛,?,传感器安装方式：,?,固定式,?,机械手一体式,?,传感器：,?,2D,相机,?,2D,相机,+,线激光,?,优势：,?,使生产流水线更加简单易于维护,;,?,大幅度降低工人的劳动强度,;,效率和柔性都,比较高。,?,系统结构简单、安全文明、无污染，能在,各种机械加工场合进行应用，满足了高效,率、低能耗的生产要求。,机器视觉系统的项目评估,?,系统评估及选型：精度、速度、可靠性,?,精度：为什么要达到这么高的精度？高精度意味着高代价。系统的误差,分配，系统精度、机台精度、控制传感精度，视觉部分的精度（分辨率、,图像质量、安装精度、镜头、标定方法、算法、环境等）,?,速度：总指标、控制部分、动作的配合及协调、通信速度、采集速度,（硬件）、处理速度（计算机硬件、软件算法、图像质量等）,?,可靠性：硬件的可靠性、软件算法的可靠性及稳定性、系统设计的可靠,性等,机器视觉系统的开发流程,?,提出问题,?,定义检测目标,?,收集制订完整的规格列表,?,可行性研究,?,这个零件是如何被肉眼看到的？,?,这个零件将如何照在其上的光的特性？,?,将自己想成是那个零件,?,概念设计,?,实验室的反复实验,?,原型机生产,?,批量生产，先进制造,机器视觉系统的开发周期,?,需求了解,/,分析,/,确认；（前期多沟通很重要）,?,样品准备,/,测试；（需要客户密切配合）,?,系统软,/,硬件选型；（保证性价比最好）,?,系统开发设计；（严格按项目管理方法进行）,?,现场试运行,/,大量测试；（必不可少，需要配合）,?,系统的局部修改和完善；（往往耗时较多）,?,系统验收；,?,人员培训与系统维护；,