第十章成像目标探测及跟踪技术课件.ppt

《第十章成像目标探测及跟踪技术课件.ppt》由会员分享，可在线阅读，更多相关《第十章成像目标探测及跟踪技术课件.ppt（54页珍藏版）》请在三一办公上搜索。

1、电子科技大学 光电信息学院 二九年4月17日,彭真明Email: pengzm_,第十章 成像目标探测与跟踪技术,C10 targets detection and tracking in Imaging system,主要内容,成像探测与跟踪系统概述运动目标检测方法成像目标跟踪方法目标跟踪技术应用及发展,主要内容,成像跟踪系统概述运动目标检测方法成像目标跟踪方法目标跟踪技术应用及发展,一、成像探测与跟踪系统概述,精确制导、目标跟踪,“道尔” 野战地空导弹武器系统，是世界上最先采用垂直发射方式的近程防空系统，同时也是一种全天候、全自动、三位一体(目标搜索、跟踪和导弹发射装置同时装在一辆车上)的

2、新一代高性能防空导弹发射车。它具有警戒、指挥与控制、导弹制导与发射等众多功能，既可以独立作战，也可以和发射连的其它发射车协同作战。它可在低空、超低空和近程区域内拦截多种非隐身与隐身空袭目。,X-59导引头,雷达导引头,自动导系统,一、成像探测与跟踪系统概述,导引头,舵机,发动机,尾翼,自动导系统,一、成像探测与跟踪系统概述,一、成像探测与跟踪系统概述,EF2000欧洲战斗机装备“海盗”机载红外搜索跟踪系统,“海盗”系统（无源红外机载跟踪设备）可以为空中拦截和空地作战提供战术优势。该设备安装在机舱左侧、风挡玻璃的前方。“海盗”系统在空对空模式下运行的时候，具备搜索和跟踪系统（IRST）功能，提供

3、无源目标探测和跟踪能力；在空对地模式下，可以执行多目标获取和识别任务，同时还能提供辅助导航和着陆功能。,一、成像探测与跟踪系统概述,红外监控系统,一、成像探测与跟踪系统概述,跟踪系统及跟踪实况,一、成像探测与跟踪系统概述,什么是视频(成像)目标跟踪？,视频序列目标跟踪是指对传感器摄取到的图像序列进行处理与分析，充分利用传感器采集得到信息来对目标进行稳定跟踪的过程。一旦目标被确定，就可获得目标的位置、速度、加速度等运动参数，进而获得目标的特征参数。,一、成像探测与跟踪系统概述,什么是视频(成像)目标跟踪？,在军事上，视频序列目标跟踪技术广泛应用于精确制导、战场机器人自主导航、无人机着降，靶场光电

4、跟踪等领域。在现代高技术条件下的战争中，由于各种伪装、欺骗、对抗、反辐射技术大量使用，使得战场环境日益复杂，尤其是在复杂环境下的目标跟踪问题，成为该领域内研究的热点与难点；在民用上，该技术主要应用在智能视频监控、智能交通管制、医疗影像诊断等方面。,一、成像探测与跟踪系统概述,研究现状（国际）,1997年，美国国防高级研究项目署设立了以卡内基梅隆大学牵头，麻省理工学院等高校参与的视觉监控重大项目VSAM，主要研究用于战场及普通民用场景监控的自动视频理解技术。,1999年，美国康奈尔大学计算机系设计了一套航拍视频检测与持续跟踪系统，该系统能够对多运动目标实现长时间的准确跟踪，即使发生短时间内目标被

5、遮挡或目标时静时动的情况 。,2005年，美国中央佛罗里达大学计算机视觉实验室开发出了基于MATLAB的COCOA系统，用于无人机低空航拍视频图像的目标检测与跟踪处理。,一、成像探测与跟踪系统概述,一、成像探测与跟踪系统概述,研究现状（国内）,研究所：中科院光电技术研究所、长春光机所、上海光机所，安徽光机所、上海技术物理所、中科院自动化所，沈阳自动化所 ，中国工程物理研究院等。,高校：国防科技技术大学、西北工业大学、哈尔滨工业大学、北京理工大学、北京航空航天大学、华中科技大学、空军工程大学等。,一、成像探测与跟踪系统概述,成像跟踪系统流程及框图,一、成像探测与跟踪系统概述,主要内容,成像探测与

6、跟踪系统概述运动目标检测方法成像目标跟踪方法目标跟踪技术应用及发展,1、静止背景下的目标检测 帧差分法：,二、运动目标检测,实例：,二、运动目标检测,2、运动背景下的运动检测：,光流法(Optic flow),块匹配算法(Block matching),二、运动目标检测,光流简介,二、运动目标检测,光流的概念是Gibson于1950年首先提出的。光流是空间运动物体在观测成像面上的像素运动的瞬时速度；光流场是指图像灰度模式的表面运动。,（a）未运动的圆 (b) 运动后的圆 （c）圆的运动场,根据亮度恒定假设:,Optical Flow: 1D Case,根据亮度恒定假设有：,根据泰勒公式，展开下

7、式后，有：,比较上两式，得：,最后得出光流方程(也叫光流约束方程)：,Optical Flow: 2D Case,光流的求解,Lukas-Kanade (卢卡斯-卡拉德算法),Horn-Schunck (霍恩-申克算法),二、运动目标检测,实例,实例,Horn-Schunck方法 Lucas-Kanade方法,实例,实例,二、运动目标检测,块匹配算法简介,块运动估计与光流计算不同，它无需计算每一个像素的运动，而只是计算由若干像素组成的像素块的运动，对于许多图像分析和估计应用来说，块运动分析是一种很好的近似。如数字视频压缩国际标准MPEG1-2 采用了基于块的运动分析和补偿算法。,二、运动目标检

8、测,块匹配算法的关键技术,匹配准则(Matching Criteria),搜索策略(Searching Strategy,匹配特征,二、运动目标检测,匹配准则,目标帧,锁定帧,二、运动目标检测,匹配准则,.均方差(Mean Square Error, MSE),.平均绝对差(Mean absolute discrepancy, MAD),二、运动目标检测,匹配准则,3.互相关(Cross-correlation, CC),4.最大像素匹配统计(Maximum Pixels counting， MPC),二、运动目标检测,搜索策略,全视场搜索(FS),对数搜搜,三步搜索,菱形搜索(Diamond

9、 Search ，DS),其他改进搜索策略,2D 对数法搜索Jain and JainExamine central point & its four surroundingsDistance from center: r/2Find best matchIf best match is in center or on boundaries, half distance from centerExamine five new points centering previous best When distance is 1, use all 9 matches, find best. Stop

10、,1,1,1,1,1,2,2,2,3,3,4,4,4,4,4,4,4,4,搜索策略,Three-Step Search (3SS)Koga et al9 Points: Central point & its 8 surroundingsDistance: r/2Find the best matchUse previous best as centerHalf distance, select 8 newRepeat algorithm 3 timesExamines 25 pointsAssumes a uniform distribution of MVs,1,1,1,1,1,1,1,1

11、,1,2,3,2,2,2,2,2,2,2,3,3,3,3,3,3,3,搜索策略,二、运动目标检测,匹配特征,图像灰度、亮度、颜色等信息,图像特征(边缘、轮廓、纹理、变换域特征等。,主要内容,成像探测与跟踪系统概述运动目标检测方法成像目标跟踪方法目标跟踪技术应用及发展,1、目标跟踪方法分类,三、成像目标跟踪方法,成像跟踪系统经过图像的预处理、图像的分割识别等一系列信息处理，最终实现对目标位置的实时精确测量，即对目标或目标的局部实施稳定跟踪，实时输出目标的脱靶量。,矩心(质心、形心)跟踪；,边缘跟踪；,峰值跟踪；,相关跟踪；,滤波跟踪。,1矩心跟踪 矩心也叫质心或重心，是物体对某轴的静力矩作用中心

12、。如果把目标图像看成是一块质量密度不均匀的薄板，以图像上各像素点的灰度作为各点的质量密度。这样就可以借用矩心的定义式来计算目标图像的矩心。,x,y,a,b,c,d,xc,yc,三、成像目标跟踪方法,Template,Search image,2相关跟踪由于目标运动、姿态发生改变、光照条件改变以及杂波背景的干扰，使得目标图像的分割提取十分困难，计算目标的矩心或形心不准确。在某种情况下，可以采用以图像匹配为基础的跟踪方法，习惯上称之为相关跟踪。,三、成像目标跟踪方法,状态空间模型：,系统方程：,观测方程：,状态向量,状态转移函数,过程噪声,观测向量,观测函数,观测函数,滤波,平滑,预测,三、成像目

13、标跟踪方法,问题提出：,线性、高斯系统,卡尔曼滤波(KF),非线性、高斯系统,扩展卡尔曼滤波(EKF),无极卡尔曼滤波(UKF),非线性、非高斯系统,粒子滤波(PF),?,三、成像目标跟踪方法,粒子滤波：一种基于递推贝叶斯估计的蒙特卡罗统计仿真方法,基本概念：,基本思想：,利用一组加权随机粒子来近似状表示状态的后验概率密度,三、成像目标跟踪方法,实例：,三、成像目标跟踪方法,多目标跟踪：,三、成像目标跟踪方法,主要内容,成像探测与跟踪系统概述运动目标检测方法成像目标跟踪方法目标跟踪技术应用及发展,舰载直升机在反潜、救生、登陆、布雷与扫雷、火力校正、预警、侦察中广泛应用。 由于中型舰船甲板较小，

14、因风浪使甲板处于不规则的运动，直升机着舰的事故高。,1、直升机、无人机着降光电引导技术,四、目标跟踪技术应用及发展,双CCD摄影测量算法,用两台CCD摄像机探测直升机上的激光信标，我们从捕获到的八个侯选信标中优选出四个信标点A、B、C、D，根据共线性条件建立方程组，并通过求解方程组，求出旋转矩阵M和位移矩阵T，得到直升机上着舰点相对着舰面的位置。,四、目标跟踪技术应用及发展,四、目标跟踪技术应用及发展,光电导引系统控制界面,四、目标跟踪技术应用及发展,无人直升机光电助降,四、目标跟踪技术应用及发展,虚拟现实环境中的头盔跟踪,2、虚拟现实技术应用,主要内容,成像探测与跟踪系统概述运动目标检测方法成像目标跟踪方法目标跟踪技术应用及发展,Any queastions!,