无人机影像处理课件.ppt
无人机影像处理-自动空三、DEM正摄影像生成,1,t课件,一、概述,1.1 为什么无人机摄影测量(UAV)1.2 无人机摄影测量优势与劣势1.3 无人机摄影测量的新起点,2,t课件,1.1 为什么UAV-1,需求驱动 作为城市精细三维数据获取的主要来源之一,大比例尺、高分辨率的遥感影像需求日趋显著。现有的卫星遥感和航空遥感技术虽然能够获取大面积的地理信息,但因卫星受回归周期、高度等因素影响,遥感数据分辨率和时相难以保证;载人飞机受空域管制和气候等因素的影响较大,缺乏机动快速的能力,同时使用成本也比较高,因此在满足精细城市三维信息获取的要求方面存在一定不足,3,t课件,1.1 为什么UAV-2,技术驱动 UAV(Unmanned Air Vehicle ,无人驾驶航空飞行器) 遥感平台的出现为这种应急需求提供了一种新的技术途径。UAV 无人驾驶,由地面遥控站通过无线电通信控制飞机的起飞、到达指定空域、实行遥感操作、以及返回遥控站降落等操作。它可实现危险区域目标图像实时获取、空中侦察与目标搜索、环境监测、海区巡视、救援指挥、大气参数测量、有毒污染地区空中监测等多种载人机无法完成或不易完成的任务,4,t课件,1.2 无人机摄影测量优势与劣势,优势具有机动性、灵活性和安全性分辨率高 多角度性能优异低成本劣势像幅小基高比小姿态不稳定非专业相机,5,t课件,1.2.1 具有机动性、灵活性和安全性,无人飞行器的机动性、灵活性使得它不要求专用起降场地，升空准备时间短、操作控制较容易、运行成本低，城市的运动场、广场等都可以作为起降场地，特别适合在建筑物密集的城市地区和地形复杂地区及国内南部丘陵、多云地区应用。它的安全性使得它能够在对人生命有害的危险和恶劣环境下(如森林火灾、火山、有毒液体等)直接获取影像，即便是设备出现故障，发生坠机也无人身伤害。,6,t课件,1.2.2 分辨率高 多角度,无人飞行器携带的高精度数码成像设备具备垂直或倾斜摄影的技术能力，不但能竖直拍摄获取平面影像，还能低空多角度摄影获取建筑物多面高分辨率纹理影像，这点弥补了卫星遥感和普通航空摄影获取城市建筑物时遇到的高层建筑遮挡问题。所获取影像的空间分辨率能达到分米级，系统获取的高分辨率数码影像可用于高精度数字地面模型的建立和三维立体景观图的制作。,7,t课件,1.2.3 性能优异,无人飞行器可按预定飞行航线自主飞行、拍摄，飞行高度从50米到1000米，高度控制精度达到10米。阴云天气下的低空飞行也可获取光学影像，并且影像的逼真度超过雷达影像。不受高度限制，不受山区低云的影响。,8,t课件,1.2.4 低成本,UAV系统及传感器成本与其它遥感系统无法相比，一般的单位和个人都有能力负担。影像数据后处理的设备要求不高、成本费用低，高档微机就可以作为主要设备，不需要像传统航摄像片需配置高精度扫描仪和数字化处理设备。,9,t课件,1.2.5 劣势,像幅小、基高比小相同的重叠度情况下，需要跟多的控制点姿态不稳定旋偏角、俯仰、滚动，甚至导致连接有问题非专业相机光敏度、像点位移、存在镜头畸变、其它未知的系统误差,10,t课件,1.3 新起点 抗震救灾(1),11,t课件,1.3 新起点 抗震救灾(2),12,t课件,2.1 相机2.2 重叠度与相机姿态角2.3 小像幅、小基高比2.4 分辨率与像点位移2.5 曝光间隔与地面分辨率、地面速度关系,二、无人机影像特点和影响因素分析,13,t课件,数码相机,普通定焦型,普通单反型,可量测单反型,2.1非专业数码相机,14,t课件,枕形变形,桶装变形,无变形,2.1 镜头畸变,切向变形,径向变形,中间小，边缘大，可达20-40像素,15,t课件,畸变后果,使物点、投影中心、像点三点不再共线影像形状发生非透视畸变同名光线不再相交空间后交精度降低重建物体的几何模型变形,16,t课件,镜头畸变公式,x0，y0为像主点,x，y为像素坐标系坐标,17,t课件,2.2 重叠度与相机姿态角,传统摄影测量航向重叠60%旁向重叠30%姿态角 3无人机摄影测量航向重叠70-85%旁向重叠35-55%姿态角可达10 以上,18,t课件,姿态不稳定，需要新的初始值计算方法姿态不稳定，基于灰度的相关系数匹配失效重叠度增大，增加观测值个数，增加解算稳定和可靠性,19,t课件,2.3 小像幅、小基高比,航高H,基线B,基线B,大像幅,小像幅,20,t课件,由于单幅影像覆盖面积小，正射影像图接缝工作量变大，像对模型变多，增加了模型切换和模型接边工作量基高比变小，使得空中三角形不稳定，降低解算稳定性,21,t课件,2.4 分辨率与像点位移,影像地面分辨率影像因素相机本身CCD(CMOS)大小（ccd_size）像素分辨率相机镜头焦距(c)航高(H)像点位移 使图像模糊影响有效分辨率,22,t课件,像点位移公式,(1).飞行器的地面速度 (2).相机曝光时间 (3).焦距长度 c(4).飞行器的飞行高度 (5).像元大小,23,t课件,曝光间隔与地面分辨率、地面速度关系,2.5 曝光间隔与地面分辨率、地面速度关系,24,t课件,由方程（1）容易看出当GSD一定时，相机的曝光间隔与装载它的飞行器的地面飞行速度成反比关系t: 曝光时间间隔GSD: 地面分辨率Vg:飞行器的地面飞行速度P: 航向重叠度npix: 航向方向的像元个数,它们的关系可以由下面方程表示,25,t课件,7.综合分析,通过分析可以看出当地面分辨率一定，飞行速度与曝光时间成反比。可以看出飞行速度与影像的运动成正比。因此可以知道飞行速度太快，像点位移会超出限定范围，这就会使得影像模糊，影响地面分辨率。但同时如果飞行速度太低，曝光间隔长了，这就会影响作业效率。由于影像存储速度的影像，曝光间隔至少要大于2sec，所以对于一定分辨率的影像，飞行器的飞行速度也不能太快。飞行时既要顾及作业效率也要考虑获取的影像质量，所以要在曝光间隔与搭载平台的飞行速度间找到一个最佳的值。,26,t课件,四、待需解决的问题,1. 变焦距引起的在相机内定向和检校方面的问题由于焦距长度可变，所以每次变换焦距长度都需要从新进行相机检校即使机械固定了焦距使其不变，在飞行高度增加时由于大气压的变化，焦距的长度仍然会发生变化2. 像点位移带来的问题 高于5CM，需要FMC（向前运动补偿）3. 辐射校定方面的问题辐射校正方面主要的还是没有独立的标准算法进行获取的影像格式的转换（从Bayer filter or Foveon sensor to RGB）4. 由于单幅影像覆盖面积小，正射影像图接缝工作量变大，像对模型变多，增加了模型切换和模型接边工作量,27,t课件,处理技术,三、无人机影像处理技术与方法,28,t课件,3.1 相机标定,由于数码相机的焦距可变，这样在不同的航空条件下内定向就会发生改变，因此可进行以下4个水平层次上进行几何校正（1）在实验室二维或三维试验场进行几何校正（2）在一个检校区域进行飞行几何校正（3）为了适应特定的区域环境，在飞行任务时同时进行检校（4）根据长期来检校的统计数据确定检校的时间周期,29,t课件,标定方法,二维平面法,30,t课件,iWitness模板,31,t课件,武汉大学遥感信息工程学院标定场,室内三维检校场,32,t课件,由测绘遥感国家重点实验室自主研发基金和重点开放基金支持的测绘遥感信息工程国家实验室长远建设项目”高分辨率对地观测系统定标与综合试验场建设”第一期航空定标与综合试验场已初步建成,并投入使用。航空定标与综合试验场位于河南登封市,面积近100平方公里,区域内有农田、道路、村镇、河流、树林等，典型的丘陵地形，交通便利，植被多样。217个高 精度控制点分三级均匀分布在整个测区内，可满足不同分辨率航空传感器的检校与性能测试需要。各种可移动的标志物可用于传感器的分辨率测试和幅射校正工作。 目前已获取了ADS40的不同GSD的影像，后续处理工作正在进行中。预计在年前完成DMC，LIDAR，TOPDC等航空传感器的航空摄影。,33,t课件,室外三维检校场,34,t课件,三维检校场方法,三维控制场需要有一定的深度利用空间后方交会标志点的关系长期稳定、不变标志点利用经纬仪精确测量,35,t课件,3.2 航带生成,根据kappa角的变化划分航带，自动去掉航带之间转向部分影像，自动生成航带,36,t课件,3.3 基于特征的匹配,基于特征匹配通常分为点、线、面的特征匹配。一般来说特征匹配分为三步：-特征提取-利用一组参数对特征进行描述-利用参数进行特征匹配,37,t课件,3.4 错误匹配过滤,1）基于一对一约束的粗差剔除2）基于尺度约束和角度约束的粗差剔除3）基于几何约束的错误匹配过滤4）RANSAC鲁棒估计,38,t课件,3.5 光束法空中三角测量,光束法空中三角测量以共线方程为基础（即摄影时地面点，摄站点，像点共线为条件），以一幅影像所组成的一束光线作为平差的基本单元，通过各个光线束在空间的旋转和平移，使模型之间的公共点的光线实现最佳交会。在具有多余观测的情况下，在保证pvv最小的意义下解求待求参数。,39,t课件,3.6 DEM生成,常用的主要生成方法：1)移动曲面拟合法2)多面函数法DEM内插3)有限元法DEM内插,40,t课件,3.7 正射影像生成与镶嵌,根据有关的参数与数字地面模型，利用相应的构像方程式，或按一定的数学模型用控制点解算，从原始的非正射投影的数字影像获取正射影像，其实就是将影像化为很多微小的区域逐一进行纠正（变换或映射）。然后将区域所有正射影像镶嵌成整个区域的正射影像。,41,t课件,3.8 立体像对生成,立体相对生成主要是用于立体测图仪（JX4C，VirtuoZo等等）进行立体观测。利用两幅相互重叠的影像构成立体相对。,42,t课件,4. 天工无人机摄影测量处理软件,现有处理软件模式4.1 系统概述4.2 系统功能4.3 系统特色4.4 系统流程4.5 效率测试4.6 实例,43,t课件,现有处理软件模式,传统摄影测量软件流程成熟作业效率低快速拼接，生成一张全景影像无精度，不可量测专用无人机摄影测量软件效率高有待大量生产检验,44,t课件,4.1 系统概述,针对无人飞机像幅小、姿态不稳定、重叠度大、非专业相机等特点，开发了一套无人机摄影测量数据自动处理系统GodWork,45,t课件,4.2 系统功能,无人机影像数据,相机标定参数,影像POS数据,DP-UAV 全自动处理系统,控制点数据,带颜色三维点云,DEM,正射影像,46,t课件,4.3 系统特色,采用特征匹配，适用于大偏角影像、大高差地区空三和DEM生成一体化，所有点参与光束法平差 每片像点5千2万个，空三结果直接生成DEM较传统空三增加了上百倍的观测值，系统具备更强的粗差检测能力自标定，不需要严格相机参数处理自动化程度高支持多核CPU,47,t课件,4.4 系统流程,特征匹配每张影像提取特征点，相邻影像进行匹配初始构网每张影像提取特征点，相邻影像进行匹配带附加参数的光束法平差把所有匹配点纳入平差过程DEM和正射影像生成,48,t课件,4.5 效率测试,采用不同地面类型无人机影像数据20套，每套数据像片数150800张不等，航高500800米，佳能400D相机，焦距24mm，像片大小3888x2592像素运行环境，Intel 4核 CPU主频2.33GHz、内存3G运行模式全自动批处理平均处理速度每分钟2-3片成果 密集点云（每片5,00020,000像点）DEM正射影像（采用GeoDoging进行匀光和镶嵌）,49,t课件,4.6 实例,(左)彩色的点云 (中) DEM (右) 正射影像,新疆某地区338张像片，耗时147分钟，自动生成136万物方点，DEM和正射影像,50,t课件,三维浏览,51,t课件,GeoDoging 匀光镶嵌的结果,52,t课件,5. 低空影像数据处理实例,拍摄范围布设控制点航线设计影像数据相机检校参数,53,t课件,飞行区域大小-64 平方公里获取方式：无人飞机，航高500米使用相机：canon 450D获取时间：某日上午；天气状况：晴朗获取的影像：共1338张，15航带,54,t课件,5.1 Google影像图,55,t课件,5.2 1:10000的地形图,56,t课件,相机检校参数（像素坐标原点:影像左上角）,57,t课件,.,镜头畸变模型,x0，y0为像主点,x，y为像素坐标系坐标,58,t课件,控制点实际布设情况-布设个数（40多个）-测量方式（RTK测量）,地面实地控制点标志,59,t课件,控制点点位分布图,60,t课件,设计航线图,61,t课件,实际飞行航线图,62,t课件,获取的影像数据（获取1338张）,63,t课件,影像上像控点标志,控制点实地布设示意图,64,t课件,解算流程自由网刺点控制网精度评定表格残差图,65,t课件,刺像控点界面,66,t课件,影像footprint,67,t课件,控制点计算值与测量值差值：,68,t课件,控制点残差分布图,69,t课件,成果带颜色的三维点云空三加密点DEM正射影像立体相对 jx4 相对定向误差与碎部点精度,70,t课件,带颜色的三维点云（357万多个点）,71,t课件,正射影像图,72,t课件,谢 谢！,73,t课件,
