第三章二维运动估计之二ppt课件.ppt
第三章 二维运动估计之二,目录,EBMA的问题可变形块匹配算法 (DBMA)基于节点的运动模型基于网格的运动估计基于区域的运动估计全局运动估计直接估计法间接估计法多分辨率运动估计分层块匹配算法(HBMA)小结,EBMA的问题（1）,块效应(块边界不连续)块位移模型不精确真实的块内运动有可能比简单的位移复杂得多解决方法：可变形块匹配算法在一个块中有可能有多个物体的不同运动解决方法1: 自适应的网格运动估计解决方法2：基于区域的运动估计亮度变化产生的光照效应要先对光照效应进行补偿，然后再进行恒定光强度假设。,EBMA的问题 （2）,运动域是随机的块和块之间的运动矢量估计是独立的解决方法1：加入光滑性约束，调整预测误差项和平滑项的权重。解决方法2：多分辨率方法解决方法3：基于网格的运动估计光滑区域产生错误的MV当光梯度接近0时无法估计出运动。解决方法：基于区域的运动估计非常大的运算量解决方法1：快速算法，牺牲部分精度解决方法2：多分辨率运动估计,目录,EBMA的问题可变形块匹配算法 (DBMA)基于节点的运动模型基于网格的运动估计基于区域的运动估计全局运动估计直接估计法间接估计法多分辨率运动估计分层块匹配算法(HBMA)小结,可变形块匹配算法,过程：将锚定帧分割成多个规整的块对每个块采用较复杂的运动模型（如仿射，双线性或投影映射）对每个块进行独立的运动参数估计,xm,3 xm,2Bmxm,4 xm,1,Bm,6.5 可变形块匹配算法,仍然不能解决块内存在多个运动的问题，块效应和光照效应等问题。,仿射 (6 个参数):三角形映射,双线性 (8个参数) :四边形映射,6.5.1 基于节点的运动表示,假设 在块中选择若干个控制节点，这些节点能够自由运动而且任何中间点的位移可以通过节点的位移内插得到。 令K 表示控制节点数， dm,k 表示Bm 中控制节点的运动矢量，则块的运动函数可以表示为：,6.5.1 基于节点的运动表示,控制点举例：块角点其他点的运动通过角点dm,k 的运动矢量插值得到。控制点的运动矢量可以是整数像素精度或者半像素精度，所有控制点的运动参数同等重要。平移，仿射，双线性是这个模型的特例。,内插公式K=1，退化为平移模型K=3，对应于仿射运动模型K=4，对应于双线性运动模型,第k个节点对像素x的贡献，称内插核,6.5.2 基于节点模型的运动估计,搜索方法:穷尽搜索法:实际中要同步搜索K个节点的运动矢量，搜索维度高，不可行。梯度下降法:牛顿-拉夫森搜索算法搜索的结果依赖于初始解。好的初始解可通过EBMA得到。,匹配函数:,其中,DBMA的问题,块边界会产生运动的不连续性，是由于节点的运动矢量是从每个块中独立预测得到的。解决方法：基于网格的运动估计当块内有多物体运动或者因照明产生变化时，DBMA效果不好三模型法：先对每个块实行EBMAEBMA误差小的块具有平移运动EBMA误差大的块具有非平移运动对这些块运用 DBMA,目录,EBMA的问题可变形块匹配算法 (DBMA)基于节点的运动模型基于网格的运动估计基于区域的运动估计全局运动估计直接估计法间接估计法多分辨率运动估计分层块匹配算法(HBMA)小结,基于网格的运动估计,(a) 使用三角形网格,(b) 使用四边形网格,当前帧被分割为不重叠的多边形单元（网格），运动估计为网格的每个节点在参考帧找到对应点（即得到其运动矢量），其余点的位移矢量由节点的运动矢量插值得到。,基于网格的运动估计,(a) 基于块匹配的运动估计,(b) 基于网格的运动估计,(c) 基于网格的运动跟踪,基于网格的运动估计,单元内像素的运动由节点的运动矢量内插得到,每个网格节点只有一个运动矢量，与其相邻的所有多边形单元共享此运动矢量,基于网格的运动估计,主要步骤建立网格规则网格自适应网格 复杂运动的区域节点密集，简单运动的区域节点稀疏节点运动估计最小化位移帧差函数二阶梯度迭代先后顺序光栅扫描根据节点处图像梯度值分组,自适应三角形网格的建立,图像梯度较大：区域运动较复杂预测误差较大：此区域的运动模型建模失效SG（x,y）和PPE（x,y）非零时：网格节点密集,图像梯度,预测误差,如果,如果,重建图像,运动补偿图像,节点运动估计,更新第n个节点的运动矢量时，其余节点的运动矢量保持不变,S(n)表示与第n个节点相连接的多边形单元的误差函数,全搜索法基于梯度下降的方法,节点运动估计,步骤节点运动估计初始值：块匹配法按顺序迭代估计每个节点给定某个节点，固定其他节点在不改变拓扑结构的范围内移动该节点，计算误差函数最小化误差函数更新的运动矢量满足某条件，终止迭代每个节点的更新过程全搜索梯度下降,基于网格的运动估计,基于网格,全搜索块匹配 (半像素精度),参考帧,当前帧,预测图像,基于网格的运动估计与块匹配法的比较,网格当前帧可以分成规则的或不规则的网格参考帧中的不规则网格是不重叠的每个节点只有一个运动矢量可变形块当前帧分成规则的网格参考帧中的不规则网格是重叠的每个节点有多个运动矢量不可变形块当前帧分成规则的网格参考帧中的规则网格是重叠的,目录,EBMA的问题可变形块匹配算法 (DBMA)基于节点的运动模型基于网格的运动估计基于区域的运动估计全局运动估计直接估计法间接估计法多分辨率运动估计分层块匹配算法(HBMA)小结,基于区域的运动估计,将视频图像分割为多个区域，每个区域对应一个特定的运动，然后为每个区域估计运动参数区域分割：力图区域内的所有像素的运动具有一致性，可以由一个运动模型表示运动模型：仿射模型、双线性模型、投影模型方法分类区域优先运动优先联合区域分割和运动估计,基于区域的运动估计,区域优先的方法基于当前帧的纹理、边缘信息进行区域分割局部区域的直方图区域连接增长为每个区域估计运动参数,表示当前帧第n个区域Rn中像素x的运动矢量,区域误差函数：,表示Rn的运动参数矢量可以是仿射、双线性、投影运动模型中的任意一种,基于区域的运动估计,运动优先的方法首先估计整个运动场 光流、像素、块、网格等方法运动场分割聚类： 将具有相似运动矢量的像素进行聚合，形成区域。分层：分成主导运动和次主导运动，从占主导的区域开始，剔除误差较大的区域，得到第一层；然后进一步剔除区域，直到没有剔除区域。,基于区域的运动估计,联合区域分割和运动估计的方法区域分割和运动估计相互依赖，相辅相成。可交替进行区域分割和运动估计,目录,EBMA的问题可变形块匹配算法 (DBMA)基于节点的运动模型基于网格的运动估计基于区域的运动估计全局运动估计直接估计法间接估计法多分辨率运动估计分层块匹配算法(HBMA)小结,全局运动估计,整幅图像的运动可以用单一的运动模型表示通常指摄像机相对于静止场景运动产生的运动整个场景作为一个整体运动（很少发生）。方法直接估计法间接估计法,全局运动估计,直接估计法误差函数：,表示全局运动参数矢量可以是仿射、双线性、投影运动模型中的任意一种,为权值系数，调节 可减小与全局运动不匹配的像素对误差函数的影响。,是 的线性函数，即,全局运动估计,间接估计法假设已经得到一些特征点 的运动矢量匹配误差函数：,对上式求偏导并令其为零，可得运动参数：,目录,EBMA的问题可变形块匹配算法 (DBMA)基于节点的运动模型基于网格的运动估计基于区域的运动估计全局运动估计直接估计法间接估计法多分辨率运动估计分层块匹配算法(HBMA)小结,多分辨率运动估计,前面介绍的运动估计方法存在的问题最小化误差函数可能收敛到局部最小值最小化误差函数过程的计算量很大多分辨率运动估计可有效解决这两个问题首先在最小分辨率层（由空间低通滤波和欠取样获得）进行运动估计，并把结果作为下一层的初始解。然后每层依次进行运动估计，每层的运动估计结果都将作为下一层的初始解每层的运动估计可使用前面介绍的方法，如基于光流、像素、块、网格等运动估计方法,多分辨率运动估计,分辨率增加,层1,层2,层3,可由空间低通滤波和欠取样得到,多分辨率运动估计,优点运动场接近最优解的概率更大较小分辨率层上，误差函数可以接近全局最小值，通过插值，获得高分辨率上的初始解，最后到达最大分辨率时，误差函数接近全局最小值的可能性更大。计算量比直接在最大分辨率上进行运动估计时要小较小分辨率层上，搜索范围限制在较小的范围。,多分辨率运动估计,分层块匹配法,当前帧,参考帧,多分辨率运动估计,分层块匹配法,当前帧,参考帧,多分辨率运动估计,分层块匹配法,多分辨率运动估计,分层块匹配法的计算量假设图像大小为MxM，块尺寸为NxN，所有层都使用 的 搜索范围第l层的块数为 ，每个块进行全搜索的运算量为 总运算量：直接在最大分辨率上总运算量：计算量降低倍数,总结,基于光流的运动估计光流方程；平滑约束基于像素的运动估计像素递归法基于块的运动估计块匹配快速算法可变形块基于网格的运动估计基于区域的运动估计全局运动估计多分辨率运动估计,作业,AssignmentProb. 6.9, 6.10,
