视频版权保护 数字视频水印要点课件.ppt

视频水印,12.1 概论12.2 数字视频特点12.3 数字视频水印要求12.4 视频水印的分类12.5 国内外视频水印介绍12.6 DEW视频水印算法实例12.7 小结,12.1 概论,早期的数字水印研究主要面向静态的数字图像对象。如今，作为互联网信息环境下的主要多媒体对象视频数据越来越多地被考虑以数字水印技术手段来实现保护。视频水印可以理解为以视频为载体对象，加入可识别的数字信号或模式，且不影响视频数据的视觉质量，又能达到用于视频数据对象的版权和内容保护等目的技术手段。视频水印发展的两个主要源动力来自视频的版权保护问题和内容真实性和完整性保护问题。,12.1 概论,就目前所提出的应用情况来看，可包括以下范围： 版权保护（copyright protection） 视频指纹（fingerprinting） 拷贝保护（copy protection） 广播监测（broadcast monitoring） 数据认证（data authentication） 标题和注释（indexing） 安全的隐秘通信（covert communication）,12.1 概论,图12.1 视频广播数字水印版权保护与追踪方案,12.1 概论,图12.2 视频指纹原理,12.1 概论,图12.3 视频点播系统中具有加指纹功能的机顶盒方案,12.1 概论,图12.4 数字视频录制设备的拷贝保护方案,12.2 数字视频特点,视频水印是数字水印技术中的热点和难点。由于视频信息的复杂性，且在存储和传输过程中往往以压缩的形式出现，所以视频水印算法的设计也要考虑到视频信息的这些特点。 视频信息可分为原始视频数据和压缩视频数据两大类。一般可以这样认为，原始视频相当于时间轴上的连续图像序列(如图12.5)；压缩后的视频数据则是以特定的压缩标准而存在的比特数据流。为更好地研究视频水印算法，必须首先了解视频信息的特点。这里主要介绍视频信息的编码标准和视频时空掩蔽效应。,12.2 数字视频特点,图12.5原始视频序列信号,12.2.1视频信息的编码标准,数字视频信号，是指由运动信息连接在一起的数字图像。由于原始数字视频信号数据量较大，在传输和存储遇到困难，所以视频压缩技术一直是多媒体技术工作者的研究对象。 压缩技术种类繁多，目前国际标准化组织的MPEG工作组和ITU-T分别对视频压缩技术进行了标准化，从而诞生了MPEG视频编码标准系列以及H.261和H.263等系列标准。由于基本原理一致，本文主要以MPEG编码标准为研究对象。,12.2.1视频信息的编码标准,MPEG是活动图像专家组(Moving Picture Exports Group)的缩写，成立于1988年。目前MPEG已颁布了多个活动图像及其伴音编码的正式国际标准，MPEG-1和MPEG-2是其中的两个。 MPEG视频编码系统原理及关键技术概括地说，就是利用了图像中的两种特性：空间相关性和时间相关性。 MPEG-1和2都采用了基于离散余弦变换/运动补偿(DCT/MC)的混合编码方案（图12.6）。这种编码方案使用到了三项基本技术。第一项是运动补偿，这是因为视频中的动态图像的每一帧和它的前帧都很多相似之处，可以近似地从前一帧来构造。第二项技术是变换编码，它基于以下两个事实：一是人眼对高频可视信息不敏感；二是变换编码能够把图像的能量相对集中，从而可以用较少的数据位来表示图像。DCT的压缩技术可以减少空间域的冗余度，它不仅用于帧内压缩，也用于帧间残差数据的压缩；第三项技术是熵编码，在运动补偿和变换编码后，对得到的数据进行哈夫曼编码。,12.2.1视频信息的编码标准,图12.6 MPEG视频编码原理框图,12.2.1视频信息的编码标准,视频数据中，动态图像的每一帧有三种基本编码类型：I帧或称为帧内编码帧，这种图像不参考任何其他图像进行编码（图12.7）；P帧或称为前向预测编码帧，这种图像用到了前面的I或P帧的运动补偿；B帧或称为双向预测编码帧，这种图像编码时用到了来自前面和后面的工或P帧的运动补偿。,12.2.1视频信息的编码标准,图12.7 8X8像素块的编码过程,12.2.1视频信息的编码标准,图像内的编码单元是宏块，在每个图像内，宏块按顺序编码，从左到右且从上到下。每个宏块由6个8x8大小的块组成：4个亮度块，一个Cr色度块和一个Cb色度块。编码的过程如下：第一步，为给定的宏块选择编码方式，这依赖于图像类型、局部区域中运动补偿的有效性和块中的信号特性。第二步，根据编码方式的不同，使用过去的参考图像或将来参考图像来估计运算运动补偿预测值，从当前宏块中的实际数据中减去这个预测值得到帧间预测误差信号。第三步，把误差信号分成8x8块，并对每个块完成离散余弦选变换(DCT)，对经过DCT变换后的DCT系数进行量化，对两维块按“之”形顺序进行扫描，以形成一维量化系数串。第四步，对每个宏块的附加信息和量化系数进行编码。最后对量化系数数据进行变长编码。最后得到的MPEG视频流分层语法表示如图12.8所示。,12.2.1视频信息的编码标准,图12.8 MPEG视频流分层语法表示（色度格式4：2：0）,12.1.2视频信息的时空掩蔽效应,数字水印技术正是利用了人眼所感知的有限性，来达到隐藏信息的目的。视频水印的载体对象对于人眼是运动的画面，充分研究视频信息所具有的三维特性即在空间和时间上被人眼所感知的强弱和掩蔽效应，对于在提高水印鲁棒性和水印容量以及保证视觉质量等目标之间达到最佳结合至关重要。在视频序列中，二维空间方向对于人眼的掩蔽效应可以借鉴静态图像的情况。这一类的研究工作相对要多一些，一般是纹理复杂或者是边缘区域的掩蔽效应要比平滑区域的要强，能量高的低频掩蔽系数要比能量低的高频系数掩蔽阈值要大。而在一维时间方向上的掩蔽效应（也称运动掩蔽效应），需要考虑人眼对于运动画面中不同性质的区域的敏感程度。一般来讲，运动剧烈的视频区域相比运动缓慢的视频区域有较好的掩蔽效果。此类研究工作仅局限于视频对象。充分考虑视频的运动性质会大为改善加水印视频的视觉质量，在相关文献中还提出了利用视频运动信息构造水印的方法。随着对人类视觉系统的深入研究，视频信息对于人眼的掩蔽效应模型将会更为精确地建立，从而将会更好地视频水印的性能。,12.3 数字视频水印要求,视频水印具有广泛的价值，不同的使用目的其相应的要求也会有所不同，总体来说一般应具有：鲁棒性（robustness）：指水印能经得起无意修改或恶意攻击。在保证数据对象的使用价值的前提下，无法擦去水印信号。用于认证的脆弱性水印例外，它要求对数据改动的敏感性。安全性(security)：即使水印算法已知，只要水印参数未知，未经授权不知密钥的情况下仍然无法解读水印或者甚至无法检测到水印的存在。使用密钥机制 44 是保证水印安全的途径。不可感知性（imperceptibility：）应包括视觉上不可感知和统计特性不可感知。可视水印例外。,12.3 数字视频水印要求,盲检测性（oblivious）：视频载体的容量之大，要保留所有的原始视频用作恢复水印不太符合实际应用视频系统。除了极少数的方案外，目前研究的主要是盲检测视频水印技术。可证明性（vindicability）：水印应具有能作为呈堂证供的有力工具的效应。低复杂度(low complexity)：作为实时动态的视频流，要求考虑到嵌入和检测算法的复杂度以及针对日用消费用户（如VOD接收用户群）的成本，要能保证视频水印方案的实用性。,视频水印特点和难点,从视频载体的特殊性角度出发，目前视频水印面临主要来自于以下三个方面的问题和挑战：1. 经受各种非恶意的视频处理Photometric处理：这一类处理包含了所有导致视频帧像素发生了改变的正常操作，例如在视频数据传输过程中可能引入的噪声导致视频像素的细微改变。 空间去同步（几何失真）：许多视频水印的嵌入和提取的对应关系是严格地基于视频信息空间结构上的同步的。 时间去同步：视频信息在时间方向上的去同步处理同样的会影响视频水印信号。 视频编辑：随着视频制作和处理技术的发展，视频编缉已成为视频产品商业化档中必不可少的环节。,视频水印特点和难点,表12.1非恶意视频处理的情况,视频水印特点和难点,2. 实时性实时性要求是视频水印算法的特殊要求。对于静态图像水印方案中，水印的嵌入和检测滞后数秒钟是可以允许的。而在实际应用中，在视频中嵌入和检测水印信息一般不允许大量的耗时。视频信号以较高的帧速播放才能获取视觉上平滑的效果（约25帧每秒）。对于一个水印嵌入或者是检测来讲，也同样应该至少能够保持这种速度或者更快的帧率。3. 共谋攻击,视频水印特点和难点,共谋攻击是在静态图像水印算法中已经考虑到的一种特殊水印攻击。它是指一个恶意的使用者群通过共享他们的信息（如不同的加水印数据），来产生非法的内容（如不含水印的数据）。共谋攻击将在两种截然不同的情况下有成功的可能性。共谋攻击类型I：相同的水印嵌入到不同的数据的不同拷贝中。共谋者们能够通过统计平均每个单独加水印数据的方法从中估计出水印信息。这就意味着只须减去水印就可以得到不含水印的数据对象。共谋攻击类型II：不同的水印嵌入到相同数据的不同拷贝中。共谋者们只须叠加手中大量的拷贝，就能统计平均出不含水印的数据对象。这是因为统计独立的水印信息的平均值趋于0。,视频水印特点和难点,共谋攻击问题在视频水印中显得更为重要，因为视频相比静态图像来讲几乎多了一倍的共谋风险。在视频水印算法研究中，需要考虑两种共谋攻击。它们分别是视频间共谋和视频内共谋。视频间共谋：是指一个拥有加水印视频产品的使用者群互相勾结以获得一个不加水印的视频对象。例如，在视频版权保护应用中，相同的版权水印被加入到该版权所有的不同的视频产品，因此遭受共谋攻击类型I的风险较大；而在数字指纹应用中，会在相同视频产品中加入的水印来区别不同的用户，因此遭受共谋攻击类型II的风险较大。视频间共谋要求拥有大量加入相同水印的不同视频产品拷贝，或者是加入不同水印的相同视频产品的拷贝。目的是获得不含水印的视频内容视频内共谋：这是视频水印对象中才会出现的情况。我们知道，视频序列可以看作一个连续的静态图像序列。如果相同的视频水印加入到每一视频帧，在同一视频内遭受共谋攻击类型I的风险也较大，这是因为视频内存在大量的内容不同的视频帧（可从场景运动剧烈的视频中获取）。另一方面，如果不同的水印加入连续的视频帧中，则遭受共谋攻击类型II的风险也会较大。这是因为连续的视频帧具有高度相似性，几乎可以看作是相同的（尤其是在静止场景中）。因此，视频内共谋是设计视频水印时要考虑到的特殊情况。,12.4视频水印的分类,1. 按外观和应用来分,图12.9 视频水印的外观和应用分类,2. 按算法嵌入域来分,图12.10 视频水印的算法实现域分类,3. 按算法模式来分,图12.11 视频水印的算法模式分类,4. 按嵌入阶段来分,图12.12 视频水印按嵌入阶段分类,12.5国内外视频水印介绍,12.5.1面向原始视频水印1. 原始像素域水印爱立信研究院的Frank Hartung提出了借鉴扩频通信的基本思想，在未压缩视频中嵌入数字水印，这是典型的空间像素域扩频水印算法。美国Villanova大学的Mobasseri B.G.将视频看作是时间轴上的比特面序列，通过伪随机形式的二维序列的水印信息来替换不同的视频帧中的不重要比特面，达到水印的嵌入。飞利浦研究院的Ton Kalker教授等针对广播监控的特点，提出了所谓的JAWS (Just Another Watermarking System)水印方案。该算法具有不可见、对广播传输链中的正常操作具有鲁棒性、误警率低、高速传输中有较大负载率以及低复杂度和能实时检测的特点。,图12.13 视频信号的线性扫描,哈尔滨工业大学的牛夏牧教授等人提出了一种具有几何变换鲁棒性的动态图像水印技术，将一个时间轴上的模板嵌入到动态图像序列中的每个水印最小段（Watermark Minimum Segment）内。张春田教授等人提出了一种空间域视频水印自适应检测算法。 北京邮电大学的杨义先教授等人提出在原始视频帧中实现扩频水印方案。 复旦大学的李晓强等人针对空域水印算法鲁棒性较差的这个问题，提出了一个基于多通道的彩色图像水印方案。,直接在像素域进行水印嵌入和提取，主要是为了降低水印处理的复杂度，但是会在鲁棒性方面会有较大缺陷。除了特殊的情况，一般考虑在视频变换域嵌入水印的算法较多。2. 视频变换或编码中加入水印此类算法在原始视频的某个变换域（DCT、DWT、DFT或DHT）进行水印的处理。可以有三种情况：（1）将原始视频看作三维信号，对其进行三维变换，然后加入水印；（2）将视频流看成静态图像的序列，在单帧图像上嵌入水印，或者利用序列图像之间的关系嵌入水印；（3）将视频以块为单位进行频域变换，然后在频域系数块嵌入水印。 中山大学黄继武教授等根据视觉特点和信号特性，提出了一种基于小波变换域的自适应视频水印算法。这时国内变换域自适应视频水印算法的早期代表性工作。,在视频三维变换域中嵌入水印，也是改善鲁棒性能的方法。北京邮电大学的张立和博士等利用Gabor基函数波形类似人视觉皮层简单细胞的感受野波形的特性，结合视觉通道中心频率具有对数频程关系的特点，从视觉系统时空多通道模型角度出发，提出一种三维塔式Gabor变换视频水印算法。西安电子科技大学的李英等也提出了一种基于三维小波的视频水印空时算法。山东大学的孙建德博士等人利用独立特征量提出一种新的盲视频水印方案,在变换域嵌入水印，可以综合利用人类视觉特性、视频序列固有的时间和空间特性、频域变换和通信领域的最新技术，来提高水印的鲁棒性，而且算法不受具体编码标准的约束（MPEG-2基于88块，而MPEG-4基于对象），因此在变换域嵌入水印一直是研究的热点。12.5.2压缩域视频水印,压缩域视频水印算法包括针对MPEG压缩域视频的DCT系数加入水印，运动矢量水印以及其它压缩域参数水印（脸部参数水印）。其中DCT系数中加入水印的方法又可根据部分解码的程度分为系数域、VLC域以及比特位域水印算法。,图12.14 压缩域的视频水印算法分类,图12.15 DCT块层中不同域的表示,1. DCT系数水印（K&Z、DEW，VLC）在视频信息的DCT系数中嵌入水印是主流的视频水印方法，这类算法较成熟。通过改变DCT系数的关系来嵌入水印，德国国家信息技术研究中心的J. Zhao等人提出了一种基于分块DCT系数关系的水印嵌入算法。,图12.16 基于DCT系数关系的水印算法,另外，荷兰Delft理工大学的G.Langelaar等提出利用DCT系数舍弃来构造水印的差分能量水印（Different Energy Watermarking）算法，是目前典型的压缩域视频水印算法之一。,图12.17 差分能量水印算法基本原理图,G. Langelaar等人利用LSB算法的思想，在MPEG码流的VLC码字中嵌入水印。,表12.2 MPEG-2标准中的VLC码对照,图12.18 LSB视频流水印过程,Hartung 和 Girod主要侧重于用于视频指纹应用的压缩视频水印算法研究。他们直接使用扩展频谱方法在视频中嵌入一个加性水印。图12.19为该视频水印的嵌入过程示意图，视频流必须被解析，并且水印信号要进行 DCT 变换处理。,图12.19 H&G视频水印方案,此外，山东大学向辉博士提出了一种DCT域的自适应视频水印算法，根据帧分类、运动分类和视频内容将视频数据分类，并根据分类的结果在不同的区域嵌入不同强度的水印，从而提高了视频数字水印的鲁棒性。 清华大学的吴国威教授等人对数字视频广播中的水印技术进行了研究，提出了一种MPEG-2码流域的视频水印算法，考虑人眼视觉特性，通过对特定位置DCT系数进行修改，以实现水印的嵌入。 基于DCT系数的压缩视频水印充分结合视频的编码结构，最大的优点是保证了水印处理的实时性，而且易于针对MPEG压缩处理预先设置水印的鲁棒性强度（基于DCT系数关系的水印）。但大多水印算法基于8x8的块结构，对于同步攻击（块同步攻击、空间几何变形）较脆弱。,2. 运动矢量水印Alpvision公司的Kutter等人在提出一种在压缩视频中的运动矢量中嵌入/提取水印的算法。 上海交通大学的李介谷教授等人将这种对应关系原则选择性地应用到具有最大幅值的运动矢量上。 针对运动矢量水印鲁棒性改善，欧洲电信的Yann bodo和Jean-Luc提出了一种基于分层结构的运动矢量水印。 浙江大学的朱仲杰博士等人根据运动矢量的特征值，提出了一种运动矢量水印算法。,运动矢量水印的大多数算法具有实时性、大容量、视觉质量等特点，却几乎没有考虑鲁棒性（对码率转换）；少数针对鲁棒性做了工作，但是在视觉质量和实时性方面大打折扣。3. 其它形式的压缩视频水印（脸部参数水印等）Frank Hartung早期提出的在MPEG-4的脸部运动参数中嵌入水印的算法，仍然采用了扩频通信的思想。压缩域算法一般实时性良好，而且易于做到对MPEG压缩鲁棒。其缺点是水印信息受MPEG编码结构限制，一旦解码恢复到空间域，或重新编码，或经受其它视频处理（几何失真等同步攻击）后，水印的提取势必会受到影响。,12.6 DEW视频水印算法实例,直接在原始视频像素域加入水印的方法并不实用。鉴于实际应用环境中的视频特点，一般会考虑对原始视频做变换后，或者直接在压缩视频中嵌入水印信息。因此，我们介绍具有代表性的DEW视频水印算法，该算法既能针对原始视频在压缩编码过程中嵌入水印信息，也能直接面对MPEG压缩视频流添加水印。12.6.1 DEW算法原理差分能量水印算法将L位的水印信息(j =0,1,2, L, L-1)嵌入至MPEG 压缩视频码流中的I帧。水印信息中的每一标记位都有其特定的水印嵌入区域，由n个88亮度块的DCT系数矩阵组成。,下面我们来说明水印嵌入的过程。通过在水印标记区域中引入“能量差”将水印位被嵌入到视频I帧中。所谓“能量差”即是指水印标记区域中上半部分DCT 系数值(由区域A 表示)和下半部分DCT系数(由区域B表示)的“能量”差值。而“能量”则是指在水印嵌入区域中特定子集的DCT系数的平方和。该子集为图12.20中的白色三角形区域，用S(c)表示。,图12.20 16个 88DCT 系数矩阵中能量差定义,我们定义在区域A中的8个DCT系数矩阵中S(c)区域的总能量为： （12-1）区域S(c)的大小是由Z 形扫描DCT系数矩阵中临界序号c来确定的，为：,（12-2）,适当地选择临界点对水印信息嵌入的鲁棒性和不可见性都有非常大的影响，在下一节中将说明这个问题。此处，我们假定已经选择了合适的临界序号，则区域A和区域B中的能量差D表示为：,（12-3）,定义标记位值为能量差的符号值，即标记位“0”定义为D0，而标记位“1”定义为D0。 因此在水印嵌入的过程中必须通过调整和的值来嵌入水印。假定须嵌入标记位“0”，则将区域B 中S(c)区域DCT系数值设为0，因此：当须嵌入标记位“1”，则将区域A 中S(c)区域DCT系数值设为0，因此：,（12-4）,（12-5）,图12.21 88 DCT 块中计算及修改能量值,16.6.2参数选择及流程描述1. DEW算法的参数选择由式12-2和式12-3可以知道区域A和B中的能量大小受到以下几个因素的影响：域A和B中的图像内容；在每个水印嵌入区域中所包含的n大小；预量化JPEG质量因子；S(c)区域的大小；,由式12-2我们知道区域S(c)的大小由临界序号c决定。88的DCT块中Z形扫描的DCT系数按序号从0到63依次排列，其中序号0代表的是直流系数，而序号63代表的是最高频的交流系数。S(c)区域则包含从c到63的DCT系数值。在图12.22中给出了当c值变化时S(c)区域大小的变化以及c值和S(c)区域能量的关系示意图。,图12.22（1） Z形扫描DCT 系数的S(c)区域与临界序号c,图12.22（2）能量和临界序号c 的关系,为了保证图像质量，必须避免丢掉低频的DCT系数，因此设定临界序号c值大于一个最小值，以公式给出如下：下面我们举例说明。在图12-23中，需在n=2的水印嵌入区域DCT 块中嵌入水印比特=0，且能量差D =500。在区域A中，当c=35时，D；而在区域B中，当c=36时,D。这就说明临界序号的最小取值为35。由于需嵌入比特0，则区域B中临界序号后的DCT系数值被置为零。,（12-6）,图12.23 将b00嵌入n=2的水印嵌入区域,在已嵌入水印信息的视频图像中提取比特时，我们需再次找回临界序号c值。首先，需计算当c=1 ，63时所有的能量值和。在水印嵌入的过程中，区域A或B中的部分DCT系数被置为零，因而先找到在区域A和B中使得式12-3计算所得的能量值大于D的最大Z形编码的序号值。而实际的临界序号值可由下式确定：2. 算法的流程描述及实验（1）水印嵌入过程：欲将水印信息L中的嵌入压缩视频码流的I 帧图像，则 确定n/2个88的DCT块的水印嵌入A区域； 计算临界序号c值：,（12-7）, 如果=0，则将区域B中S(c)内的DCT 系数置为0；如果=1，则将区域A中S(c)内的DCT系数置为0；确定n/2个88的DCT块的水印嵌入B区域；（2）水印提取过程欲从已嵌入水印的视频帧图像中提取出水印信息位，则 确定n/2个88的DCT块的水印嵌入A区域； 确定n/2个88的DCT块的水印嵌入B区域；,其中, 计算临界序号c值： 计算能量差D 如果D0，则 ；否则 。,以测试MPEG视频码流sheep-sequence实验DEW算法，可以由表12.3中看出选取不同的水印承载块数n，在码率变化下对DEW水印算法中的不同性能的影响。,表12.3 DEW算法执行中的参数选择以及对水印性能的影响,图12.24 (a)原始视频I幀；(b)水印前后幀差(4 Mb/s)，水印嵌入率0.21 kbit/s (n=64)；(c) 水印前后幀差(8 Mb/s)，水印嵌入率0.42 kbit/s (n =32),图12.25 在MPEG-2序列以1.4 and 8 Mb/s码率编码情况下，不同的切断点C分别对应的满足要求的88DCT系数块百分比率,图12.26 加水印后的sheep-sequence压缩视频相比原始压缩视频，每帧的视觉退化指标MSE(视频码率8 Mbit/s, 水印嵌入率0.42 kbit/s),图12.27 加水印后的Mpeg-2视频序列以初始码率8Mbit/s向低比特率转码过程中带来的水印误码率,12.7 小结,数字视频水印技术是多媒体数字水印研究的热点和难点。由于视频数据的特有结构以及和编码相结合的复杂性，视频水印技术相比静态图像水印的发展相对滞后。然而，当今快速发展的互联网环境使得视频数据的安全性问题摆在了迫在眉睫的位置，这势必对作为潜在解决手段的视频水印技术的研究发展提出了现实要求。本章结合应用情况概述了视频水印技术，介绍了数字视频信息中的编码标准和视频时空掩蔽特性等特点，指出了视频水印具有的特点和难点，按不同的分类方法对视频水印进行了分类，介绍了典型的视频水印算法以及优缺点。并分析了其性能。作为针对视频版权保护和内容认证等诸多应用，视频水印是一种被寄予厚望的技术手段。就目前来看，视频水印研究正致力于解决应用中所存在的难点问题，并努力实现产业化。相信在不久的将来，视频水印技术能够在多媒体信息安全应用中起到切实的关键作用。,