多媒体技术基础第版数字声音编码.ppt

多媒体技术基础(第3版)第3章 数字声音编码,林福宗清华大学 计算机科学与技术系2008年9月,3章 数字声音编码,2,第3章 数字声音编码目录,3.1 声音简介3.1.1 声音是什么3.1.2 声音的频率范围3.2 声音信号数字化3.2.1 从模拟过渡到数字3.2.2 模拟信号与数字信号3.2.3 声音信号数字化3.2.4 声音质量与数据率3.3声音质量的MOS评分标准3.4 脉冲编码调制(PCM)3.4.1 PCM的概念3.4.2 均匀量化3.4.3 非均匀量化3.5 PCM在通信中的应用3.5.1 频分多路复用3.5.2 时分多路复用3.5.3 数字通信线路的数据传输率,3.6 增量调制与自适应增量调制3.6.1 增量调制(DM)3.6.2 自适应增量调制(ADM)3.7 自适应差分脉冲编码调制3.7.1 自适应脉冲编码调制(APCM)的概念3.7.2 差分脉冲编码调制(DPCM)的概念3.7.3 自适应差分脉冲编码调制(ADPCM)3.7.4 G.726 ADPCM编译码器3.8 G.722 SB-ADPCM编译码器3.8.1 子带编码(SBC)3.8.2 子带-自适应差分脉冲编码调制(SB-ADPCM)3.9 线性预测编码(LPC)的概念3.10 GSM声音简介3.11 话音编码标准摘要3.11.1 编码算法的性能3.11.2 话音编码标准参考文献和站点,3章 数字声音编码,3,3.1 声音简介,声音是什么声音是听觉器官对声波的感知，而声波是通过空气或其他媒体传播的连续振动声音的强弱体现在声波压力的大小上，音调的高低体现在声音的频率上声音用电表示时，声音信号在时间和幅度上都是连续的模拟信号，如图3-1所示声波具有普通波所具有的特性，例如反射(reflection)、折射(refraction)和衍射(diffraction)等,图3-1 声音是一种连续的波,3章 数字声音编码,4,3.1 声音简介(续1),Audio是什么 Audio作名词声音 通常指频率在10 Hz和20 000 Hz范围里的声音The part of television or motion-picture equipment that has to do with soundThe broadcasting,reception,or reproduction of soundAudible soundA sound signal Audio作修词音频 修饰或说明人的听觉系统可感知的频率(1020 000 Hz)Relating to frequencies within the range of perception by the human ear from about 15 through 20,000 hertz(cycles per second).Of or relating to humanly audible sound.Of or relating to the broadcasting or reception of sound.Of or relating to high-fidelity sound reproduction,3章 数字声音编码,5,3.1 声音简介(续2),练习:如何翻译下面的术语audio on demand音乐点播/声音点播digital audio数字声音 DVD-audio？streaming audio？audio streaming？MPEG audio？audio compression？声音的频率高保真声音(high-fidelity audio):10 20 000 Hz声音(audio):20 20 000Hz话音(speech):3003000/3400 Hz亚音/次音(subsonic):20 000 Hz,3章 数字声音编码,6,3.2 声音信号数字化,数字化的概念采样和量化连续时间的离散化通过采样来实现，就是每隔相等的一段时间采样一次，这种采样称为均匀采样(uniform sampling)连续幅度的离散化通过量化(quantization)来实现，就是把信号的强度划分成一小段一小段，如果幅度的划分是等间隔的，就称为线性量化，否则就称为非线性量化。图3-2表示了声音数字化的概念,图3-2 声音的采样和量化,3章 数字声音编码,7,3.2 声音信号数字化(续1),采样频率采样频率由根据奈奎斯特理论(Nyquist theory)确定奈奎斯特理论指出，采样频率不应低于声音信号最高频率的两倍，这样就能把以数字表达的声音还原成原来的声音，这叫做无损数字化(lossless digitization)假设被采样信号的最高频率为fmax，则采样定律可用公式表示为,读者可这样来理解奈奎斯特理论声音信号可看成是由许多正弦波组成的，一个振幅为A、频率为f的正弦波至少需要两个采样样本表示，因此，如果一个信号中的最高频率为fmax,采样频率最低要选择2 fmax。例如，话音信号的最高频率约为3.4 kHz，采样频率就选为8 kHz,3章 数字声音编码,8,3.2 声音信号数字化(续2),采样精度度量声音波形幅度的精确程度，用每个声音样本的位数(即bps)表示例如每个声音样本用16位表示，测得的声音样本值是在065535范围里的数，它的精度是1/65536精度是在模拟信号数字化过程中度量模拟信号的最小单位，因此也称量化阶(quantization step size)01 V的电压用256个数表示时，量化阶等于1/256 V样本位数的大小影响到声音的质量，位数越多，声音质量越高，所需存储空间也越多；位数越少，声音质量就越低，所需存储空间也越少,3章 数字声音编码,9,3.2 声音信号数字化(续3),采样精度的另一种表示方法是信号噪声比，简称为信噪比(signal-to-noise ratio，SNR)，并用下式计算,其中，Vsignal表示信号电压，Vnoise表示量化噪声电压(模拟信号的采样值和与它最接近的数字数值之间的差值)，SNR的单位为分贝(db),3章 数字声音编码,10,3.2 声音信号数字化(续4),声音质量和数据率 质量度量,*电话使用m律编码，动态范围为13位，压缩后的样本精度为8位,3章 数字声音编码,11,3.3 声音质量的MOS评分标准,声音质量的衡量方法声音带宽法等级由高到低依次是DAT、CD、FM、AM和数字电话客观质量度量用信噪比(SNR)表示，详细计算请参看林福宗和陆达编写的多媒体与CD-ROM，1995.3清华大学出版社出版主观质量度量度量方法类似于电视节目中的歌手比赛，由评委对每个歌手的表现进行评分，然后求出平均值 有时同时采取两种方法评估，有时以主观质量度量为主,3章 数字声音编码,12,3.3 声音质量的MOS评分标准(续),主观平均分(mean opinion score，MOS)对声音主观质量度量比较通用的标准是5分制，各档次的评分标准见表3-2,表3-2 声音质量MOS评分标准,3章 数字声音编码,13,3.4 脉冲编码调制(PCM),脉冲编码调制(PCM)的概念 PCM是pulse code modulation的缩写概念上最简单、理论上最完善、最早研制成功、使用最为广泛、数据量最大的编码系统,图3-3 PCM编码原理框图,3章 数字声音编码,14,3.4 脉冲编码调制(续1),在图3-3中输入是模拟信号，输出是PCM样本。防失真滤波器：低通滤波器，用来滤除声音频带以外的信号波形编码器：可理解为采样器量化器：可理解为“量化阶大小(step-size)”生成器或者称为“量化间隔”生成器PCM实际上是模拟信号数字化 模拟声音数字化的两个步骤：第一步是采样，就是每隔一段时间间隔读一次声音的幅度第二步是量化，就是把采样得到的声音信号幅度转换成数字值,3章 数字声音编码,15,3.4 脉冲编码调制(续2),量化的方法主要有均匀量化和非均匀量化均匀量化采用相等的量化间隔/等分尺度量采样得到的信号幅度，也称为线性量化。量化后的样本值Y和原始值X的差E=Y-X称为量化误差或量化噪声,图3-4 均匀量化,3章 数字声音编码,16,3.4 脉冲编码调制(续3),非均匀量化大的输入信号采用大的量化间隔，小的输入信号采用小的量化间隔可在满足精度要求的情况下用较少的位数来表示声音数据还原时，采用相同的规则采样输入信号幅度和量化输出数据之间定义了两种对应关系律压扩算法A律压扩算法注：压扩(companding),图3-5 非均匀量化,3章 数字声音编码,17,3.5 PCM在通信中的应用,时分多路复用 PCM编码早期主要用于话音通信中的多路复用时分多路复用是在同一条通信线路上使用不同时段“同时”传送多个独立信号的通信方法时分多路复用的核心思想是将时间分成等间隔的时段，为每对用户指定一个时间间隔，每个间隔传输信号的一部分例如，话音信号的采样频率f8000 Hz/s，它的采样周期125 s，这个时间称为1帧(frame)。在这个时间里可容纳的话路数有两种规格24路制30路制,3章 数字声音编码,18,3.5 PCM在通信中的应用(续1),24路制的重要参数如下：每秒钟传送8000帧，每帧125s12帧组成1复帧(用于同步)。每帧由24个时间片(信道)和1位同步位组成每个信道每次传送8位代码，1帧有24 8 1193位(位)数据传输率R80001931544 kb/s每一个话路的数据传输率80008=64 kb/s,图3-6 24路PCM的帧结构,3章 数字声音编码,19,3.5 PCM在通信中的应用(续2),30路制的重要参数如下：每秒钟传送8000帧，每帧125 s16帧组成1复帧(用于同步)每帧由32个时间片(信道)组成每个信道每次传送8位代码数据传输率：R80003282048 kb/s每一个话路的数据传输率80008=64 kb/s 线路利用率使用时分多路复用技术时，由于当信道无数据传输时仍给那个信道分配时间槽，因此线路利用率较低为解决这个问题，开发了统计时分多路复用技术(statistical time division multiplexing,STDM)。STDM是按照每个传输信道的传输需要来分配时间间隔的时分多路复用技术，可提高传输线路的效率,3章 数字声音编码,20,3.5 PCM在通信中的应用(续3),数字通信线路的数据传输率 为反映PCM信号复用的复杂程度，通常用“群(group)”这个术语来表示，也称为数字网络的等级传输容量由一次群(基群)的30路(或24路)，增加到二次群的120路(或96路)，三次群的480路(或384路)，图3-7表示二次复用的示意图。图中的N表示话路数，无论N30还是N24，每个信道的数据率都是64 kb/s，经过一次复用后的数据率就变成2048 kb/s(N30)或1544 kb/s(N24)在数字通信中在北美，具有1544 kb/s数据率的线路叫做“T1远距离数字通信线路”，提供这种数据率的服务级别称为T1等级在欧洲，具有2048 kb/s数据率的线路叫做“E1远距离数字通信线路”，提供这种数据率的服务级别称为E1等级T1/E1，T2/E2，T3/E3，T4/E4和T5/E5的数据传输率见表3-3,3章 数字声音编码,21,3.5 PCM在通信中的应用(续4),时分多路复用示意图,图3-7 二次复用示意图,3章 数字声音编码,22,3.5 PCM在通信中的应用(续5),T1/E1，T2/E2，T3/E3，T4/E4和T5/E5的数据传输率,注：在ITU的文件中，数据率用kb/s和Mb/s做单位，因此该表没有用kbps和Mbps做单位,3章 数字声音编码,23,3.6 增量调制与自适应增量调制,增量调制也称调制(delta modulation，DM)，是一种预测编码技术对实际的采样信号与预测的采样信号之差的极性进行编码。如果实际的采样信号与预测的采样信号之差的极性为“正”，则用“1”表示；相反则用“0”表示，或者相反由于DM编码只须用1位对话音信号进行编码，所以DM编码系统又称为“1位系统”比较：PCM是对每个采样信号的整个幅度进行量化编码,图3-8 DM波形编码示意图,3章 数字声音编码,24,3.6 增量调制与自适应增量调制(续),自适应增量调制(ADM)根据输入信号斜率的变化自动调整量化阶的大小，以使斜率过载和粒状噪声都减到最小。在检测到斜率过载时开始增大量化阶，而在输入信号的斜率减小时降低量化阶例如，宋(Song)在1971描述的ADM技术中提出：每当输出不变时量化阶增大50%；每当输出值改变时，量化阶减小50%又如，由格林弗基斯(Greefkes)在1970年提出的连续可变斜率增量调制(CVSD)的基本方法是：如果连续可变斜率增量调制器的输出连续出现三个相同值时，量化阶加一个大的增量，反之，就加一个小的增量。Motorola公司于20世界80年代初期开发了实现CVSD算法的集成电路芯片，如MC3417/MC3517用于一般的数字通信，MC3418/MC3518用于数字电话。MC3417/MC3418用于民用，MC3517/MC3518用于军用,3章 数字声音编码,25,3.7 自适应差分脉冲编码调制,APCM的概念APCM是什么adaptive pulse code modulation的缩写，自适应脉冲编码调制根据输入信号幅度大小来改变量化阶大小的一种波形编码技术自适应瞬时自适应，即量化阶的大小每隔几个样本就改变音节自适应，即量化阶的大小在较长时间里发生变化,3章 数字声音编码,26,3.7 自适应差分脉冲编码调制(续1),改变量化阶大小的方法(1)前向自适应(forward adaptation)：根据未量化的样本值的均方根值来估算输入信号的电平，以此来确定量化阶的大小，并对其电平进行编码作为边信息(side information)传送到接收端前向自适应APCM的基本概念如图3-9(a)所示,(a)前向自适应图3-9 APCM方块图,3章 数字声音编码,27,3.7 自适应差分脉冲编码调制(续2),改变量化阶大小的方法(2)后向自适应(backward adaptation)：从量化器刚输出的过去样本中提取量化阶信息。由于后向自适应能在发收两端自动生成量化阶，所以它不需要传送边信息。后向自适应APCM的基本概念如图3-9(b)所示,(b)后向自适应图3-9 APCM方块图,3章 数字声音编码,28,3.7 自适应差分脉冲编码调制(续3),DPCM的概念DPCM是什么APCM中文术语为差分脉冲编码调制differential pulse code modulation的缩写利用样本与样本之间存在的信息冗余来进行编码的一种数据压缩技术基本思想：根据过去的样本去估算下一个样本信号的幅度大小，这个值称为预测值，然后对实际信号值与预测值之差进行量化编码，从而就减少了表示每个样本信号的位数它与脉冲编码调制(PCM)不同的是，PCM是直接对采样信号进行量化编码，而DPCM是对实际信号值与预测值之差进行量化编码，存储或者传送的是差值而不是幅度绝对值，这就降低了传送或存储的数据量。可适应大范围变化的输入信号,3章 数字声音编码,29,3.7 自适应差分脉冲编码调制(续4),DPCM原理差分信号d(k)：离散输入信号s(k)和预测器输出的估算值se(k-1)之差对d(k)进行量化编码，得到,图3-10 DPCM方块图,3章 数字声音编码,30,3.7 自适应差分脉冲编码调制(续5),ADPCM的概念ADPCM的中文术语为自适应差分脉冲编码调制adaptive difference pulse code modulation的缩写综合了APCM的自适应特性和DPCM系统的差分特性，是一种性能比较好的波形编码技术它的核心想法是：利用自适应的思想改变量化阶的大小，即使用小的量化阶(step-size)去编码小的差值，使用大的量化阶去编码大的差值使用过去的样本值估算下一个输入样本的预测值，使实际样本值和预测值之间的差值总是最小,3章 数字声音编码,31,3.7 自适应差分脉冲编码调制(续6),ADPCM编码框图如图3-11所示 接收端的译码器使用与发送端相同的算法，利用传送来的信号来确定量化器和逆量化器中的量化阶大小，并且用它来预测下一个接收信号的预测值,图3-11 ADPCM方块图,3章 数字声音编码,32,3.8 G.722 SB-ADPCM编译码器,G.722推荐标准507000 Hz的话音称为宽带话音1988年CCITT制定的，称为“数据率为64 kb/s的7 kHz声音信号编码(7 kHz Audio-coding with 64 kb/s)”910该标准把话音信号的质量由电话质量提高到AM无线电广播质量，而其数据传输率仍保持为64 kb/s在可懂度和自然度方面都比带宽为3003400 Hz的话音有明显提高，也更容易识别对方的说话人采用的技术子带编码(SBC)自适应差分脉冲调制(ADPCM)编码,3章 数字声音编码,33,3.8 G.722 SB-ADPCM编译码器(续1),子带编码(sub-band coding，SBC)用一组带通滤波器(band-pass filter，BPF)把输入声音信号的频带分成若干个连续的频段，每个频段称为子带。对每个子带中的声音信号采用单独的编码方案去编码在信道上传送时，将每个子带的代码复合在一起；在接收端译码时，将每个子带的代码单独译码，然后把它们组合起来，还原成原来的声音信号好处有两个可对每个子带信号分别进行自适应控制，量化阶的大小可按照每个子带的能量电平加以调节。具有较高能量电平的子带用大的量化阶去量化，以减少总的量化噪声可根据每个子带信号在感觉上的重要性，对每个子带分配不同的位数，用来表示每个样本值。,3章 数字声音编码,34,3.8 G.722 SB-ADPCM编译码器(续2),例如，在低频子带中，为了保护音调就要求用较小的量化阶、较多的量化级数，即分配较多的位数来表示样本值。而话音中的摩擦音和类似噪声的声音，通常出现在高频子带中，对它分配较少的位数SBC的方块图如图3-13所示，图中的编码/译码器可以采用ADPCM，APCM或PCM,图3-13 子带编码方块图,3章 数字声音编码,35,3.8 G.722 SB-ADPCM编译码器(续3),声音频带的分割可用树型结构的式样进行划分首先把整个声音信号带宽分成两个相等带宽的子带：高频子带和低频子带然后对这两个子带用同样的方法划分，形成4个子带这个过程可按需要重复下去，以产生2k个子带，K为分割的次数用这种办法可以产生等带宽的子带，也可以生成不等带宽的子带例如，对带宽为4000 Hz的声音信号，当K=3时，可分为8个相等带宽的子带，每个子带的带宽为500 Hz；也可生成5个不等带宽的子带，分别为0,500),500,1000)，1000,2000),2000,3000)和3000，4000 采用正交镜像滤波器(quadrature mirror filter，QMF)来划分频带,3章 数字声音编码,36,3.8 G.722 SB-ADPCM编译码器(续4),SB-ADPCM编译码器方框图,图3-17 7 kHz声音信号64 kb/s数据率的编译码方块图,3章 数字声音编码,37,3.9 线性预测编码(LPC)的概念,线性预测编码(linear predictive coding，LPC)话音压缩技术。将话音生成机理模型化为一个离散的、时变的、线性的递归滤波器编码时使用线性预测分析话音波形产生声道激励和转移函数的参数，对声音波形的编码实际就转化为对这些参数的编码，这就可减少声音的数据量译码时使用线性预测分析得到的参数，通过话音合成器重构话音。合成器实际上是一个离散的随时间变化的时变线性滤波器，它代表人的话音生成系统模型时变线性滤波器分析话音波形时，当作预测器使用合成话音波形时，当作生成模型使用,3章 数字声音编码,38,3.9 线性预测编码(LPC)的概念(续1),线性预测器使用过去的P个样本值来预测现时刻的采样值x(n)，如图3-18所示,图3-18 预测概念,3章 数字声音编码,39,3.9 线性预测编码(LPC)的概念(续2),预测值用过去P个样本值的线性组合表示为,为方便起见，式中采用了负号 残差误差即线性预测误差为一个线性差分方程，,在给定的时间范围里，如n0,n1,使e(n)的平方和即,为最小，这样可使预测得到的样本值更精确。,3章 数字声音编码,40,3.9 线性预测编码(LPC)的概念(续3),预测系数通过求解偏微分方程，可找到系数ai的值如果把发音器官等效成滤波器，这些系数ai可以理解成滤波器的系数在接收端重构的话音不再具体复现真实话音的波形，而是合成的声音,3章 数字声音编码,41,3.10 GSM编译码器简介,GSM编译码器简介 GSM是Global System for Mobile communications的缩写，可译成全球数字移动通信系统GSM算法是1992年柏林技术大学(Technical University Of Berlin)根据GSM协议开发的，这个协议是欧洲最流行的数字蜂窝电话通信协议。除了ADPCM算法已经得到普遍应用之外，还有一种使用较普遍的波形声音压缩算法叫做GSM算法，使用这种算法的编码器称为GSM编码器,3章 数字声音编码,42,3.10 GSM编译码器简介(续),GSM的性能GSM的输入：数据分成帧(frame)，一帧(20毫秒)由带符号的160个样本组成，每个样本为13位或16位的线性PCM(linear PCM)码使用的采样频率为8 kHz时，如果每个样本为16位，那么未压缩的话音数据率为128 kb/sGSM的输出：一帧(16016位)的数据压缩成260位的GSM帧，相当于13 kb/s。由于260位不是8位的整数倍，因此编码器输出的GSM帧为264位的线性PCM码使用GSM压缩后的数据率为：(264位8000样本/秒)/160样本=13.2 千位/秒GSM的压缩比：128:13.2=9.7，近似于10:1,3章 数字声音编码,43,3.11 话音编码标准摘要,编码算法的性能,表3-5 部分编码器的MOS分,3章 数字声音编码,44,第3章 数字声音编码参考文献,ITU G系列推荐标准文档的下载网址：.Thomas J.Lynch,Ph.D.Data Compression Techniques and Application.Van Nostrand Reinhold Company，1985Thomas W.Parsons.Voice and Speech Processing.McGraw-Hill Book Company.1986Sadaoki Furui.Digital Speech Processing,Synthesis,and Recognition.Marcel Dekker,INC.，1989林福宗，陆 达.多媒体与CD-ROM.北京：清华大学出版社,1995.3(1)SNR的计算：pp171-173。(2)律和A率的计算：pp171-193CCITT,Recommendation G.711,Pulse Code Modulation(PCM)of Voice Frequencies,Blue Book,Vol.III,Fascicle III.4.1988CCITT,Recommendation G.721,32 kb/s Adaptive Differential Pulse Code Modulation(ADPCM),Blue Book,Vol.III,Fascicle III.4.1988,3章 数字声音编码,45,第3章 数字声音编码参考文献(续),CCITT,Recommendation G.726,40,32,24,16 kbit/s Adaptive Differential Pulse Code Modulation(ADPCM),Geneva,1990CCITT,Recommendation G.722,7 kHz Audio Coding With 64 kb/s,Blue Book,Vol.III,Fascicle III.4.1988Paul Mermelstein,G.722,A New CCITT Coding Standard for Digital Transmission of Wideband Audio Signal.IEEE Communications Magazine，Vol.26,No.1，January 1988CCITT,Recommendation G.723,Extensions of Recommendation G.721 ADPCM to 24 and 40 kb/s for DCME Application,Blue Book,Vol.III,Fascicle.4.1988Esin Darici Haritaoglu,Wideband Speech and Audio Coding,http:/各种文件存储格式：http:/,END,第3章 数字声音编码,