语音信号的频域分析.ppt

国家“十一五”规划教材数字语音编码讲议同济大学电子与信息工程学院赵晓群编著机械工业出版社，2007年,第5章语音信号的频域分析5.1概述 语音感知与语谱特性关系密切，人对语谱特性更敏感。幅频谱特性相似的两段语音，感知相似。语谱具有语言声学意义，反应了重要的语音特征；如共振峰频率、带宽等。进行语音频谱分析是认识和处理语音信号的重要方法。Fourier 分析是有效手段，是语音的重要分析工具。语音是非平稳信号，源于发声器官的物理运动过程。在短时间段（如10 30 ms）内可认为是平稳的；用时间依赖处理方法分析处理。,短时 Fourier 分析（时间依赖 Fourier 变换）：用稳态分析处理非平稳信号的一种方法语音的频域分析：包括语音信号的频谱、功率谱、倒频谱、频谱包络等，常用频域分析方法：带通滤波器组法、Fourier 变换法、同态分析、线性预测法等。本章：带通滤波器组法、Fourier 变换法、频域基音检测、时-频表示,第5章语音信号的频域分析5.2基于滤波器组的频域分析 最早的频谱分析：滤波器组来实现。特点：简单、实时性好、受外界影响小。常用模拟滤波器实现，也可用数字滤波器实现。宽带带通滤波器：平坦特性，可粗略求取语音频谱，分辨率较低，相当于短时处理时窄窗情况。窄带带通滤波器：频率分辨率较高，相当于短时处理时宽窗较宽的情况。图5.1：滤波器组法频谱分析原理图。,第5章语音信号的频域分析5.3短时 Fourier 变换(STFT)的定义和性质 5.3.1STFT 的定义语音序列是时变的。分段方法：加一个沿时间轴滑动的窗函数；通常窗的宽度有限；对应于不同的 n 值，窗处于不同位置；窗函数对语音信号的每个样本进行加权。图5.2：移动窗函数选取语音段的示意图 图中使用的是非矩形窗，时刻 n 位于窗的中心,x(m)的短时 Fourier 变换（STFT）Xn(ej)的定义：式中，w(n)是窗函数。为位于 n 处的窗口观察到的窗选语音短段的 Fourier 变换；n 取不同值时，取出不同的语音短段；Xn(ej)是频率 和时间 n 的函数；有时-频性。要求：STFT 存在，则对所有 n 值，一定绝对可和。因窗宽有限，或无限冲激响应窗函数，其有效宽度有限，故满足绝对可和。,根据 STFT，恢复原语音信号 x(m)的方法：式 的逆变换为：若w(0)0，由上式得：准确地恢复原信号的唯一约束条件是 w(0)0。,由STFT的谱 Xn(ej)求解 x(m)的 Fourier 变换 X(ej)方法。假设 x(m)和 w(m)的 Fourier 变换都存在，即：因 Xn(ej)是 x(m)w(n-m)的 Fourier 变换，则 Xn(ej)是 X(ej)与 ejnW(e-j)的卷积，即 为使 Xn(ej)准确代替 X(ej)，移动窗的 W(ej)应是冲激函数；即要求移动窗无限宽。,注意：由于语音是时变的，故其 Fourier 变换可能不存在。通常，窗函数是有限时宽，故窗选语音段可看成从无限长的基本性质延续不变的平稳信号中截取出来的；对于爆破音等暂态音，则可看成在窗外取值为零。若把X(ej)看成是基本性质在窗外延续不变或窗外取值为零的某个平稳信号的 Fourier 变换，则式 就是有意义的。观点：STFT 是平稳信号的 Fourier 变换经加窗平滑的结果。,5.3.2窗函数及窗宽对STFT的影响图5.3a：元音 i 的波形和短时频谱图。元音 i 的基音周期大约是 13 ms；短时频谱图有两种变化：快变化：周期性激励引起，基音频率的各次谐波；慢变化：声道共振特性引起，各共振峰的频率和带宽。两个频谱图间的差别：矩形窗时：谐波各峰较尖锐，谱图较破碎（类似于噪声），主瓣较窄（较高频率分辨率）；旁瓣较高，“泄漏”严重；Hamming 窗时：短时频谱平滑些。短时谱分析，Hamming 窗较普遍。,分析窗宽对短时频谱的影响：图5.4(a)：元音 i 的波形和短时频谱图。窗宽 6.4 ms，元音 i 的基音周期大约是 13 ms；窗选语音段长不到一个基音周期，丢失了基音周期的信息；频的快变化（谐波频率）消失。频的慢变化（较宽的峰）保留，是声道的共振特性。矩形窗比 Hamming 时，呈现较多的细致结构，由于矩形窗比 Hamming 窗 具有更高的频率分辨率。,图5.3，5.4(b)：清辅音 j 短时频谱图。图5.3(b)：窗较长，频率分辨率高，许多快变化，反映了激励源的白噪声特性随机起伏。矩形窗时，快变化尤为突出。仍然看出声道滤波器的共振特性。,5.3.3结论长窗具有较高的频率分辨率，较低的时间分辨率；短窗具有较低的频率分辨率，较高的时间分辨率；窗宽的选择需折衷考虑；语音的基音周期值范围很大，窗宽选择应考虑该因素。矩形窗和 Hamming 窗的频谱特性都具有低通的性质。截止频率处都较尖锐，当通带较窄时（窗较宽），频谱能很好逼近短时语音谱。窗越宽逼近效果越好。,第5章语音信号的频域分析5.4STFT的实现 STFT的定义：将窗函数的位置参数 n 看成是参变量，给定 n，是连续变量 的函数，为语音段的标准Fourier 变换 从不同角度来解释 STFT，可得不同的实现方法。线性滤波的角度：为参变量，给定 时，是 n 的函数。重写定义式：表明：卷积实现，w(n)与 x(n)e-jn，序列 x(n)e-jn 通过冲激响应为 w(n)的线性滤波器的输出 此时，看成是固定值。图5.5：STFT 的线性滤波实现,图5.5：STFT 的线性滤波实现图5.6：图5.5方案的实数运算 图5.6方案原理：设：则可计算：,令，代入式 将 用 m 表示，得：上式可用图5.7方案实现；图5.8：图5.7方案的实数运算(推导略),图5.8用实数实现图5.7的方框图,可推得：需要计算Xn(ej)时，用图5.8实现简单；需要计算 an()、bn()时，用图5.6实现较简单。线性滤波实现 STFT 的主要优点：利用了成熟的线性滤波器的成果，实现方法非常简单。线性滤波分有限冲激响应的和无限冲激响应的、因果的和非因果的线性滤波方法，相应地，STFT 或时变频谱分析也可分成有限窗宽和无限窗宽、因果窗和非因果窗等类型。,第5章语音信号的频域分析5.5短时 Fourier 谱的取样STFT 谱：一维时变信号的二维时-频表示，n 和 的函数。采样定理：以不低于其最高频率两倍的取样频率取样，由样本准确恢复出原始信号。STFT 的取样：是一个更复杂的问题。在时-频变量 n 和 上同时进行，并保证不产生混叠失真。,5.5.1时域取样 STFT线性滤波实现：图5.5示。w(n)：窄带低通滤波器，带宽为 B。则：Xn(ej)的带宽也为 B。在时域内，以 2B 速率对 Xn(ej)取样，不产生混叠失真。Hamming 窗时：w(n)的带宽 B=2fs/N，(fs 取样频率，N 窗宽)时域内的取样频率 2B=4fs/N。例：设 N=100，fs=10 kHz，则取样频率400 Hz，语音信号每输入 25 个样本计算一次短时谱即可。多数实际窗函数，频带宽度 B 与 fs/N 成正比例，即：式中，k 为比例常数。Hamming 窗 k=2，矩形窗 k=1。在时域内，Xn(ej)的取样频率为：,5.5.2频域取样 Xn(ej)：角频率 的周期函数，周期 2。在 2 范围内讨论频域取样问题。02 内均匀取样 L 点，取样角频率k=2k/L，k=0,1,L-1讨论 L 取值：设w(n)的窗宽为 N。由于 Xn(ej)是 x(m)w(n-m)的 Fourier 变换，则其 Fourier 逆变换的宽度也应当为 N（有限时宽）。频域内，在 L 个角频率点上对 Xn(ej)取样，根据样本恢复的信号应该是 x(m)w(n-m)的周期延拓（周期 2k/k=L）。使恢复的时域信号不产生混叠失真，要求：即：在 02 范围内，频域取样至少有 N 点。例：若窗宽 N=100，在频域中 Xn(ej)的取样100点。,5.5.3时域和频域的总取样 因为：时域取样率：频域取样率：则：时频域总取样率：k 值由窗函数确定，2k 值称为“过取样比”。STFT：用数倍于信号波形取样率的速率取样，其代价有时是很值得的。同时在时、频域取样时，两个域的取样率可以相互调剂，提供了灵活性。欠取样：可用低于 2kfs 的取样率，虽发生混叠失真，但仍有方法准确恢复出原语音信号（见5.6.2节）。如：谱估计、基音和共振峰分析、数字谱图以及声码器等 应用中。,第5章语音信号的频域分析5.6语音的短时合成技术语音的短时合成：从 STFT 样本中恢复原始语音信号。5.6.1滤波器组相加法当 固定时，STFT 的线性滤波解释有两种；Xn(ej)是序列 x(n)e-jn 通过冲激响应为 w(n)的 低通窄带滤波器产生（见图5.5）；Xn(ej)是序列 x(n)通过冲激响应为 w(n)ejn 的 窄带带通滤波器后，再用 e-jn 进行调制产生（见图5.7）。已有的采样结论：窗宽为 N，频域内对 Xn(ej)进行 N 点取样，不引起时域混叠失真。STFT可以用它在 02 范围内 N 个等间隔频率点 k=2k/L，k=0,1,L-1上的样本来代替。,图5.9：语音的短时分析-合成系统 图5.7的 STFT 的线性滤波实现方案为图5.9的左半部分；用 N 个滤波器（通道）：构成的滤波器组进行短时 Fourier 分析。N个带通滤波器的中心频率在 02 范围内是 等间隔均匀分布，但也可以是非均匀分布。非均匀分布情况下，需满足关于=对称的条件。,短时 Fourier 分析的合成问题：从短时 Fourier 分析的结果 恢复出原始语音信号 x(n)的方法。是以 k 为中心的带通信号的低通表示。这说明，从 恢复原始信号，应该将低通信号搬回到带通的位置去，即将零频率搬到上去。合成原理：第 k 个通道的输出 应乘以，并将 N 个通道的结果相加就可得到原始信号 x(n)。短时分析合成系统的输出（见图5.9）：从 x(n)到 y(n)的系统的冲激响应h(n)和其频率特性为：式中 分别是 h(n)和 hk(n)的频率特性。,W(ej)分析窗 w(n)的频率特性。由于，所以：W(ej)的 N 个等间隔频率点 上取样为，的逆变换为时间序列 w(n)，是周期为 N 的延拓，即：由于，w(n)是宽度为 N 的有限时宽序列，W(ej)的频域取样点在 02 范围内有 N 个，所以，上式的逆变换得到的周期序列没有重叠失真，其中的一个周期将准确等于 w(n)。令 n=0，计算 w(0)为：,将频率点 k 换成另外 N 个频率点-k，代入上页式，得：由式，考虑上式关系，得：可见：联系 x(n)和 y(n)的带通滤波器组的总的冲激响应 所对应的频率特性是一个取决于窗函数在 n=0 时的值，而与窗函数的形式无关的一个常量。由此可以得到相应的冲激响应为：于是，短时分析合成系统的输出为：综上，短时分析合成系统的带通滤波器组的约束条件为：,5.6.2叠接相加法x(n)的短时谱为 Xn(ej)，是 x(m)w(n-m)的 Fourier 变换；对 Xn(ej)求离散 Fourier 逆变换，可得 x(n)。问题是，计算数据只有，而不是 Xn(ej)。公式推导如下：假设窗 w(n-m)每次移动R个取样间隔，即 n=rR,r=,0,1,。于是可相继恢复出位于n=0,R,2R,.处各窗口内的各 N 个取样信号值，这些样本可表示为：是窗口位于 n=rR 处的 的值。将各窗口内恢复出来的信号样本中，相互重叠的样本相加，得：,如果w(m)是有限窗宽，且 在时域内满足取样定理，（矩形窗 RN/2，Hamming 窗 RN/4）可以证明对于任何 m 值，恒有 于是，有：可见，用叠接相加法的 主要运算是逆离散Fourier变换。图5.10：该算法流程图。图5.11：前5段语音叠接相加的情况。,加Hamming窗取R=N/4,注：滤波器组相加法基于短时频谱的线性滤波解释导出；叠接相加法基于短时频谱的标准 Fourier 变换解释导；两种算法恰成一种对偶关系。,第5章语音信号的频域分析5.7基于 FFT 的短时 Fourier 分析 x(m)的短时 Fourier 变换 Xn(ej)经时频采样后，为离散信号，经适当处理，可以用快速 FFT 完成计算。推导过程（略）。计算步骤：由x(m)构造序列 xn(m)=x(n+m)w(-m)；根据 m=Lr+q,(q=0,1,L-1;r=0,1,N/L-1)，将 xn(m)分成长为 L 的 N/L 个短段，并将所有短段各对应元素相加，得到长为 L 的序列 un(q)；将 un(q)循环移位 n，得到 un(m-nL),(m=0,1,L)；用FFT计算以 un(m-nL)的 L 点DFT，得到,第5章语音信号的频域分析5.8频域基音检测频域基音检测：计算复杂性较高。目前 DSP 技术，计算复杂性变得不太重要。已用于编码标准中，如海事卫星系统 INMARSAT-M。5.8.1 谐波峰值基音检测法 频域基音检测方法：抽取基频上的频谱峰值。要求：语音中存在第一谐波分量；但预处理等可能丢失信息，更实际的方法：检测所有的谐波峰值，使用这些谐波的公约数或者相邻谐波的距离来测量基频。可以使用梳状滤波器完成匹配工作。,梳状滤波器的特性：式中，C(,0)和语音的频谱相关。相关输出是加权的梳状峰值之和：式中,m 是所考虑的最大频率。若 0 等于基频，则梳状响应能够匹配谐波的峰值，会得到最大的输出。图5.13：谐波峰值的匹配方法。,5.8.2频谱相似度基音检测法 比较原始频谱和重构频谱的相似性，从而确定基音周期。使用方均频谱误差的相似性误差评价准则。误差函数为：式中，为候选的基音周期；2M+1为分析窗的大小；Xw()为窗选语音的原始频谱，为依赖于基音的重构频谱W()为窗函数的 Fourier 变换，有关表达式为：,1988 年，该方法用于Griffin建议的多带激励声码器标准中。图5.14：典型的具有正确基音的原始频谱和合成频谱。,第5章语音信号的频域分析5.9语音信号的时-频表示（略）5.9.1传统Fourier变换的缺点及时-频分析思想(1)Fourier变换的时间分辨率为零(2)Fourier变换基于信号平稳的假设(3)Fourier变换在全频域范围内分辨率相同 5.9.2信号的时-频表示(1)线性时-频表示(2)二次时-频表示(3)其他时-频表示：Cohen-Posch类分布、L-Wigner分布5.9.3不确定性原理 有效时域半径和有效频域半径的约束关系：5.9.4Gabor变换5.9.5小波变换及在语音中的应用,谢 谢!,