小二乘自适应滤波.ppt
3.4.3 线性矢量空间,1.基本概念（1）维矢量空间 设 是由 个基本列矢量 组成的数据矩阵:由这个 列矢量 作为基底矢量张成的空间,称为 维矢量空间,用 表示.因此:基本矢量是指这些矢量相互独立且正交.矢量对应于一组数据.空间对应于一个(数据)矩阵.空间的维数指用来张成该空间的最少矢量个数.线性矢量空间由若干个矢量 的线性组合得到的空间.（2）子空间 用少于某空间维数的矢量张成的空间,称为子空间.例如:,基本矢量是指这些矢量相互独立且正交.,设矢量 张成空间;张成空间若张成空间,则,都是 的子空间.（3）正交子空间 设,是两个子空间上的任意矢量,若 和 的内积满足(3.4.41)则称这两个子空间相互正交.（4）投影矩阵定义：设 表示一个数据矩阵或数据矢量,由 张成的空间记为,(3.4.42),则称 为在 上的投影矩阵(或投影算子).若 是一个 维矩阵,则 是一个 方阵.作用：的作用是将一个矢量 投影到矢量空间U中。,如图：设 是由矢量 张成的一维子空间,则矢量 在 中的投影，可用该矢量 与矢量一加权矩阵 相乘来表示，即。加权矩阵 称为投影矩阵；称为在中的投影矢量；称为误差矢量，记为。显然，误差矢量 与矢量(即子空间)正交。或者说，由矢量 张成的一维子空间 与子空间 正交。这时，对 中的任意矢量，均满足(3.4.43),上式表明：对一个 维线性空间 进行分解,采用正交分解法,可以得到一组相互正交的子空间.（5）投影定理 若,为希氏空间 中的相互正交的子空间,那么,对 中的任一矢量,均满足(3.4.44a)即当子空间相互正交时,矢量在子空间和上的投影等于在各子空间上投影之和.由上式可进一步得(3.4.44b)（6）正交投影矩阵 由图可知,子空间 与子空间 正交，称 为的正交子空间。定义：误差矢量 是矢量 在 的正交子空间上的投影(即正交投影),记为，称为正交投影矢量；称为正交投影矩阵。,作用：正交投影矩阵 的作用，是将一个矢量x投影到与矢量空间U正交的子空间中。正交投影矩阵 与投影矩阵 之间关系：因有所以(3.4.45)2.数据矢量的扩充与投影矩阵的更新（1）数据矢量的扩充 研究一个新矢量 增加到 中,形成新数据矩阵为,由此张成空间,相应的投影矩阵和正交投影矩阵分别为 和.显然,反映了由于矢量 的增加,投影矩阵的变化(亦同).这种变化可表示为上式相当于对数据矩阵 进行分解。,令修正项等于(即为矢量 的投影矩阵),它等于 与 之差,称为“误差项”。根据投影定理，采用正交分解法,应有(参见式3.4.44b)：(3.4.46)若由矢量 张成的空间为,则 与 正交,这意味着 是 在 的正交子空间 上的投影,即(3.4.47)在空间 上的投影矩阵为(3.4.48),（2）投影矩阵的更新 由于增加新的矢量,使数据矩阵由 变为,根据式(3.4.46)和式(3.4.48),得到:投影矩阵更新公式：(3.4.49)正交投影矩阵更新公式：(3.4.50)3.抽取参量与角参量（1）抽取参量 定义与作用 为抽取一个矢量中的最新时刻的分量，引入抽取参量(也称“单位时间矢量”或“现时矢量”),定义为(3.4.51),共有n个元素，第n个元素为1，表示的是当前时刻，相应的是最新数据,可见,抽取参量 是一个沿第 个坐标轴方向,长度为1的矢量,它表征的是当前数据矢量的方向,因此,利用 可把一个数据空间分解为过去和当前两个子空间.的投影矩阵和正交投影矩阵 若 是以 为基底矢量张成的1维矢量空间,则 的投影矩阵为：(3.4.52)其正交投影矩阵为(3.4.53)和 都是 阶对角线矩阵.现时分量与过去分量 现时分量任何矢量在矢量空间 上的投影,即为该矢量的当前分量或现时分量.如矢量 的现时分量为,或者表示为 过去分量任何矢量对 的投影补,即为该矢量的过去分量.如 的过去分量为（2）角参量 定义 角参量 定义为:利用投影矩阵的对称性,上式可表示为(3.4.54)该式表明,角参量 是 对空间 的正交投影的现时分量.意义与作用 以 为例.在式(3.4.54)中,将 换为,并将 代入,得到,(3.4.55)在图中,因时间从 变到,故数据矢量由 变成,两者之间的夹角为.令 和 是子空间 中的单位正交基底矢量,则单位现时矢量可表示为 因 是 对子空间 的正交投影,由图可以得到,将以上二式代入式(3.4.66),得到(3.4.56)上式说明:当前时刻 的数据子空间 相对于前一时刻 的数据子空间 转了一个角度,角参量 是该角度余弦的平方.一般而言,当用数据子空间 的 个基底矢量进行最小二乘估计时,由于最新数据 的到达,数据子空间将由 变成,两者之间的夹角为.新的数据信息(新息)正是蕴含在数据子空间 与 之间的夹角中,因此,是新息的量度.4.投影矩阵和正交投影矩阵的性质（1）幂等性(3.4.57)（2）反身性(对称性),（3）正交性(3.4.59)因此,任意矢量 的投影 和正交投影,均满足上式.（4）(3.4.60a)(3.4.60b)（5）更新(3.4.61a)(3.4.61b)（6）(3.4.62a)(3.4.62b)（7）若某矢量 在空间 的投影为,当数据矩阵由 变为 时,在新空间 的投影和正交投影分别是:(3.4.63a)(3.4.64b),（8）对任二矢量 和，有(3.4.65a)(3.4.65b),该式将用于LSL算法,
