优化理论与算法预备知识.ppt

最优化理论与算法,北京邮电大学数学系 1 预备知识,1，预备知识,1.线性空间2.范数3.集合与序列4.矩阵的分解与校正,1.线性空间,Df 1.3:给定一非空集合G以及在G上的一种代数运算+:GGG(称为加法),若下述条件成立:,则称为一个群.若还满足对任意的a,bG,有a+b=b+a,则称为一个阿贝尔群(&交换群),1.线性空间,Df 1.4:给定一非空集合V和一个域F,并定义两种运算加法+:VVV以及数乘:FVV.若构成一交换群,且两种运算满足下面性质:,则称V在域F上关于加法和数乘运算构成一线性空间,简称V为F上的线性空间.记为V(F).若V的非空子集合S关于加法和数乘运算在F上也构成一线性空间,则S称为F上的线性子空间.,1.线性空间,例子,1.线性空间,1.线性空间,Th1.1 线性空间V(F)的非空子集S的线性扩张L(S)是V中包含S的最小子空间.,1.线性空间,1.线性空间,2.范数,2.范数,2.范数,3.集合与序列,3，集合与序列,3.集合与序列,3.集合与序列,4.矩阵的分解与校正,Th1.5 若n阶矩阵A可逆，则存在一个排列矩阵P,单位下三角矩阵L和上三角矩阵U，使得PA=LU,4.矩阵的分解与校正,Th1.6 设A为对称正定矩阵，则（1）矩阵A可唯一的分解成A=LDLT,其中L为单位下三角矩阵，D为对角矩阵（2）存在可逆的下三角矩阵L，使得A=LLT.当L的对角元素为正时，分解是唯一的。(Cholesky分解),4.矩阵的分解与校正,4.矩阵的分解与校正,5.函数的可微性与展开,5.函数的可微性与展开,当f(x)在x点存在二阶偏导时,函数f在点x的Hesse矩阵定义为,5.函数的可微性与展开,5.函数的可微性与展开,5.函数的可微性与展开,5.函数的可微性与展开,