方开泰、刘民千、周永道试验设计与建模课件4.ppt
1,第四章最优回归设计,2,实际中，有时试验者根据一些先验知识知道真实模型的类型，例如线性模型、二次线性模型、指数模型等等，但其中有一些未知参数待估。,最优回归设计目标,式中，函数 f 形式已知，为参数。,安排试验使得模型的参数得以最准确的估计,3,例4.1.(例2.1 续).在该工业试验中，设因素温度的范围为50oC,90oC。根据先验知识，试验者知道响应值y 与因素温度x 之间的模型为二次线性模型 y=0+1 x+2 x2+.若试验次数为15，如何安排试验？最优准则如何确定？,4.1 信息矩阵和最优准则,4,A.信息矩阵,模型 y=G+式中矩阵G 称为广义设计矩阵，信息矩阵为：,M=GG/n,5,连续设计与确定性设计,在试验区域X 中的一个设计可以表为 试验总数：n=n1+nm，也可表为概率分布，并称为确定性设计 一般的，连续设计如下：(wi 不一定为1/n的倍数),6,标准化方差,在线性回归模型 y=G+中，任一点 x 的响应预测值为该无偏估计的方差为：标准化方差,7,E(y)=0+1x,x 1,1,设试验点为 x1,xn,则信息矩阵为且,例4.2.一元线性回归模型,8,单因素试验的几个简单的设计,则,9,例4.3.(例4.1 续)二次线性模型,设试验点为 x1,xn,则信息矩阵为,由此，若采用表4.2 中设计II，可得设计II 的标准化方差为,因此，在设计点1，0 或1 上标准化方差达到最大值3.,10,表4.2 中各设计的结果,11,B.最优准则,记连续设计 的信息矩阵为最常见的最优准则为 D-,A-和 E-准则，分别如下,最小化上述准则的设计分别称为D-,A-和E-最优设计。,12,统计意义,D-最优设计：最小化参数 的置信椭球的体积A-最优设计：最小化最小二乘估计 的平均方差值E-最优设计：使得单位向量与参数 的线性组合的最大方差最小化,13,统一框架,设信息矩阵 M 的特征值为1 p,显然，D-,A-和E-最优准则对应的k 值分别为 k=0,1 和。,14,例4.4.(例4.2 续),一元线性模型等价于模型该模型的信息矩阵为因此，D-最优设计为最大化 的设计，例如,15,4.2 等价性定理,定理4.1 若 为凸函数，且一阶可微，且在全体设计集 中所有点可微，记(x,)=F(,x)则下面等价 是-最优设计；对于任意 x X，(x,)0；(x,)在 的每个设计点 x 上取到最小值，且(x,)=0。,注：等价性定理只适用于连续设计。,16,D-最优设计,Kiefer(1975)证明了当 D-最优的定义修改为如下时，D(M()=log|M()|，可得(x,)=p d(x,),式中p 为回归模型中未知个数，d(x,)为(4.11)式的标准化方差,17,例4.5.(例4.1 续),考虑二次模型，设试验域已标准化为X=1,1，考虑下面的设计易知，当试验次数为3 时，即为表4.2 中的设计II,d(x,)的图形,18,例4.6.(例4.1 续),当n=4 时，取设计点为1,0,1，且在这三个点中任取一个点重复一次，其设计都是n=4 时的D-最优设计，如其标准化方差为,d(x,)=2 2x2+4x4,19,4.3 D-最优设计,在各个最优准则中，D-最优准则使用范围最广D-效率：衡量任意设计 和D-最优设计 之间的差距，两个D-最优设计的线性组合也是D-最优设计,20,A.一元多项式模型,考虑一个因素的d 阶多项式 E(Y)=0+1 x+d xd,其中试验域已标准化为X=1,1。,21,B.多元多项式回归模型,考虑 m 个因素的 d 阶多项式回归模型试验范围:超立方体超球体单纯型,22,多元一次线性模型(d=1),此时，D-最优设计的设计点都在其顶点上。设S=v1,v2,vs:vi Rm,i=1,s 表示全体顶点，记试验区域为超立方体：当 m=2时，连续设计：设计点为各顶点，权重相同 确定性设计：n,S 中任何元素,23,多元一次线性模型(d=1),试验区域为超球体 连续设计：设计点为内嵌正多面体的顶点 确定性设计：m=2 时，试验区域为单位圆，内嵌正多面体退化为多边形。其设计点为内嵌正 n(n3)边形的顶点，且权重都相同,24,多元二次线性模型(d=2),试验区域为超立方体当 m=1，即模型退化为一元二次线性模型，此时，其设计点为 1,0,1 三个点，记为31 完全因子设计，权重相同；当 m=2，即模型为二元二次线性模型，此时，设计点集是唯一的，且为 32 完全因子设计，权重有所不同，如表4.5所示。,25,确定性设计：试验域为超立方体的m 元二次线性模型的确定性 D-最优设计，其设计点为 3m 完全因子设计的子集。,多元二次线性模型(d=2),26,4.4 确定性D-最优设计的构造方法,例4.8.对于二元二次多项式模型，考虑其确定性D-最优设计。当试验区域为正方形时，可基于32 因子设计的子集上搜索最佳子集。或者另选设计点如下：,27,例4.8(续),二元二次多项式模型的确定性D-最优设计的D-效率比较,28,确定性设计的构造方法,KL算法序贯方法BLKL算法模拟退火算法等等,29,4.5 最优回归设计的其它准则,A.Ds-最优 设线性模型可分为两部分 E(Y)=g(x)=g1(x)1+g2(x)2,式中1 包含 s 个感兴趣的参数，而2 包含ds 个暂时不感兴趣的参数，需准确估计参数 1,30,判断准则,信息矩阵分块：Ds-最优的目标为最大化：判断准则为最优设计的标准化方差 s,31,例4.9,对于一元二次线性模型，设试验区域为1,1，若只考虑其二阶项的系数，即只考虑2，而把系数 0,1 都看成是噪声参数，此时 s=1，且 g(x)=(1 x x2),g1(x)=(x2),g2(x)=(1 x)则其 D1-最优设计为,与其D-最优设计的设计点相同，而权重不同,32,A-最优、E-最优,设计点和权重都与试验区域有关确定过程较复杂一元多项式有显式结果，而多元情形尚无结论。,33,其它准则,c-最优：使得参数 的线性组合c 具有最小的估计方差L-最优(线性最优准则)G-最优等等,
