第九章隐变量模型.ppt

第九章 隐变量模型,关于隐变量,隐变量（Latent variable）：具有不可直接观测特征的综合性变量，不可观测，或者说“隐”是其表象；综合性是其本质。与隐变量相应，我们将普通的变量称为显变量（Manifest Variable）或者观测变量（Observed Variable）,隐变量的处理思路,隐变量的处理方法按照其所使用的分析手段可以分为两大类：以结构方程模型为代表的模型化方法以多指标综合加权为代表的不使用模型的方法。,不使用模型处理隐变量的方法,除结构方程模型外的其它处理方法可分成两类：第一类方法利用隐变量的多维特点，从各个角度选择恰当的观测变量作为其测度指标，以此作为隐变量处理的基础，目前来看所有具有一般性的隐变量处理方法，其思想均属此类；,不使用模型处理隐变量的方法,第二类方法则利用隐变量和其它变量（不是该隐变量的测度变量）之间的关系，建立某种函数关系，以此为处理隐变量的基础，它不需要搜集隐变量测度指标这一过程。此类方法只能处理特殊的隐变量，不具一般性。,不使用模型处理隐变量的方法,1、多指标综合评价法 根据隐变量的含义，将原本综合性的变量进行分解，分解后隐变量的维度就从一维到了多维，在此基础上，在每个维度选择合适的观测变量度量隐变量在该方面的表现，最后再将这些观测变量按一定的原则加权汇总，由多维又重新回到一维，所得同时反映这多维表现的综合变量即可做为对隐变量的度量。,不使用模型处理隐变量的方法,多指标综合评价的关键环节有二：第一个环节是测度指标的选择；第二个环节是权数的确定。,不使用模型处理隐变量的方法,多指标综合加权法的长处：1）思路直观、方法简便、适用面广；2）可容纳指标数量较多，更适合理论的需要；3）可以对样本进行比较、排序，而且便于对隐变量进一步的分析；4）不依赖于变量的分布。,不使用模型处理隐变量的方法,此种方法的不足之处则在于：1）用以构建综合变量的观测变量，往往受多种因素的影响，有时甚至作为测度对象的隐变量不是主要的影响因素，因此最终得到的隐变量的估计值，必定存在着系统的偏差；2）加权所使用的权数难以确定；3）不能提供对误差的度量，从而无法估计所建立的隐变量测度的准确性。,不使用模型处理隐变量的方法,2、德尔菲法 又名专家调查法，它的思想十分简单，即以专家判断的方式对隐变量进行量化。德尔菲法与多指标加权方法相比，其优势在于它更适合于那些很难找到合适指标作为其测度的隐变量；其不足则在于：1）需要进行调查，从而提高了分析的成本；2）不能对隐变量进行深入进一步的分析；3）降低了数据的计量尺度。,不使用模型处理隐变量的方法,3、生产函数余值法 根据CD生产函数可以推出，经济增长率等于要素生产率的变化率（即技术进步率）加上资本增长率与资本边际产出弹性之乘积，再加上劳动增长率与劳动边际产出弹性之乘积。以经济增长率减去其它两部分，就得到要素生产率这个隐变量的变化率，将它比上经济增长率就可得到贡献率。,结构方程模型,结构方程模型：SEM，（Structural Equation Modeling），是目前处理隐变量以及复杂关联的主要模型。,主要内容：,结构方程模型的形成模型的设定模型的识别模型的假定模型的估计模型的评价模型的改进模型的解释应用案例,一、结构方程模型的形成,结构方程模型有两个思想来源：路径分析（path analysis）证实性因子分析（Confirmatory Factor Analysis，CFA）（注意：通常所说因子分析是探索性因子分析，Exploratory Factor Analysis，EFA）,一、结构方程模型的形成,路径分析 在20世纪二三十年代，由 Wright（1921，1934）提出，与古典的多元线性回归模型相比，路径分析是一种更为灵活、有力的多元数据分析工具。,一、结构方程模型的形成,路径分析与线性回归分析最根本的区别在于：路径分析中，所有的变量都是随机变量，从而所有的变量之间都可以有相关关系。这毫无疑问是更接近于现实的假设，尤其在社会经济领域。,一、结构方程模型的形成,路径分析与一般线性模型不同的特色主要体现在如下四个方面：1、变量之间的关系必须先根据理论予以设定；2、以路径图做为描述模型的重要工具；3、将参数估计建立在变量的相关系数或协方差的基础上；4、将简单相关系数分解为直接相关系数，间接相关系数。,一、结构方程模型的形成,证实性因子分析 CFA与EFA的根本区别在于是前者用以证实一个先验的理论假设（表现为因子结构的规定）是否成立，需根据相关理论事先规定作为公因子的隐变量的概念和数量，以及隐变量和指标变量间的路径，后者则以探索数据潜在的结构为目标，事先无须依据理论做任何设定，隐变量的概念和数量以及哪些变量是其指标变量均有待模型建立后，再根据理论知识予以确定。,一、结构方程模型的形成,无论是CFA还是EFA，都以隐变量（即潜在结构）为核心，以显变量为其测度，认为这些测度变量是隐变量的外在表现，由隐变量所决定，因此可以利用测度变量之间的关系推出其与内在隐变量的联系，即因子载荷，这正是SEM处理隐变量的思想。,一、结构方程模型的形成,将CFA与路径分析结合在一起就是SEM技术。这两种方法的结合，可以理解为：将CFA作为对隐变量的测量，嫁接到路径分析上，从而使路径分析具有了包含、处理隐变量的能力。,一、结构方程模型的形成,从SEM的角度来看，CFA和路径分析都可以视为一种特殊的结构方程模型，它们都是SEM的一部分，即：路径分析构成SEM的结构模型部分；CFA构成它的测量模型部分。,一、结构方程模型的形成,SEM的优势：能处理隐变量问题可以处理复杂关联可以处理随机误差相关问题可包含测量误差,二、结构方程模型的设定,基本概念方程：分为测量方程与结构方程。测量方程反映显变量和隐变量之间的联系，结构方程反映隐变量之间的关系,二、结构方程模型的设定,变量：隐变量和显变量（又名指标变量、观测变量），进一步又分成：外生隐变量：由模型以外因素决定；内生隐变量：由模型内因素决定；内生指标变量：作为内生隐变量的测度指标；外生指标变量：作为外生隐变量的测度指标。,二、结构方程模型的设定,误差项 模型内有两类误差：测量误差：内生、外生指标变量在测量隐变量上的误差；结构方程误差：影响内生隐变量的误差。,二、结构方程模型的设定,参数：限制参数（restricted parameters）：限制其取值范围的参数；固定参数（fixed parameters）：设定为常数的参数；自由参数（free parameters）：不加任何设定由模型进行估计的参数。,二、结构方程模型的设定,模型设定的RAM图形式（Reticular Action Modeling）根据理论分析绘制RAM图，是结构方程模型建模的起点，也是表达建模结果的最有效形式。,二、结构方程模型的设定,RAM图基本规定1.变量用大写英文或希腊字母表示，其外围围以方框的是显变量，其外围围以椭圆的是隐变量。残差以小写希腊字母表示，外围亦应围以椭圆（但为方便起见，经常不用）；,二、结构方程模型的设定,2.路径用带箭头的线表示：直的单方向箭头：表示因果关系，箭头所指为果；双向箭头弧线：表示相关关系；从自身到自身的双向箭头线：表示变量的方差。,二、结构方程模型的设定,3.在每一条路径上以小写的英文或希腊字母表示待估计的结构系数或方差，以数字表示事先确定的固定参数；4.在图中，凡为因果路径所指者，为内生变量，凡无如此箭头所指者为外生变量。,二、结构方程模型的设定,RAM图示例,二、结构方程模型的设定,模型设定的方程形式（按照LISREL的规定）结构方程模型由3组方程，4组变量（2组有数据），8个参数矩阵（待估计）所组成：,二、结构方程模型的设定,符号规定 四组变量：,二、结构方程模型的设定,三组方程,结构方程：,外生隐变量测量方程：,内生隐变量测量方程：,二、结构方程模型的设定,符号规定 8个参数矩阵：Beta（记做B或BE）：内生隐变量间结构系数矩阵；Gamma（记做或GA）：内生与外生隐变量间结构系数阵；Phi（记做或PH）：外生隐变量的协差阵；Psi（记做或PS）：内生隐变量误差项的协差阵；,二、结构方程模型的设定,Lambda X（记做X 或LX）：外生隐变量与其指标变量间的结构系数矩阵；Theta Delta（记做或TD）：外生显变量测量误差项的协差阵；Lambda Y（记做Y或LY）：内生隐变量与其指标变量间的结构系数矩阵；Theta Epsilon（记做或TE）：内生显变量测量误差项的协差阵。,二、结构方程模型的设定,前图用方程形式表示：,二、结构方程模型的设定,4个结构系数矩阵是：,二、结构方程模型的设定,4个协方差阵是：,三、模型的识别,联立方程都存在识别问题，即是否有足够的方程以求得未知参数的解。一般说来，有三种识变状态：不能识别（Under identified）恰好识别（Just identified）过度识别（Over identified）,三、模型的识别,识别条件之一：t规则 协差阵中数据点的个数必须大于待估参数的个数，这一条件是必要非充分条件。SEM以最小化估计协差阵与样本协差阵为目标函数，1个数据点即意味着一个方程。如果将外生显变量的个数记为p，内生显变量的个数为q，则待估参数（包括自由参数、限制参数）的个数不能超过：,三、模型的识别,识别条件之二：递归规则 最好只使用单向因果箭头，即递归模式。当存在双向因果，以及A影响B，B影响C，C又影响A等所谓非递归模式时，也可能获得识别。,三、模型的识别与估计,实际中应遵守的其他规则a 一个隐变量一般最好选择3个以上显变量作为其指标变量 如果只选择了一个显变量，必须假设该显变量完全无误差的测量了隐变量，在路径图上表示为该显变量不能有误差项，而且其与隐变量间的路径系数应预先设定为1；,三、模型的识别,b 必须为模型中的隐变量建立一个测量尺度 具体的做法或是将隐变量的方差规定为1，使隐变量具有标准化的尺度；或是将此隐变量与其指标变量中的任何一个的结构系数设定为常数，通常为1；c 方程中任何一个变量，如果仅作为原因而存在，即无因果箭头指向，应设定它不受误差项的影响;,三、模型的识别,d 如果一个内生变量是显变量，为避免被误当成某个隐变量的指标变量，要：设置一个虚拟隐变量；将该显变量作为其唯一指标变量；结构系数设置为1；该指标变量设定不受测量误差的影响。,三、模型的识别,根据建模结果进行诊断：参数值的标准误过大出现不可能的估计值，如负的方差，大于1的标准化系数估计结果对初始值敏感单一系数识别的观察：先估计整个模型，以所得该系数估计值固定该系数，重新估计模型，如果检验指标变化很大，则存在识别问题,三、模型的识别,出现识别问题的处理方法固定参数增加变量删除路径,四、模型的假定,数据应服从多元正态分布，不能有明显的偏度和峰度样本量应大于100，最好是大于200；或者样本量是未知参数的5倍，最好是10倍。,四、模型的假定,其他的要求1.内生、外生隐变量的均值为0；2.内生、外生隐变量的结构关系为线性；3.内生、外生显变量的均值为0；4.内生、外生指标变量与相应隐变量的关系应为线性；,四、模型的假定,5.（I B）应是非奇异的，即可以求逆；6.结构方程的误差项应满足（a）均值为0、方差为常数，（b）不存在序列相关，（c）和外生隐变量不相关；7.测量误差应满足（a）均值为0、方差为常数，（b）不存在序列相关，（c）和内生、外生隐变量不相关，（d）与结构方程误差不相关；8.内生指标变量的测量误差与外生指标变量的测量误差不相关。,五、模型的估计,应对数据进行中心化或者标准化 软件会自动完成SEM的估计通常用采用迭代算法，需要给出初始值 软件会自动完成不能保证结果是全局最优解，因此需要调整初始值。,五、模型的估计,模型的估计主流估计方法包括：ML、GLS、ADF 要求最小化样本协差阵与估计协差阵的差异。,五、模型的估计,ML（极大似然估计）,五、模型的估计,五、模型的估计,五、模型的估计,五、模型的估计,五、模型的估计,GLS（广义最小二乘估计）,五、模型的估计,ML估计和GLS估计在多元正态分布假设下，都具有良好的统计性质：渐近无偏一致渐近有效参数的分布渐近趋于正态,五、模型的估计,当存在明显峰度，背离多元正态分布假定时，可以考虑使用ADF（WLS）估计（asymptotic distribution-free）不过这种估计也需要大样本,六、模型的评价,模型的评价整体评价构成元素评价,六、模型的评价,整体评价 按照构建指标的思想，评价指标分为以下三类：绝对拟合指标（absolute fit)；增量拟合指标（incremental fit)；节俭拟合指标（parsimonious fit)。,六、模型的评价,绝对拟合指标 直接评价模型拟合协方差的能力增量拟合指标 建立在某种基础模式比较的基础上，测度模型改进拟合的程度；节俭拟合指标 引入成本收益的原则，以所估计参数的数量为成本，以拟合程度为收益，追求净收益的最大化,六、模型的评价,结构方程模型的评价指标众多，Cerbing和Anderson（1992）提出结构方程模型的拟合指标应满足以下三个条件：1.指标取值应在0和1之间，1表示完全拟合。如此有利于给出拟合良好的数量界限；2.指标的取值应独立于样本量；3.指标应服从某一已知分布，以便于进行检验。,六、模型的评价,1、绝对拟合指标a 卡方统计量,1、绝对拟合指标,b RMR（Root Mean Square Residual）指标越小越好该指标与数据的计量尺度有关，因此没有一个决定是否接受的门槛，但可以用于同组数据不同模式的比较,1、绝对拟合指标,c RMSEA（root mean square error of approximation）当其小于0.05时，且90%置信区间的上界小于0.08，表示模型拟合较好；在0.08到0.1之间，为中度拟合；大于0.1则不可接受。,1、绝对拟合指标,d ECVA（expected cross-validation index）所谓交叉有效性，衡量从一个样本所得到的模式，能适合其它样本的程度，此种程度的期望就是ECVA。它的一种近似公式为：ECVA越小，表示所得模式用于预测的效果越好,1、绝对拟合指标,e GFI（goodness-of-fit index）f AGFI（adjusted goodness-of-fit index）a、b两项指标的含义类似R2、修正R2，值在0和1之间，一般认为大于0.9，模型拟合很好,2、增量拟合指标,a NFI（normed fitted index）b NNFI（non-normal fitted index）,2、增量拟合指标,c IFI（incremental fitted index）d CFI（comparative fitted index）,2、增量拟合指标,上述4项指标的取值范围一般在0和1之间（NNFI可能超出0，1之外），大于0.9表示拟合较好。NFI的含义最为直观，但它不能惩罚复杂模式，为解决这样的问题，用不同的方法将自由度引入指标中。,3、节俭拟合指标,a PNFI（parsimonious normed fitted index）b PGFI（parsimonious GFI）这两个指标值要大于0.5即可,3、节俭拟合指标,c AICd CAIC（Consistent AIC）,3、节俭拟合指标,e SBC（Schwarzs Bayesian Criterion）这三项指标用不同的方式对复杂模式实施了惩罚，他们都是越小越好的,3、节俭拟合指标,f CN（Critical N）这一指标大于200，模型可以接受,六、模型的评价,构成元素评价每一个系数都有标准误，可以进行t检验就每个测量部分整体，要求平均方差提取比重大于0.5,七、模型的改进,当模型没有拟合数据时，可从通过观察检验结果、参数估计结果和软件提示信息，从以下几个方面着手修正（首先保证模型可识别）：1.检查数据是否存在明显的偏态或很高的峰度，如果存在应对数据做变换；2.检查是否存在自相关问题；3.检查是否存在共线性问题；,七、模型的改进,4.依据构成元素评价的结果，判断是哪一部分出了问题；5.注意是否忽视了误差项之间存在的相关性，或者其他可能被忽略的路径大部分的软件中都提供模型的修正指数或者Lagrange乘数，说明将某一固定参数变为自由参数时，模型的卡方值至少能降低多少，利用这些信息，可以对模型进行修正。,八、模型的解释,根据模型的设定，直接效应、间接效应和总效应的估计公式为：1、外生隐变量对内生隐变量的效应：直接效应：间接效应：总效应：,八、模型的解释,2、内生隐变量对内生隐变量的效应：直接效应：间接效应：总效应：,九、模型的应用,制度变迁对经济增长的影响问题：对于中国经济增长动力的争论主要集中在：增长应主要归因于物质资本的增加，还是应更多归功于由制度变迁而引起的经济体制效率的提高。这也是各实证分析结论主要差异之所在。,九、模型的应用,理论框架1、经济增长的决定因素,九、模型的应用,1、经济增长的决定因素,九、模型的应用,所使用的基本框架,九、模型的应用,2、如何测度制度变迁 传统制度具有三个本质特征：价格扭曲的宏观环境、资源的计划配置制度和国家独占剩余支配权的微观经营机制。自八十年代以来，改革主要围绕着微观经营机制的放权让利和资源配置制度的松动而展开。,九、模型的应用,2、如何测度制度变迁 可以从两个角度选择指标：直接反映制度变迁的指标 经济绩效领域的指标,九、模型的应用,直接反映制度变迁的指标 制度变迁的本质特点也即是剩余支配权分散转移。所以必须选择能反映出剩余支配权分散转移的指标来刻画制度变迁。据此可选择5项指标。,九、模型的应用,直接反映制度变迁的指标：（1）国有企业利润留成率（2）工业总产值中非国有经济的比重（3）非国有经济固定资产投资在全社会固定资产投 资中的比重（4）固定资产投资中非政府投资的比重（5）基建投资中地方项目投资额与总投资额的比例,九、模型的应用,固定资产投资中非政府投资的比重 固定资产投资按资金来源共分5项：国家投资、国内贷款、利用外资投资、自筹资金和其它投资；国家投资可以认为完全是政府投资，其它投资则完全与政府无关，另外三项都含有政府投资的成分。国内贷款：建设银行，94年以后为政策性银行代理的政府投资和代理贷款应属于政府投资；利用外资投资：政府统借统还的政府借款应归入政府投资；自筹资金：预算外资金投入应属政府投资,九、模型的应用,该指标的计算公式为：（其他投资+国内贷款-银行代理政府投资和代理贷款+利用外资投资-政府借款+自筹资金-预算外投资）/全社会固定资产投资。,九、模型的应用,经济绩效领域的指标传统经济制度所导致的经济后果主要体现在五个方面：1）产业结构扭曲，与资源优势相背离，重工业比重偏高，第三产业比重过小；2）为发展重工业而压低了劳动力价格，使居民收入水平长期停滞不前，国家垄断剩余支配权使居民收入来源单一；,九、模型的应用,3）重工业是资本密集型而非劳动密集型产业，所能吸纳的劳动力较少，这就降低了农业人口向非农产业转移的速度，使城市化水平较一般经验偏低；4）产业结构与比较优势相背离，导致对外贸易规模较小；5）价格扭曲，计划经济使劳动激励不足，效率低下,九、模型的应用,经济绩效领域的指标反映产业结构变化的指标：（6）国有独立核算工业企业轻重工业总产值比 与非国有同一指标的比值（7）第三产业增加值增加额与GDP增加额之比,九、模型的应用,反映居民收入水平与来源变化的指标：（8）城镇居民总收入水平与GDP之比（9）城镇居民非正式收入与总收入之比 总收入=城镇居民消费总支出+城镇新增居民储蓄，正式收入=职工工资总额+城镇个体劳动者劳动收入,九、模型的应用,反映城市化水平变化的指标（10）非农业人口与总人口之比 非农业人口等于城镇人口加上乡镇企业职工人数。反映对外贸易规模的指标（11）进出口贸易额与GDP之比,九、模型的应用,反映经济效率的指标（12）国有独立核算工业企业每百元固定资产 原值实现产值与非国有工业企业同一指标 的比值,九、模型的应用,指标的进一步筛选：1）指标必须有完整的数据，所以缺失 数据过多的指标不能列入；2）指标应有明显变化。由于我国制度变迁的不同步性，有些指标可能变化较小，此类指标不能作为测度指标,九、模型的应用,3）结合所使用数据进行进一步调整 上述指标基于全国数据，为保证样本量，必须使用地区的时序横截面数据，所以，指标要能体现区域间制度的差异，而不受其他区域间差异的影响。,九、模型的应用,最后选择了四项指标（计算公式有调整）：X1：非国有经济固定资产投资在全社会固定资 产投资中的比重；X2：固定资产投资中非政府投资的比重；X3：城镇居民总收入；X4：进出口贸易额。,九、模型的应用,绘制路径图,1,1,1,九、模型的应用,参数估计 分析估计结果，如果存在问题：首先分析是否存在严重偏态峰度；其次观察是否存在自相关；再次观察是否存在共线性；再再次根据拉格朗日乘数设定误差项间相关关系。,九、模型的应用,估计结果（不处理共线性）：,九、模型的应用,估计结果（共线性处理后）：,九、模型的应用,无论处理不处理共线性情况下，都可以注意到，制度变迁对经济增长的贡献要大于物质资本。制度变迁影响经济增长，主要通过间接路径,