第十章信度和效度分析ppt课件.ppt

《第十章信度和效度分析ppt课件.ppt》由会员分享，可在线阅读，更多相关《第十章信度和效度分析ppt课件.ppt（36页珍藏版）》请在三一办公上搜索。

1、1/11/2023,SPSS 23.0 统计分析在心理学与教育学中的应用,第十章 信度和效度分析,全书目录,第一章 SPSS 23.0简介与基本操作第二章 数据编辑与整理 第三章 数据转换第四章 描述统计分析第五章 交叉表分析第六章 比较平均值第七章 方差分析第八章 相关分析第九章 回归分析,第十章 信度和效度分析 第十一章 非参数检验第十二章 多选变量分析 第十三章 SPSS应用案例问卷调查分析 第十四章 SPSS应用案例测验质量分析 第十五章 探索性因子分析及案例应用 第十六章 基本统计图表的制作第十七章 SPSS应用分析归纳小结,第十章 信度和效度分析,10.1 克隆巴赫系数 10.2

2、分半信度 10.3 测验效度在SPSS中的计算,第十章 信度和效度分析,10.1 克隆巴赫系数 10.2 分半信度 10.3 测验效度在SPSS中的计算,第十章 信度和效度分析,10.1 克隆巴赫系数,一、信度分析方法及计算方法 信度分析方法，包括以下几种方法：（1）重测信度法：求其相关系数（2）复本信度法：求其相关系数（3）分半信度法:【标度】【可靠性分析】（4）系数（Alpha系数）：【标度】【可靠性分析】（5）评分者信度:计算肯德尔和谐系数。,二、重测信度、复本信度的评价标准对于测验中，使用相关系数的重测信度、复本信度，学者DeVellis(1991)认为，0.600.65（最好不要）；

3、0.650.70（最小可接受值）；0.700.80（相当好）；0.800.90（非常好）。在实践应用中，通常被认为是测验信度系数的优秀标准：标准化能力与学绩测验的信度系数常在0.9以上；性格、态度等人格测验的信度系数常在0.8以上；教师自编学绩测验的信度系数应在0.7以上。,三、克隆巴赫系数的评价标准,具体要求：一份测验的量表或问卷（仅是单维测验时），系数最好在0.80以上，0.70至0.80之间是可以接受的范围；分量表最好在0.70以上，0.60至0.70之间是可以接受的范围。如果总量表的系数在0.70以下，或者分量表的系数在0.60以下，则应考虑重新修订量表或增删题项。,案例1：【例10-

4、1】某研究者为了研究中学生的自律性发展情况，编制了自律性量表，共22道问题，并随机调查获取了108名中学生的测验数据，见“自律性量表.sav”，请分析该量表的分半信度、Alpha系数。SPSS操作步骤：第1步：打开分析数据。打开“自律性量表.sav”文件。第2步：启动分析过程。点击菜单【分析】【标度】【可靠性分析】菜单命令，打开如图所示的对话框。,第3步：设置分析变量。将左边变量列表中选“V1”、“V2”、“V3”“V21”、“V22”共22个变量，选入到“项”框中。第4步：选择分析模型。在模型的下拉菜单中，有五个选项：（1）ALPHA：计算信度系数克隆巴赫系数；（2）折半：计算测验的分半信度

5、；（3）格特曼：真实可靠性的格特曼低界；（4）平行：并行模型假定下的极大似然可靠性估计；（5）严格平行：严格并行模型假定下的极大似然可靠性估计。本例选用第一个“ALPHA”选项：即计算克隆巴赫系数。,第5步：统计参数设置。点击【统计】按钮，弹出【可靠性分析：统计】对话框,第6步：在主对话框中点击【确定】按钮，提交执行。SPSS在输出窗口的输出结果。第7步：结果分析。第一个表：观察值处理摘要（略）第二个表：可靠性统计数据,第四个表：项目总计统计数据,在第四列“更正后项目总相关”，v9最小，为-0.141，表明该项目与其他各项目呈反向相关。凡是反向相关，往往是需要删除的；如果相关系数小于0.20以

6、下的项目，则根据实际情况也是考虑删除的。在第五列“克隆巴赫 Alpha”，v9最大，为0.867，表明该项目从量表中剔除，再次计算克隆巴赫值会变大，说明此项目删除后对克隆巴赫有贡献。不过，v9 的克隆巴赫为0.867，与整体的0.822相差相对很小，仅从第五列的角度来看，可以考虑暂时不删除。结合第四列、第五列的信息，可以考虑删除V9，然后再进行信度分析。,第五个表：标度统计资料,第六个表：方差分析,【知识拓展】在SPSS中计算出的系数，不能等同于内部一致性信度（内部一致性系数），也不能等同于同质性信度（同质性系数），更不能等同于测验信度（温忠麟，叶宝娟，2011）。系数，可以认为是内部一致性信

7、度（内部一致性系数）在特殊情境（视作为单维测验、或仅计算分测验的信度）下的一种计算方法。,总之，对于通常的单维测验，如果系数高到可以接受，其信度就有保证，测验就可以接受。但是，如果系数过低，应当计算使用内部一致性信度（合成信度）。合成信度（也称为内部一致性信度、内部一致性系数）需要使用验证性因素分析方法计算。在SPSS软件中尚未有验证性因素分析的方法，有兴趣的读者可以进一步参阅有关研究论文，以了解内部一致性信度和同质性信度的计算。1 温忠麟.心理与教育统计M.第二版.广东广州:广东高等教育出版社,2016.2 温忠麟，叶宝娟.测验信度估计:从系数到内部一致性信度J.心理学报.2011,43(0

8、7):821-829.3 叶宝娟，温忠麟.测验同质性系数及其区间估计J.心理学报.2012(12):1687-1694.,10.1 克隆巴赫系数 10.2 分半信度 10.3 测验效度在SPSS中的计算,第十章 信度和效度分析,案例2：【例10-2】例子内容和数据如前一个例子10-1。SPSS操作步骤：第1步：打开分析数据。打开“自律性量表.sav”文件。第2步：启动分析过程。点击菜单【分析】【标度】【可靠性分析】菜单命令，打开如图所示的对话框。,10.2 分半信度,第3步：设置分析变量。将左边变量列表中选“V1”、“V2”、“V3”“V21”、“V22”共22个变量，选入到“项”框中。第4步

9、：选择分析模型。在模型的下拉菜单中，选用第二个”折半”选项：计算分半信度。第5步：统计参数设置。点击【统计】按钮，弹出【可靠性分析：统计】对话框，在本例中选择“项”、“标度”、“如果删除项后的标度”三个复选框。点击【继续】按钮回到上一级对话框。,第6步：在主对话框中点击【确定】按钮，提交执行。SPSS在输出窗口的输出结果。第7步：结果分析。第一个表：观察值处理摘要（略）第二个表：可靠性统计数据,第一行是前半部分（前11题）的的克隆巴赫值为0.601；第三行是后半部分（后11题）的的克隆巴赫值为0.770。第七、八行是Spearman-Brown 系数，分相等长度、不相等长度两种情况，本例为相等

10、长度，那么分半信度为0.843。注意到表格下面对a,b的注释，说明分半方法是按照测验前半部分、后半部分来进行计算信度的。,【思考题】在【例10-2】中，分半信度为将测验项目分为前后两半，然后求分半信度；而在实际测量中需要求奇偶分半信度，怎么来求奇偶分半信度？参考提示：在变量选择时，先选择顺序为奇数的项目，然后再选择顺序为偶数的项目。,10.1 克隆巴赫系数 10.2 分半信度 10.3 测验效度在SPSS中的计算,第十章 信度和效度分析,10.3 测验效度在SPSS中的计算,测验效度的一般分类为内容效度、结构效度和效标关联效度（实证效度）效标关联效度的计算方法：（1）相关法，求取测验分数与效标

11、变量之间的相关程度，即效度系数。（2）区分法，以被试在效标上的表现分组，然后再对两组被试在该测验中的成绩用t值进行差异检验。（3）命中率（或标准参照测验的决策效度计算），测验有效性的指标之一就是作出正确决定的比率，即决策的命中率,案例3：【例10-3】某一班级的英语期末考试成绩，现欲分析此期末考试试卷的测验效度情况，找到该班的英语四级的考试成绩，数据资料为“英语期末考试和英语四级成绩.sav”，要求分别使用三种方法求期末考试的测验效度（相关系数、区分法、命中率方法）。分析思路：英语四级成绩是效标：（1）相关系数方法，计算期末考试成绩与英语四级成绩的相关系数，再平方即为效度。（2）区分法，这里将

12、“四级是否通过”该变量作为效标变量，检验该变量下两组的期末考试成绩的均值差异比较。（3）命中率法。计算期末考试是否合格，与英语四级是否通过的决策效度、分类一致性效度。,SPSS操作步骤：（1）相关系数方法：点击菜单【分析】【相关】【双变量】菜单命令，在左边变量列表中选“期末考试”和“英语四级”变量，用，选入右边的“变量”框中。点击【确定】按钮，提交执行。,此相关系数即为效度系数0.616，此效度系数平方即得到效度为0.379。,（2）区分法：使用独立样本T检验，“四级是否通过”作为分组变量，检验两组的期末考试成绩的均值差异。点击菜单【分析】【比较平均值】【独立样本T检验】菜单命令。第一个表格为

13、描述统计信息。,第二个表格T检验结果,（1）莱文方差等同性检验的F值为0.020，显著性概率为0.8880.05，接受原假设，两个组别方差齐性。因此，选择第一行的 t 检验的结果。（2）t值是6.222，对应的显著性概率0.000，小于0.05，拒绝原假设。得出结论：两个组别的期末考试分数有显著差异，也就是期末考试的效标效度显著。这里需要进一步报告假设检验的效应量。Cohen效应量的计算值为1.81，大于0.8，属于大效应量。,（3）命中率方法：使用SPSS列联表分析方法，求得预测源、效标变量的交叉表人数统计表格。SPSS菜单命令：点击菜单【分析】【描述统计】【交叉表】菜单命令，弹出交叉表分析对话框,【练习题】,1 采用家庭教育环境量表（FES）调查研究50名教师的家庭特征，测定结果按10个项目的实际得分整理如“家庭教育功能量表.sav”。请以此计算FES的系数。2 在“某次心理测验数据.sav”数据中，以B量表为效标量表（b1b76）、S量表为预测量表（s1s21），计算S量表的效标关联效度。,3 编制大学生时间管理问卷。根据黄希庭教授的时间意识理论，将时间意识分为时间管理意识、时间管理计划、时间管理优先、时间管理的反馈调节、时间管理效能这几个层面，并分别进行了编制试题进行测量。进行施测后，获得数据“时间管理测验.sav”，分析测验的克隆巴赫系数，以及各个分量表的系数。,