评分者信度计算及其SPSS实现.ppt

,评分者信度计算及其SPSS实现,何正兰 学科教学（化学）,评分者信度,例如：高考时三个老师同时评一份试卷，需评分者一致性很高,评分者信度适用情况,有关,评分者信度的估计与评分者人数的多少有关。,斯皮尔曼（Spearman）等级相关系数若只有两人参加评N份试卷，或一人先后两次评N份试卷,肯德尔（Kendall）和谐系数若三个以上的评分者评N份试卷,斯皮尔曼等级相关公式,例题,甲、乙两位教师评阅10份作文试卷，他们对每个考生评定的分数和等级如下表所示。试问两位教师评分的一致性如何？,例题,例题 SPSS实现,启动SPSS，打开“斯皮尔曼相关等级系数.sav”,例题 SPSS实现,选择Anayze Correlate Bivariate,例题 SPSS实现,如下图所示，选中两个变量“甲”“乙”，勾选”Spearman”选项，点“OK”,例题 SPSS实现,结果分析：斯皮尔曼相关系数为0.841（结果上带有两个*的，下面有说明“显著相关”），评分者一致性很高,例题 SPSS实现,相关解释说明：上表中的甲乙等级是按照秩次的排列规则得到的，在斯皮尔曼检验中，直接用数据以及用相应的等级数据进行运算，最终得到的结果是相同的。,肯德尔和谐系数,适用条件：,肯德尔和谐系数计算公式,注意这个公式！后面会再次提到！,例题,有5位教师对8篇作文进行等级评定，评定结果如下表所示。请问，5位教师评定结果是否一致？,例题,例题,前文中有计算公式,文件夹中附有该表,例题,例题 SPSS实现,启动SPSS，打开“肯德尔和谐系数 无相同等级.sav”,注意：横行和数列的数据输入与斯皮尔曼相关系数检验的输入顺序不同,例题 SPSS实现,选择Analyze Nonparametric Tests K Related Samples,例题 SPSS实现,如下图所示，选中八个变量“一八”，勾选”Kendalls W”选项，点“OK”,例题 SPSS实现,结果分析：肯德尔和谐系数W值为0.928因为N7，计算X2值，对X2值进行显著性检验,注：X2=k(N-1)W,肯德尔和谐系数计算公式,例题,例题,例题,例题,例题 SPSS实现,启动SPSS，打开“肯德尔和谐系数 有相同等级.sav”,注：此表中数据是按照秩次顺序赋分后得到的,例题 SPSS实现,接下来的操作同“无相同等级”的检验步骤，得到结果如下：,转为S值，查阅肯德尔和谐系数临界值表,