试卷信度的检验与分析论文.doc

杭州师范大学09级学年论文 研究报告题目 试卷信度的检验与分析 试卷信度的检验与分析Papers reliability testing and analysis【摘要】：本文通过查阅数学试卷分析方法等相关资料,运用科隆巴赫信度系数理论检验试卷内部信度（一致性程度）,分析相关数据,分别运用excel与spss软件对试卷进行检验、分析,并提出了如何提高试卷信度的建议；同时运用了斯皮尔曼（Spearman）等级相关系数法,检验试卷间的信度（一致性程度）,分别运用excel与spss软件对两次竞赛进行检验、分析,并提出了如何提高试卷信度的建议。In this paper, consult the Mathematics Test analysis methods and other relevant information, use of Cologne Bach theory test papers internal reliability coefficient of reliability (consistency level), analysis of relevant data, respectively, using excel and spss software to test the papers, analysis, and proposed how to improve the the papers reliability recommendations; while the use of Spearman (Spearman) rank correlation coefficient method, the reliability (consistency level),respectively, using excel and spss software tested twice competition, test papers, and recommendations how to improve the papers reliability.【关键字】试卷信度,科隆巴赫信度系数,斯皮尔曼（Spearman）等级相关系数法Key Words: Papers reliability,Cologne Bach reliability coefficient, Spearman (Spearman) rank correlation coefficient method 目录Papers reliability testing and analysis2一、 引言.3二、 实验假设.42.1假设题目所给的数据真实可靠.42.2除所给因素外,其它因素影响甚小.4三、 名词解释.43.1信度.43.2信度指数.53.3信度系数.5四、 试卷信度的检验与分析（内部一致性）.54.1试卷信度的概念.54.2影响试卷信度的因素.54.3试卷信度的定性的评价指标.64.4试卷信度的定量的评价指标.64.5试卷信度的估算方法.64.5.1分半法.64.5.2同性质法.64.6一套试卷信度过低一般有如下原因.74.7实例分析.84.8提高信度的方法.9五、 试卷信度的检验与分析（外部一致性）.95.1相关概念.105.2实例分析.11六、 参考文献.12一、 引言在教学工作中,考试是一种最有效、最常见的测量学生学习成绩和检查教师教学效果的重要方法,教师必须运用教育测量理论设计各种测验,对教与学的情况做出评估与决策。通过对试卷分析,一方面助于不但可使教师发现教学中的薄弱环节,有助于对教学内容进行调整,对教学方法进行革新,对后续教学提出合理化的建议；另一方面学生可经测验了解自己的学习情况,从而有针对的总结学习方法,提高学习效益。而且有助于管理者掌握试卷的质量、教师的教学质量和学生的学习情况,从而有效地对教学加以监督和调整提高教学水平和学生学习质量宋小平,张 敏,陈建军,张 晟. SPSS在医学生物学试卷的信度和效度分析中的应用N. 生物学通报.2008(43).11。然而,试卷是测试运行的主要载体,试卷命题质量优劣,直接关系到根据测验进行评估的有效性与决策的正确性,对试卷进行科学、客观地评价分析,对优化学与教的内容、改革教学方式,把握学与教的重点、提高教学质量,以及加大对学校测验的管理力度,均有重要意义。一般,对试卷命制质量的分析,往往放在学校教学测验结束后进行,通常从定性、定量两方面展开。根据经典真分数理论,分析一份测试试卷的质量,既要考虑结果的稳定性与一致性,又要注重测验结果是否准确有效,还要兼顾试题难易程度与考生知识与能力水平是否相匹配,是否能将学习能力不同的考生区分开。这涉及四个基本指标：信度、效度、难度与区分度。其中：信度与效度主要针对整份试卷而言。该文章对试卷信度进行检验与分析。二、 实验假设2.1假设题目所给的数据真实可靠；2.2除所给因素外,其它因素影响甚小。三、 名词解释3.1信度：信度指的是测量结果的稳定性或可靠性的程度,亦即测验得到的结果（实测分数）是否真实、客观地反映了考生的实际水平（真分数）胡中锋,李 方. 教育测量与评价M . 广州:广东高等教育出版社,2000 :31 - 58.。信度是对整个测量优劣的评价指标,它揭示测量值与真值的相差程度,反映样本与总体的接近程度,从理论上讲,信度越高,测量结果越可信赵立新,陈文艺,郭子君. 试卷质量的定量评价J. 华 南 农 业 大 学 学 报(社 会 科 学 版),2004(4):138。3.2信度指数：根据真分数理论模型,实测分数不仅受真分数的影响,还受误差分数的影响。由于真分数与误差分数彼此独立,实测分数与真分数也决定着误差分数的大小。如果,则表明误差完全被控制,实测分数能够毫无偏差的表达真分数；如果,则表明实测分数与真分数毫无关系,则测验结果毫无意义。可以反映对实验误差控制能力的大小,称信度指数。由真分数理论假设可以推导出：其中,是真实分数的标准差,是实测分数的标准差。3.3信度系数：据真分数理论,一组平行测验测量的是同一个考生整体的真分数,若测验控制误差的能力强,则无刈无论用平行测验中哪一个测验上的实测分数去估计真分数都不会有过大偏离,所以用一个平行测验上的实测分数去估计另一个测验的实测分数也应该很准确。也就是说,当测验误差控制能力强时,两平行测验上实测分数的相关性就高。由于一组平行测验中任意两个测验的相关系数都等于其他任何两测验的相关系数,因此,我们称平行测验上两组测验实测分数间昀相关系数为测验的信度系数。容易推导得出:其中,是真分数的方差,是实测分数的方差,是测验的信度指数。四、 试卷信度的检验与分析(内部一致性)4.1试卷信度的概念试卷的信度是指试卷测试分数所具有的一致性或稳定性的程度。所谓一致性,是指同一测试项目测试结果的一致程度。较高的一致性即意味着同一群学生接受同一试卷测试结果间显示出强烈的正相关 宋小平,张 敏,陈建军,张 晟. SPSS在医学生物学试卷的信度和效度分析中的应用N. 生物学通报. 43(11) ( 2008) 39。4.2影响试卷信度的因素测验信度主要反映的是测验中控制误差能力的强弱,如果明确了误差来源.就能够有目的地加强对误差的控制,以此提高测验信度。测验误差主要来源于：测验卷与测试题、考生因素、施测环境、评价标准与评分等四个方面。4.3试卷信度的定性的评价指标评价一份测验卷的信度,除了计算一个具体数值并交代该数值反映的实际意义外,从走性的角度展开分析更有助于测验卷命制质量的改进。一般地,在施测外在环境已经确定的情况下,定性评价测验信度主要围绕测验卷、测验作答过程和测验评分过程进行,常见指标有四： 1、试题考查目标的一致性程度；2、试题呈现的规范性；3、试题作答的猜测度；4、评分标准的合理性等。4.4试卷信度的定量的评价指标测验信度值要达到多高才好？这取决于测验的使用目的与测验的类型。在教育测验中,一般以科隆巴赫信度指数作为测验值下线,来评价测验质量。据纳讷莱（1967）的研究,的不同范围,反映测验的不同问题：表一：值评价0.9,1)信度最好,达到最好的标准化考试水平。0.8,0.9)对学校考试而言,非常好。0.7,0.8)对学校测试而言,大部分试题很好,可能少数试题需要改进。0.6,0.7)信度稍低,需补充其他测验已确定分数或等次。部分试题需要改进。0.5,0.6)信度低。建议对试卷进行修改（如果试题多于10道）。需要补充其他考试来可靠地确定分数或等次。(0,0.5)信度差。考试基本无效,需要修改。一般而言,信度以多大为优,没有明确的标准,可视测验的目的和内容而定。对于期末考试来说,一般地,为优秀试卷为较好试卷,为不合格试卷。4.5试卷信度的估算方法4.5.1分半法分半法：将测验施于一组考生,然后将测验人为地分成两个平行部分,经比较这组考生在这两个部分的实测分数间的相关性,来估计测验信度,此测验信度也叫分半信度。通常可取为奇数题一组,偶数题一组,计算两组得分的相关系数：再用斯皮尔曼- 布朗公式：修正,以作为整个测验的信度系数,其中表示第 个考生一半试题的实得分, 表示第个考生另一半试题的实得分；,为考试人数。4.5.2同性质法同质性信度（homogeneityreliability）也叫内部一致性系数,它是衡量测验内部所有题目间一致性程度的指标董喆. 利用统计软件SPSS进行试卷质量分析N. 中国科技信息.2009(15)。系数由克龙巴赫(Cronbach)于1951年创立,常用来估计论文式测验的信度系数,其计算公式为：其中为信度系数, 为整份试卷的题目数, 为所有考生在第题得分的方差,为所有考生所得总分的方差。4.6一套试卷信度过低一般有如下原因4.6.1试卷本身设计不合理,不是围绕一个主题而是有矛盾的题目。如果试卷中有题目让完全相同的人选择不同的答案,试卷的信度会降低。 4.6.2题目区分度过低,特别指有对错之分的题目。如果一道题正确率或错误率达到90%,可以从新审视题目设计是否合理。区分度过低的题目中真实偏差的成分较少,随机偏差的成分相对较多,试卷的信度会降低。 4.6.3无关变量进入信度检验。除了重测信度,其他信度检验方法都只考虑有序变量,无序变量,如出身地方,喜好等,如果我们没有对地方或喜好排序的话,带入信度检验意义难明,可能会导致试卷的信度降低。 4.6.4题目选项反序。对有序变量,如果变量值之间序的意义相反,会降低甚至得出负的信度。比如检验老师对学生评分的信度,如果一个老师的评分以10分为最高分,1分最低,另一个以1分最高,10分最低。如果不经处理带入信度计算,信度会降低 。 4.7实例分析此以科隆巴赫信度系数表示法为例。分别采用excel与spss软件分析。某班共有20名学生,表二是该班某次期末数学测验的原始成绩统计表【附表一】,该数学考卷由25道题目组成,其中110为单选题,每题3分；1116题为填空题,每题3分；1725为解答题,分值依次为9,9,10,10,12,12,12,14,14,14分；试卷满分为150分。测量该次测验的信度。方法一：利用excel软件计算,分三步进行。第一步：计算每道题目的标准差；步骤:1、运用“STDEV”函数,在C23中键入“=STDEV（C2：C22）”,按ENTER键,返回值就显示在C23中；2、将光标放在单元格C23的右下角,显示“+”,按住左键拖曳光标,就可以得出225题以及测验总分的标准差。结果参见【附表二】第二步：计算每道题目的方差；步骤：1、在单元格C24中键入“=C23*C23”,按ENTER键,得到返回值；2、将光标放在单元格C24的右下角,显示“+”,按住左键拖曳光标,就可以得出225题以及测验总分的方差。结果参见【附表三】第三步：计算测验卷信度的内部一致性系数。据公式（3）,用来估计测验信度。在C25中键入“=（1-SUM（C23：AA23）/AB23）*25/24）”,按ENTER键回车,得到=0.417398.再由“表一”可知：该测验信度低。建议对试卷进行修改（如果试题多于10道）。需要补充其他考试来可靠地确定分数或等次。方法二：利用spss软件,分两步进行。第一步：将数据导入spss；步骤：在spss数据编辑器中,找到扩展名为“.xls”所需文件,然后根据提示,将学生各题分数与总分数导入spss数据编辑器中（本次运用spss18.0windows汉化版）,将之保存为扩展名为“.sav”的文件。第二步：依次执行执行“分析”,“度量”,“可靠性分析”,在弹出的对话框将“”选入“项”的方框中,“模型”选择“”；然后单击“统计量”,出现：“可靠性分析：统计量”对话框,选择“项之间”方框中“相关性”,单击“继续”,回到“可靠性分析”对话框,单击“确定”。得到下表：表二：Reliability StatisticsCronbach's AlphaCronbach's Alpha Based on Standardized ItemsaN of Items.419-.11623a. The value is negative due to a negative average covariance among items. This violates reliability model assumptions. You may want to check item codings. 科隆巴赫系数值是0.419.去除“”两项后,科隆巴赫系数值是-0.116.由于样本过小,仅20人。可以增加测试人数,以提高其测验信度。4.8提高信度的方法影响测验信度的因素很多,主要有试卷的难度、题型、题量、测验的内容、测验的组织、测验时间的长短、评分的客观程度、应试环境等,其中试卷的难度、题型、题量、测验的内容是由命题者把握的,也是影响测验信度的重要因素。基于上述结果,提出入下建议：适当加大一些试题的难度和区分度,来区分学生实际水平的差距,平均难度控制在0.450.55之间,选择题、判断题所占的分值比例不能太大,一般介于15%30%之间；题量不能太少,覆盖面不能太窄。一般,一份试卷不少于30道题,覆盖面不低于考查内容的80%,避免内容过偏的题和语意表达模糊的题。测验人数应当适当的多（本题仅20人）,避免容量太小造成试卷信度降低。五、 试卷信度的检验与分析（外部一致性） 信度（Reliability）是指同一个测验对同一组被试,施测两次或多次得分的一致程度。一个好的测验必须是稳定可靠的,多次使用所获得的结果是前后一致的 董喆. 利用统计软件SPSS进行试卷质量分析N. 中国科技信息.2009(15)。通常,此种试卷信度的检验与分析,有相关系数法、回归分析,方差分析等方法。在此以相关系数法中的斯皮尔曼（Spearman）等级相关系数方法为例。5.1相关概念51.1相关系数：衡量两个或多个变量间相关程度的定量化指标称为相关系数；其依赖于多种因素。通常取值范围为,值得符号表示变量之间关系的方向。当时,变量之间正相关；特别地,当时,变量之间严格正相关。当时,变量之间负相关；特别地,时,变量之间严格负相关。表示变量之间不相关。值越大,变量之间关系越强。注意：相关系数不存在倍数关系,亦不存在因果关系。5.1.2斯皮尔曼等级相关法,计算公式如下：其中,表示两个变量每对数据的等级之差；表示样本容量。5.2实例分析下表为10名小学生两次竞赛测验表：表三：学号竞赛1竞赛2竞赛1等级竞赛2等级等级差16587936362706579-243889132114787767-115908614-3965769108247899221118838445-1196966810-2410798156-11合计55550625.2.1由公式（4）,说明两次测验基本一致。5.2.2运用spss软件分析,共四步。第一步：将数据导入spss数据编辑器中。（步骤同上）第二步：依次执行“分析”,“相关”,“双变量”。第三步：将“竞赛1”,“竞赛2”选入“变量”下的空框中。在“相关系数”选项下,选中“Spearman”；在“显著性检验”选项中,选中“双侧检验”；选中“标记显著性相关”。第四步：单击“确定”,输出下表：表四：CorrelationsV7V8Spearman's rhoV7Correlation Coefficient1.000.663*Sig. (2-tailed).037N1010V8Correlation Coefficient.663*1.000Sig. (2-tailed).037.N1010*. Correlation is significant at the 0.05 level (2-tailed).5.2.2.1分析结果：据上表显示,样本总数是10,竞赛1与竞赛2测验的Spearman相关系数值为0.663,sig值为0.037.不可接受零假设。两次竞赛基本一致。5.2.2.2意见与建议基于此,要使两次测验信度一致,两次测验题难度,题型,涵盖范围等基本一致即可。六、 参考文献1胡中锋,李 方. 教育测量与评价M . 广州:广东高等教育出版社,2000 :31 - 58.2许世红,胡中锋.数学试卷分析方法M.广州：华东师范大学出版社,2009年8月3赵立新.陈文艺,郭子君.试卷质量的定量评价J.华南农业大学学报(社会科学版),2004(4):1384董喆. 利用统计软件SPSS进行试卷质量分析N. 中国科技信息.2009(15)5宋小平,张 敏,陈建军,张 晟. SPSS在医学生物学试卷的信度和效度分析中的应用N. 生物学通报. 43(11)(2008)6吴海霞.SPSS在试卷相关性分析和再测信度计算中的应用.百家论坛.TP3917李鹏.SPSS在测验信度、效度、及项目分析中的应用.8 沈浩.第一周:多重对应分析方法每周一讲多变量分析EB/OL. 致谢 感谢杭州师范大学给我这次论文写作的锻炼机会，特别感谢我的导师张慧增老师耐心的指导和帮助！【附表一】试题12345678910111213141516171819202122232425总分学生学号1333303333033303399101011111210913023333330333333333991091212111061333333333303333333399101011021299433333333303330339910108954110753333333333333303998910108761216333333333003333399101081176411673333333333330333991010121297212583333333333333333991010111211105135933330333033033339910101211121271311030333333333333339910109101011312611333333303333330399101089875117123333333333330033991010710910612213333333333033330379108129105211414333333333003333399101011849611815333330330333330399101081110841181603333330333033339710991221491201733330333333303339910101010121281321833333333303333307910101197116122193333333333033333991010121011941292033330333303330339981010128103118【附表二】试题12345678910111213141516171819202122232425总分学生学号1333303333033303399101011111210913023333330333333333991091212111061333333333303333333399101011021299433333333303330339910108954110753333333333333303998910108761216333333333003333399101081176411673333333333330333991010121297212583333333333333333991010111211105135933330333033033339910101211121271311030333333333333339910109101011312611333333303333330399101089875117123333333333330033991010710910612213333333333033330379108129105211414333333333003333399101011849611815333330330333330399101081110841181603333330333033339710991221491201733330333333303339910101010121281321833333333303333307910101197116122193333333333033333991010121011941292033330333303330339981010128103118标准差0.670820.67082001.2311740.670820.670821.0990430.9233811.4680811.0990430.9233811.0990431.2311741.2311740.670820.6155870.4472140.6155870.550122.6036411.2311743.1187043.0826342.337348.998684【附表三】试题12345678910111213141516171819202122232425总分学生学号1333303333033303399101011111210913023333330333333333991091212111061333333333303333333399101011021299433333333303330339910108954110753333333333333303998910108761216333333333003333399101081176411673333333333330333991010121297212583333333333333333991010111211105135933330333033033339910101211121271311030333333333333339910109101011312611333333303333330399101089875117123333333333330033991010710910612213333333333033330379108129105211414333333333003333399101011849611815333330330333330399101081110841181603333330333033339710