心理咨询测验的信度.ppt

,测验的信度,第三节,信 度,信度的概念 信度评估的方法 信度与测验分数的解释 影响信度的因素 信度的特殊问题,第一单元 信度的概念,信度：指测量结果的一致性程度。,信度：指同一被试者在不同时间内用同一测验（或用另一套相等的测验）重复测量，所得结果的一致性程度。,误差：在测量中与目的无关的变因所产生的不准确或不一致的效应；,随机误差：产生的效应是随机的；系统误差：产生的效应是恒定的；,第一单元 信度的概念,信度只受随机误差的影响。,X=T+E,测量实际 所得分数,测量中不存在随机误差时的分数,误差分数,第一单元 信度的概念,集中趋势的度量：平均数,7 8 8 8 9 9 5 7 8 9 11 121 4 7 8 9 12 15,离中趋势的度量：方差、标准差,第一单元 信度的概念,信度的定义：,第一单元 信度的概念,信度系数,信度指数,信度指数的平方就是信度系数。,信 度,信度的概念 信度的评估方法 信度与测验分数的解释 影响信度的因素 信度的特殊问题,第二单元 信度评估的方法,重测信度（稳定性系数）使用同一测验，在同样条件下对同一组被试者前后施两次，求两次得分间的相关系数。,测验,再测验,一段时距,时距：两到四周，最好不超过六个月；,第二单元 信度评估的方法,复本信度（等值性系数）以两个等值但题目不同的测验来测量同一群体，然后求得被试者在两个测验上得分的相关系数。,测验A,测验B,最短时距,重测复本信度（稳定与等值性系数）,测验A,一段时距,测验B,第二单元 信度评估的方法,内部一致性信度 反映的是题目之间的关系，表示测验能够测量相同内容或特质的程度。,分半信度 反映了两半测验（奇偶）内容取样的一致性程度。,同质性信度 反映了测验内部所有项目间的一致性程度。,第二单元 信度评估的方法,评分者信度 由两位评分者按评分标准分别给分，然后再根据每份测验卷的两个分数计算相关。,一般要求在成对的受过训练的评分者之间平均一致性达到0.90以上，才认为评分是客观的。,不同的信度反映了测量误差的不同来源。,信 度,信度的概念 信度评估的方法 信度与测验分数的解释 影响信度的因素 信度的特殊问题,第三单元 信度与测验分数的解释,解释真分数造成的变异的比例,确定信度可接受的水平,测验不能用于对个人做评价和预测，也不能用于团体间比较；,可以用于团体间比较；,可以用来对个人做出评价和预测；,信 度,信度的概念 信度评估的方法 信度与测验分数的解释 影响信度的因素 信度的特殊问题,第四单元 影响信度的因素,样本团体的异质性,样本团体的平均能力水平,样本特征,获得信度的取样团体较为异质，会高估测验的信度，相反则会低估测验的信度。,第四单元 影响信度的因素,测验越长，题目的取样或内容取样就越有代表性；测验越长，被试猜测因素的影响越小；增加测验长度的效果应遵循报酬递减规律；,测验的长度,一个包括40个题目的测验信度为0.80，欲将信度提高到0.90，通过斯皮尔曼布朗公式的导出公式计算出至少应增加（）个题数。（A）40（B）60（C）100（D）50,第四单元 影响信度的因素,时间间隔,测验难度,五择一题，0.70；四择一题，0.74；三择一题，0.77；是非题，0.85。,以再测法或复本法求信度，两次测验间隔时间越短，其信度系数越大；间隔时间越长，信度系数越小。,信 度,信度的概念 信度评估的方法 信度与测验分数的解释 影响信度的因素 信度的特殊问题,第五单元 信度的特殊问题,分测验的信度,速度测验的信度,对答题速度的一致性作出估计；,分测验的分数几乎肯定不如合成分数可靠。,在测量理论中，信度被定义为：一组测量分数的真分数方差与总方差的比率，即（）。（A）（B）（C）（D）KN/n,X=T+E,信度只受（）的影响。（A）系统误差（B）随机误差（C）恒定效应（D）概化理论,用重测法估计信度，最适应的时距随测验的目的、性质和被试者的特点而异，一般是以（）周较宜，间隔时间最好不超过（）个月。（A）12；4（B）24；6（C）46；8（D）68；10,复本信度又称等值性系数。它是以两个等值但题目不同的测验来测量同一群体，然后求得被试在两个测验上得分的相关系数。复本信度反应的是测验在（）上的等值性。（A）时间（B）题目（C）评分（D）内容,分半信度代表了（）内容取样的一致程度。（A）原测验（B）所有条目之间（C）题目与分测验之间（D）两半测验,斯皮尔曼布朗公式 中 为（）的相关系数，为测验在原长度时的相关系数。（A）全测验（B）原测验（C）一半分数（D）全部分数,同质性信度代表测验内部（）间的一致性。（A）两半测验（B）所有题目（C）题目与分测验（D）分测验,一般要求在成对的受过训练的评分者之间一致性达到（）以上，才认为评分是客观的。（A）0.70（B）0.80（C）0.90（D）1.00,确定可以接受的信度水平的一般原则是，当（）时，测验不能用于对个人做出评价或预测，而且不能做团体比较。（A）（B）（C）（D）,一般而言，若获得信度的取样团体较为异质的话，往往会（）测验的信度。（A）高估（B）低估（C）忽略（D）不清楚,对于不同平均能力水平的团体，题目的（）会影响测验的信度。（A）难度（B）区分度（C）信度（D）效度,洛德提出在学绩测验中，为了保证其可靠性，各类选择题德理想平均难度为：五择一题，0.70；四择一题，0.74；三择一题，0.77；二择一题，（）。（A）0.78（B）0.79（C）0.85（D）0.90,以再测法或复本法求信度，两次测验相隔时间越短，其信度系数越（）。（A）大（B）低（C）小（D）不变,估计信度的方法一般有（）。（A）重测信度（B）复本信度（C）内部一致性信度（D）评分者信度,使用同一测验，在同样条件下对同一组被试前后施测两次测验，求两次得分间的相关系数，叫（），又称（）。（A）复本信度（B）重测信度（C）稳定性系数（D）分半信度,如果复本信度考虑到两个复本实施的时间间隔，并且两个复本的施测相隔一段时间，则称（）。（A）重测复本信度（B）重测信度（C）复本信度（D）稳定与等值系数,复本信度的缺点有（）。（A）如果测量的行为易受练习的影响，则复本信度只能减少而不能完全消除这种影响（B）由于第二个测验只改变了题目的内容，已经掌握的解题原则可以很容易地迁移到同类问题（C）能够避免重测信度的一些问题，如记忆效果、学习效应等（D）对许多测验来说建立复本是困难的,下列描述正确的是（）。（A）随机抽取若干份问卷，由两位评分者按评分标准给分，然后再根据每份测验卷的两个分数计算相关，即得评分者信度（B）所有题目看起来好像测量同一特质，但相关很低或成为负相关时，则测验为异质的（C）人的多数心理特征如智力、性格、兴趣等，具有相对稳定性，间隔一段时间，不会有太大变化（D）不同的信度反映了误差的不同来源,为信度系数。下列（）情况属于极端情况。（A）（B）（C）（D）,一般来说，在一个测验中增加同质的题目，可以使信度提高。下列描述正确的是（）。（A）测验越长，测验的测题取样或内容取样越有代表性（B）测验越长，被试者受猜测因素的影响越小（C）测验越长，越遵循报酬递增原则（D）测验太长，有时反而会引起被试者的疲劳和反感而降低可靠性,测验的效度,第四节,陈 蕾,第一单元 效度的概念,低信度、低效度,高信度、低效度,高信度、高效度,效 度,效度的概念 效度评估的方法 影响效度的因素,第一单元 效度的概念,1、测验测量到它所要测量的东西了吗？2、测验对它所测量的东西测量到什么程度？,效度：对一个测验对其所要测量的特性测量到什么程度的估计。,效度：指所测量的与所要测量的心理特点之间的符合程度，也就是指一个测验的准确性。,第一单元 效度的概念,第一单元 效度的概念,总方差,与测量目的有关的真实方差,无关而稳定的方差,无关而不稳定的方差,第一单元 效度的概念,效度：在一组测量中，与测量目的有关的真实方差（或有效方差）与总方差的比率。,效度系数,效度既受随机误差的影响，也受系统误差的影响。,SX2 SV2 SI2 SE2 ST2,第一单元 效度的概念,效度与信度的关系,信度是效度的必要非充分条件,效度受信度的制约,第一单元 效度的概念,效度的性质：,效度是针对测验结果的,效度具有连续性,效度具有相对性,评鉴测验的效度时，必须考虑其目的与功能。,效 度,效度的概念 效度评估的方法 影响效度的因素,第二单元 效度评估的方法,内容效度,评估方法,是指测验题目对有关内容或行为取样的适应性，从而确定测验是否是所欲测量的行为领域的代表性样本。,（逻辑效度）,专家判断法,统计分析法,评分者一致性,复本法,再测法,经验推测法,第二单元 效度评估的方法,内容效度的特性：,表面效度：,受内容范围的定义的影响。,由外行对测验作表面上的检查确定的。,第二单元 效度评估的方法,效标效度,反映的是测验预测个体在某种情境下行为表现的有效性程度。被预测的行为是检验效度的标准，简称效标。,（实证效度）,第二单元 效度评估的方法,效标的必备条件,效标必须能真正反应测验的目的；,效标必须有较高的信度，稳定可靠；,效标可以客观地加以测量；,效标测量的方法简单，省时省力，经济实用；,第二单元 效度评估的方法,效标效度的评估方法,相关法,区分法,命中率法,积差相关,点二列相关,贾斯朋多系列相关,二列相关,当测验用来 做取舍依据时，用其正确决定的比列作为效度指标的一种方法；,命中率法,临界分数,合格标准,第二单元 效度评估的方法,构想效度（构思效度、结构效度）,构想效度就是测验对某一理论构想或特质测量的程度。,涉及心理学的理论概念问题；,测验能够测量到理论上构想或特质的程度；,测验结果能否正是或解释某一理论的构想，解释的程度如何；,第二单元 效度评估的方法,构想效度的评估方法,对测验本身的分析（测验内方法）,内容效度,内部一致性指标（内部一致性信度）,被试对题目的反应特点,测验间相互比较（测验间方法）,相容效度,区分效度,因素分析法,第二单元 效度评估的方法,构想效度的评估方法,效标效度的研究证明,效标,心理特质的发展变化,实验法和观察法证实,效 度,效度的概念 效度评估的方法 影响效度的因素,第三单元 影响效度的因素,测验本身的因素,测验材料必须对整个内容有代表性；测题设计时应尽量避免引起误差的题型；测题的难度要适中，就有较高的区分度；测题的长度要适当，即要有一定的测题量；测题的排列按先易后难的顺序；,测验实施中的干扰因素,主试的影响因素,被试的影响因素,第三单元 影响效度的因素,样本团体的性质,样本团体的异质性,样本团体越同质，分数分布的范围越小，测验的效度就越低；样本团体越异质，分数分布的范围越大，测验效度就越高。,第三单元 影响效度的因素,样本团体的性质,干涉变量,使得测验对于不同团体具有不同的预测能力的特征。,差异分数D 对照组法 分组预测,吉赛利（E.E.Ghiselli）,（）是指在不同时间内用同一测验（或用另一套相等测验）重复测量同一被试，所得的一致性程度。（A）信度（B）效度（C）难度（D）区分度,在心理测验中，效度是指测验所测量的与所要测量的心理特点之间的符合程度，或者简单地说是指一个测验的（）。（A）稳定性（B）准确性（C）可信度（D）区分性,在测量理论中，效度被定义为在一组测量中，与目标有关的真实方差与（）方差的比率。（A）误差（B）系统误差（C）随机误差（D）总,（）指的是测验题目对有关内容或行为取样的适用性，从而确定测验是否是所预测量的行为领域的代表性取样。（A）内容效度（B）构想效度（C）效标效度（D）区分效度,专家判断法，就是请有关专家对测验题目与原定内容的符合性做出判断，看测验的题目是否代表规定的内容。如果专家认为测验题目恰当地代表了所测内容，则测验具有内容效度。因此，内容效度有时又称（）。（A）构想效度（B）效标效度（C）区分效度（D）逻辑效度,编制测验时，效度是重要的要考虑的特性。如果是编制最高行为测验，除了内容效度，也要求有（）。（A）较高的表面效度（B）较好的专家判断（C）较好的外行判断（D）主观性,计算两种测验之间得分的相关，其中一种测验是待研究效度的，另一种是已有效度证据的成熟测验，但两者测量的是同一特质，假如相关高，说明新测验所测量的特质确实是老测验所反映的特质或行为。这种方法叫（）。（A）区分效度（B）逻辑效度（C）相容效度（D）构想效度,（）是检测测验分数能否有效地区分由效标所定义的团体的一种方法。（A）相关法（B）区分法（C）命中率法（D）失误法,如果其他条件相同，样本越同质，分数分布范围越小，测验效度就越（）。（A）高（B）低（C）大（D）接近1,效标测量本身的可靠性如何也是值得考虑的一个问题。效标测量的可靠性即效标测量的（）。（A）区分度（B）常模（C）信度（D）效度,信度与效度的关系可表述为（）。（A）信度是效度的必要而充分条件（B）信度是效度的充分条件（C）信度是效度的必要而非充分条件（D）效度受信度的制约,美国心理学会在1974年发行的教育与心理测量之标准一书中将效度分为几个大类：即（）（A）内容效度（B）构想效度（C）效标效度（D）区分效度,内容效度的评估方法有（）（A）专家判断法（B）双向细目表法（C）统计分析法（D）经验推测法,除了描述性语言外，内容效度的确定也可采取一些统计分析方法，如（）。（A）计算两个评分者的一致性（B）复本相关（C）专家推测（D）再测法,构想效度是（）。（A）构思效度（B）主要涉及的是心理学的理论概念问题（C）指测验能够测量到理论上的构想或特质的程度（D）测验的结果是否能证实或解释某一理论的假设、术语或构想，解释的程度如何,构想效度的估计方法包括（）。（A）对测验本身的分析（B）测验间的相互比较（C）效标效度的研究证明（D）实验法和观察法证实,可以作为构想效度证据的有（）。（A）测验的内容效度（B）测验的内部一致性指标（C）分析几个测验间的相互关系（D）分析被试者对题目的反应特点,可以作为构想效度的测验间比较的有（）。（A）内容效度（B）相容效度（C）区分效度（D）因素分析法,效标效度反映的是测验预测个体在某种情境下行为表现的有效性程度。它可以分为（）。（A）相容效度（B）区分效度（C）同时效度（D）预测效度,效标效度的主要评估方法有（）。（A）命中率法（B）区分法（C）失误法（D）相关法,相关法求效标效度的计算方法有（）。（A）积差相关法（B）点二列相关法（C）二列相关法（D）贾斯朋多系列相关,在命中率法中，命中的情况是指（）。（A）预测成功实际也成功（B）预测成功但实际上失败（C）预测失败而实际上成功（D）预测失败实际也失败,测验实施中的干扰因素包括（）。（A）主试者的影响因素（B）测验情境（C）其他干扰因素（D）被试者的影响因素,项目分析,第五节,陈 蕾,项目分析,定性分析,定量分析,难 度,区分度,第一单元 项目的难度,P值越大，难度越低；P值越小，难度越高。,项目的难度,通过或答对该项目的人数,全体被试者人数,在200个学生中，答对某项目的人数为120人，则该项目的难度为（）。（A）0.1（B）0.2（C）0.4（D）0.6,第一单元 项目的难度,项目的难度,全体被试者在该题上的平均分,该题的满分,数学测验的第7题满分为15分，该题考生的平均得分为9.6分，则该题的难度为（）。（A）0.64（B）0.55（C）0.43（D）0.21,第一单元 项目的难度,项目的难度,高分组的通过率,低分组的通过率,总成绩最高的27为高分组，总成绩最低的27为低分组。,在370名被试者中，选为高分组和低分组各有100人，其中高分组有70人答对第一题，低分组有40人答对第一题，则第一题的难度为（）。（A）0.35（B）0.45（C）0.55（D）0.65,第一单元 项目的难度,校正后的通过率,实际得到的通过率,备选答案数目,第一单元 项目的难度,项目的难度水平多合适取决于测验的目的、性质以及项目的形式。,项目的难度水平,对常模参照测验来讲，P值越接近于0.50越好，试题的平均难度接近0.50，各个题目的难度在0.50 0.20之间；,对选拔或诊断测验来讲，应该较多地选择难度接近录取率的项目；,对标准参照测验来讲，可以不考虑难度；,第一单元 项目的难度,测验的难度水平直接依赖于组成测验项目的难度。,测验的难度水平,对常模参照测验来讲，分数分布以常态最好；,对选拔测验来讲，正偏态的分数分布比较适合；,对标准参照测验来讲，可以允许出现偏态分布；,第二单元 项目的区分度,指测验项目对被试的心理特性的区分能力，取值范围在1至+1之间。,项目区分度（鉴别力）,高分组的通过率,低分组的通过率,鉴别指数,伊贝尔（L.Ebel）,鉴别指数与评价标准,第二单元 项目的区分度,相关法,以某一项目分数与效标成绩或测验总分的相关作为该项目区分度的指标。相关越高，项目区分功能越好。,积差相关；二列相关；点二列相关；相关法,区分度与难度的关系,较难的项目对高水平的被试区分度高，较易的项目对低水平的被试区分度高，中等难度的项目对中等水平的被试区分度高。,难度P值越接近0或接近1，越无法区分被试者之间能力的差异。相反，P值越接近于0.50，区别力越高。为了使测验具有更大的区别力，应选择难度在0.50左右的题目比较合适，各题的难度应在（）之间。（A）（B）（C）（D）,项目的（）也叫鉴别力，是指测验项目对被试者的心理特性的区分能力。（A）难度（B）区分度（C）信度（D）效度,1965年，美国测验专家伊贝尔根据长期的经验提出用鉴别指数评价项目性能的标准，鉴别指数D为（），说明该项目差，必须淘汰。（A）0.19以下（B）0.200.29（C）0.300.39（D）0.40以上,难度与区分度的关系，一般来说，较难的项目对高水平的被试区分度（），中等难度的项目对中等水平的被试区分度高。（A）中等（B）一般（C）高（D）低,难度的分布一般以（）分布为好，这样不仅能保证多数项目具有较高的区分度，而且可以保证整个测验对被试具有较高的区分能力。（A）偏态（B）负偏态（C）峰态（D）常态,难度代表测验的难易程度。用P值代表，P值越（），难度越小。（A）大（B）小（C）低（D）接近0,一般来说，测验的项目分析包括（）分析和（）分析。（A）大小（B）范围（C）定性（D）定量,项目的定性分析包括考虑项目的内容效度，题目编写的（）和（）等。（A）内容（B）形式（C）恰当性（D）有效性,