教育测量数据处理ppt课件.ppt

《教育测量数据处理ppt课件.ppt》由会员分享，可在线阅读，更多相关《教育测量数据处理ppt课件.ppt（80页珍藏版）》请在三一办公上搜索。

1、,第六章 教育测量数据处理,教学目标,理解基本概念掌握测量数据的统计描述方法掌握测量数据的统计检验方法掌握测试数据的结构分析方法掌握测量的质量分析方法了解项目反映理论,第六章教育测量数据处理,参考书目,“教育测量”相关SPSS在教育统计中的应用 （杨晓明 高等教育出版社）教育技术学研究方法基础 （谢幼如，李克东 高等教育出版社）教育技术学研究方法 （李克东 北京师大出版社）,第六章教育测量数据处理,第一节基本概念-教育测量,教育测量 物理测量:对物质现象的测量 心理测量:对精神现象的测量 教育测量是依据一定的法则（标准），用数值来描述与教育活动直接相关的事物的属性。 教育测量是教育评价的基础。

2、,第六章教育测量数据处理,第一节基本概念-教育测量,教育测量数据类别 1.名义尺度 2.序数尺度 3.距离尺度 4.比例尺度,第六章教育测量数据处理,P17-18,第一节基本概念-教育测量,教育测量的误差 1.误差:随机误差、系统误差 2.设，观察分数X,真分数T， 则 误差 E=X-T 相对误差= E/T 最大相对误差= E/X 3.误差来源 测量本身 实施过程 被试,第六章教育测量数据处理,第一节基本概念-教育测试,教育测试 测试是教育测量的主要工具. 指对学习者的学习信息进行有组织、有系统地收集，并通过对这些信息的处理作出确切判断和适当决定的科学手段和工具。 测试的目的是实现个人、集团的

3、技能、知识、能力、适应性的测定。,第六章教育测量数据处理,第一节基本概念-教育测试,测试分类 1.器具测试与纸笔测试: 2.客观测试与非客观测试: 3.综合测试与分析测试: 4.标准测试与非标准测试: 5.集团基准测试与达到基准测试:,第六章教育测量数据处理,第一节基本概念-教育测试,测试理论 1.经典的测试理论:基于统计 2.项目反应理论:基于参数,第六章教育测量数据处理,第一节基本概念-经典测试理论(CTT),经典测试理论基本假设 1.心理特质是可测的 2.CTT的误差模型 测试得分X与真分T之间是线性关系 即 X=T+E (1)若平行测试的次数足够多，则误差平均值趋于“0”，即(X)=T

4、 或 (E)=0 (2) 测试得分与误差相关,真分与误差相互独立 (3)各平行测试上的误差相互独立,第六章教育测量数据处理,第一节基本概念-统计描述方法,数据检查数据分类数据排序特征参数计算数据统计表数据图示法,第六章教育测量数据处理,第二节测量数据的统计描述,特征参数集中量: 平均数X： 中数：一组大小排列的数据中位置居中的数。 奇数个数： 偶数个数：最中间两数的平均 众数：一组数据中出现次数最多的数,第六章教育测量数据处理,第二节测量数据的统计描述,特征参数差异量: 全距：最大值-最小值 方差(分散)Sx2： -P112 标准差(标准偏差)Sx： -P113 差异系数： 标准差Sx 平均数

5、X CV20%,分化严重,第六章教育测量数据处理,第二节测量数据的统计描述,特征参数频数分布 次数分布表 次数分布曲线: 峰的数量： 峰的高低：高峰态，低峰态 峰的对称性：正态分布、偏态分布,第六章教育测量数据处理,第二节测量数据的统计描述,X-S平面特征数据分析模型,第六章教育测量数据处理,第二节测量数据的统计描述,测试数据转换 原始分数与导出分数: 百分排位:=（累积频度/被试人数）*100 Z分数: Z=(X-X)/S T分数: T=10Z+50 GEEB分数: =100Z+50 TOEFL分数:=70Z+500 离差智商: =15Z+100 多级评定值:,第六章教育测量数据处理,第二节

6、测量数据的统计描述,相关量: 两组数据间的关系 协方差(共分散)Sxy -P113 相关系数 rxy -P114,第六章教育测量数据处理,相关强度：强(0.8)、中等(0.40.79)、弱(0.2 0.39)、极弱(0 正相关 0 负相关 确定系数：=r2*100%,第三节测量数据的统计检验,是先对总体的分布规律作出某种假说，然后根据样本提供的数据，通过统计运算，根据运算结果，对假说作出肯定或否定的决策。,第六章教育测量数据处理,第三节测量数据的统计检验,基本原理： 概率论中的“小概率事件实际上的不可能性”原理。一般方法： 如果现要检验实验组和对照组的平均数（1和2）有没有差异，其步骤为： 1

7、.建立虚无假设，即先认为两者没有差异，用H0: 1=2 表示； 2.通过统计运算，确定假设H0成立的概率P； 3.根据P 的大小，判断假设H0是否成立。,第六章教育测量数据处理,第三节测量数据的统计检验,Z检验-大样本（样本容量大于30）平均数差异的显著性检验 1.建立虚无假设H0: 1=2 ，即先假定两 个平均数之间没有显著差异。 2.计算统计量Z值： 3.依据计算所得Z值、Z值与差异显著性关系表作出 判断。 4.结合以上分析和具体情况，作出结论。,第六章教育测量数据处理,第三节测量数据的统计检验,t检验-小样本（样本容量小于30）平均数差异的显著性检验 1.建立虚无假设H0: 1=2 ，即

8、先假定两个总体平 均数之间没有显著差异; 2.计算统计量t值:3.自由度df= n-1或df=n1+n2-2，在0.01级或 0.05级水平查t值表，找出规定的t理论值； 4.比较计算得到的t值和理论t值，推断发生的概率； 5.结合以上分析和具体情况，作出结论。,第六章教育测量数据处理,第三节测量数据的统计检验,2检验-计数资料的差异检验 比较两个及两个以上样本率( 构成比）以及 两个分类变量的关联性分析 ,1.建立虚无假设H0: f0=fe ;2.计算统计量2 值:3.按自由度df= n-1,查df（0.01）和df（0.05）的数值表,找出理论2 值。4.比较计算得到的2值和理论2值，推断

9、发生的概率；,第六章教育测量数据处理,设统计数据是r行c列:f0是实得次数（观察次数）fe是理论次数（期望次数）=nr*nc/n,n是列数,研究方法,问卷调查、访谈实验研究,第六章教育测量数据处理,第三节测量数据的统计检验,例题一： 某项教育技术实验，对实验组和控制组的前测和后测的数据分别如下表所示，比较两组在前测和后测中是否存在差异。,第六章教育测量数据处理,第三节测量数据的统计检验,例题二： 为检验某新的教学方法的效果，设计对比实验，实验组采用新教学方法，控制组采用传统讲授方法。实验后，实验组10名学生和控制组10名学生测试成绩如下，请分析判断实验组和控制组成绩是否有差异。,第六章教育测量

10、数据处理,第三节测量数据的统计检验,例题三： 某班的教学中采用了新的教学方法，进行前测和后测试验，随机抽取8名学生作样本，如下表所示，分析两次测试是否有差异，从而判断实验结果。,第六章教育测量数据处理,第三节测量数据的统计检验,例题四： 某班共有50人，随机抽取20人利用多媒体教学软件进行语文教学试验。在期终考试结束后，得知全班语文考试成绩如下表所示，其中前20人分数为参加试验的学生成绩。试通过检验样本平均数与总体平均数之间的差异程度判断该试验的效果。,第六章教育测量数据处理,第三节测量数据的统计检验,例题五： 随机抽取某学校数学系和中文系学生各100名，对某一英语教学软件的效果进行评价，根据

11、下表所示的评价结果测试两系学生的评价态度的差异。,第六章教育测量数据处理,第三节测量数据的统计检验,例题六： 某项关于物理实验的多媒体教材开发完成后，送给有关学校的物理教师征询意见并发出问卷，请根据以下数据分析44位物理教师对于A问题的回答是否存在显著差异B问题呢？,第六章教育测量数据处理,第四节 测量数据的S-P结构分析,项目反应模式 是测验中被试对项目所作反应的正误组合形式。 不同的项目反应模式对应着不同的能力水平，反映了不同被试对学习内容的掌握程度。特别是，在异常反应模式中，包含了很多重要的诊断、评价信息。 只有综合总分与项目反应模式的分析结果，才能达到诊断学生学习状况和调整教学计划的双

12、重目的。,第七章教育信息的结构分析,第四节 测量数据的S-P结构分析,项目反应模式 S-P 表分析法，则是一种把每一个学生的答对、答错模式与团体的反应模式进行对照分析，从而获得所需要的信息的方法。,第七章教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表概念 是一种将测试、练习的得分数据排成一览表，并对学生和问题的特性以视觉化的图表进行结构分析的方法. 可为学习的诊断、教学的评价提供重要的信息.,第七章教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表结构 以N个学生(Students)数据作为纵轴，n个问题(Problems)数据作为横轴作成一览表，该表取学生和问题的

13、第一个字母，故称之为S-P表.,第七章教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表制作 1.确定项目得分表中的元素 a.选择回答： b.记分回答： 2.基本统计,第七章教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表制作 3.行列重排 分数相同的学生,两种方法:(1)计算协方差:(2)分别计算所答对的全部项目的人数总和,累积项目数大的排在前面.对项目排序也同理.,第七章教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表制作 4.S曲线和P曲线,第七章教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表,第七章教育信息的结构分析,第四节 测量

14、数据的S-P结构分析,差异系数与注意系数 1.差异系数 用于表示S曲线与P曲线不一致程度. S曲线和P曲线间所包围的面积 S-P表的总面积之比来表示 差异量与学生数、问题数和学生的正答率有关。 为了使衡量差异程度的量度标准化，引入: 0.7*差异量 正答率*(1-正答率),第七章教育信息的结构分析,差异系数D*=,第四节 测量数据的S-P结构分析,差异系数与注意系数 2.注意系数 学生得分模式 问题得分模式 实际反应模式与标准变量的协方差 完全法反应模式与基准变量的协方差 其中,完全反应模式是指位于S曲线左测的全部为1，位于S曲线右侧的全部为0的学生得分模式.,第七章教育信息的结构分析,第四节

15、 测量数据的S-P结构分析,差异系数与注意系数 2.注意系数,第七章教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P分析曲线位置、形状：得分率、平均正答数、差异量、断层与幅个别模式：学生、问题、差异系数,第七章教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表分析法的特点及存在的问题 作为一种分析处理测验数据的方法，S-P表分析法与一般测验理论或因子分析法相比，在基本性质、分析方法以及适应范围等方面都有较大的差别。 S-P表分析法是最适合于分析形成性测验数据的方法。它的数学模型很简单，分析程序容易掌握，分析结果一目了然，量化指标的计算也十分方便。S-P表分析法存在的主要

16、问题是其数学理论不完善。它的分析结果不具有普遍意义上的统计推断特性，各种量化指标的评判标准都是建立在经验的基础之上。因此，S-P表分析法未能发展成为一种具有一定普遍意义的测验理论。,第七章教育信息的结构分析,第五节 测量数据的IRS分析,IRS (Item Relational Structure Analysis) 一种结构分析法,基于学生对各个问题(项目)的理解程度排序，对问题间的关联结构进行分析. 通常是以图来表示问题的关联结构.,第七章教育信息的结构分析,第五节 测量数据的IRS分析,IRS基本原理,第七章教育信息的结构分析,第五节 测量数据的IRS分析,顺序系数 表示顺序程度的标度

17、从问题i到问题j的顺序系数R*ij(1)R*ii=1(2)若c+d=0, R*ij=1 a+c=0, R*ij=1,第七章教育信息的结构分析,第五节 测量数据的IRS分析,IRS图的构成法 1.作出S-P表 2.项目系数顺序表 3.IRS矩阵：阕值(P171) (1)若rij*=0.5，顺序性ij成立,项目顺序系数表中对应的位置置为1; (2)若rij*j不成立,项目顺序系数表中对应的位置置为0; 4.构成IRS图,第七章教育信息的结构分析,第五节 测量数据的IRS分析,IRS图的构成法,第七章教育信息的结构分析,第五节 测量数据的IRS分析,IRS图的性质 1.单调性 2.正相关性,第七章教

18、育信息的结构分析,第六节测量的质量分析,信度效度区分度难度,第六章教育测量数据处理,第六节测量的质量分析,信度 1.概念:测试的可信程度,是测试结果一致性 和稳定性的度量 信度系数 xx=St2/Sx2=1-SE2/Sx2 (1)01 (2)0.950.99:高可靠 (3)0.90.94:一般可得的最好值 (4)0.80.9:较可靠 (5)0.7:误差太大,数据不能使用,第六章教育测量数据处理,第六节测量的质量分析,信度 2.信度系数的计算 (1)再测试法 12 =两次测试的相关系数r12 (2)平行测试法 12=rab (3)折半法 12 =2*rab/(1+rab) 12=2(1-(Sa2

19、+Sb2)/St2),第六章教育测量数据处理,第六节 测量的质量分析,信度 3.评分者信度 以肯德尔(Kendall)和谐系数表达 Ri2-(Ri)2/N 1/12*K2*(N3-N) 其中,K是评分人数 N是试卷数 Ri第i题的和 例:,第六章教育测量数据处理,第六节测量的质量分析,信度 3.评分者信度 例:6位教师评阅5道题的一份试卷,如表,W=0.93,第六章教育测量数据处理,第六节测量的质量分析,信度 4.信度的应用 一般学业测试的0.90 (1)个人测试分数的误差 (2)两种考试分数的比较,第六章教育测量数据处理,第六节测量的质量分析,效度 1.概念:测试的正确性、有效性,是测试准确

20、性的度量 2.效度的估算 内容效度 基准关联效度 构想效度 3.效度与信度的关系,第六章教育测量数据处理,第六节测量的质量分析,难度 1.概念:测试的难易程度 2.计算:难度指数P (1)客观题: P=R/N R:答对的人数,N:总人数 (2)主观题: P=X/W X:平均分,W:满分 (3)试卷: P=1/W*PiWi 或 P=X/W 3.难度的测前估计,第六章教育测量数据处理,第六节测量的质量分析,区分度 1.概念:测试对被试者的区分程度 2.计算:区分度D (1)客观题: D=PH-PL PH:高分组通过率,PL:低分组通过率 (2)主观题: D=(XH-XL)/N(H-L) XH、XL

21、 :高、低分组总分, H、L:最高分、最低分 N：被试总人数的25% (3)相关法：得分与测试总分的相关系数,第六章教育测量数据处理,第六章教育测量数据处理,正态分布曲线,平均分X 、标准差S 决定了 正态分布曲线的形状和位置,标准差S越大，曲线的单峰高度越低，宽度越大，显得越“胖”； S越小，曲线的高度越高，宽度越小，显得越“瘦”,平均分X对应于单峰位置，X越大，曲线越往右移动。,正态分布曲线,第六章教育测量数据处理,正态曲线下各等分所包含面积比例图,标准Z分数,Z=(X-X)/S (1)平均数为0,标准差为1 (2)Z分数可比、可加 (3)Z分数由原始分经线性变换得到,不改变原始分数的分布

22、形状、位置次序 (4)若原始数据是正态分布的,Z分数大约在-3与+3之间,第六章教育测量数据处理,Z检验统计量Z值（独立大样本）,（1）如果检验一个样本平均数X与一个已知的总体平均数0的差异是否显著。其Z值计算： （2）如果检验来自两个的两组样本平均数的差异性，从而判断它们各自代表的总体的差异是否显著。其Z值计算：,第六章教育测量数据处理,t检验统计量t值（独立小样本）,（1）如果要评断一个总体中的小样本平均数与总体平均值u0之间的差异程度，其统计量t值计算：（2）如果对同一受试对象处理前后的结果进行比较(配对设计)，其统计量t值计算：（3)如果要评断两组样本平均数之间的差异程度，其统计量t值

23、计算：自由度df= n-1或df=n1+n2-2， 查t值表:t(df)0.01,t(df)0.05P:,第六章教育测量数据处理,Df=n-1,:两样本各对数据之差的平均数Df=n-1,Df=n1+n2-2,卡方检验2值（计数资料的差异检验）,2 值:自由度df= n-1 查2值表: 2 (df)0.01,2 (df)0.05P:,第六章教育测量数据处理,f0是实得次数（观察次数）fe是理论次数（期望次数）=nr*nc/n,n是列数,第七章教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P分析曲线位置、形状：得分率、平均正答数、差异量、断层与幅个别模式：学生、问题、差异系数,第七章教

24、育信息的结构分析,第四节 测量数据的S-P结构分析,S曲线和P曲线特性,第七章教育信息的结构分析,第四节 测量数据的S-P结构分析,S曲线和P曲线特性S曲线的断层与幅：P曲线的断层与幅：,第七章教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表性质 1.S曲线与P曲线的不一致性（S曲线与P曲线之间的偏离程度） S曲线与P曲线是不重合的,虽然它们与x、y轴所包围的面积相等,称这种不重合为s曲线与P曲线的不一致性. 这是由于(1)测试问题的非等质性;(2)学生在测试时学习能力的不稳定性. 如果S曲线与P曲线偏离过大，就说明其中可能存在问题。当偏离异常时，应当考虑其中是否存在问题。,第七

25、章教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表性质 2.S-P表的类型,第七章教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表性质 3.S-P 表中0和1的分布 一般情况下，S-P表中1的分布应集中在表的左上侧。0的分布应集中在表的右下侧。这是由S-P表的制作方法所决定的。,第七章教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表性质 4.S曲线的形状 S曲线表示了学生得分的分布。曲线越靠近右侧，表示学生的得分越多，反之亦然。 S曲线通常是一种变化比较缓慢的S型的曲线。如果在S曲线的中间出现了水平部分，称之为S曲线的断层。 断层上下学生的成绩有较大的

26、落差。断层的出现表示学生对测试中的某些问题产生了错误的理解，或者是对问题中的解题条件还没有充分的理解和把握。,第七章教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表性质 5.P曲线的形状 P曲线表示学生们对每个问题应答时正答数的分布。 P曲线的断层表现为P曲线中间出现的垂直部分。 位于断层左右侧问题的难易程度具有明显的差异。 P曲线的形状和断层可以由测试问题的选择进行控制。通过P曲线断层的观察可以分析出测试问题难易程度的情况。,第七章教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表性质 6.S、P曲线的位置与平均答对率 S曲线左侧的面积或P曲线上侧的面积占S-P表总

27、面积的比例，表示学生团体在该测验中的平均答对率. 在S-P表中，S曲线越偏右，或P曲线越偏下，学生团体的平均答对率就越高.,第七章教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表性质 7.S、P曲线的形状与累积分布,第七章教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表性质 8.学生的异质反应模式 对学生项目反应模式的分析，即指对照学生团体所达到的水平来考察每个学生的反应模式，并识别出其中的异质反应模式，进而确定这类学生需要指导的学习内容和适当的指导方式。,第七章教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表性质 9.问题的异质反应模式,第七章教育信

28、息的结构分析,第四节 测量数据的S-P结构分析,S-P表分析法的特点及存在的问题 作为一种分析处理测验数据的方法，S-P表分析法与一般测验理论或因子分析法相比，在基本性质、分析方法以及适应范围等方面都有较大的差别。 S-P表分析法是最适合于分析形成性测验数据的方法。它的数学模型很简单，分析程序容易掌握，分析结果一目了然，量化指标的计算也十分方便。S-P表分析法存在的主要问题是其数学理论不完善。它的分析结果不具有普遍意义上的统计推断特性，各种量化指标的评判标准都是建立在经验的基础之上。因此，S-P表分析法未能发展成为一种具有一定普遍意义的测验理论。,第七章教育信息的结构分析,第四节 测量数据的S-P结构分析,S-P表应用 自学 P164-168,第七章教育信息的结构分析,第五节 测量数据的IRS分析,IRS图的应用 1.形成性评价中的应用 2.概念形成过程分析的应用 3.教材分析的应用 4.在教学设计中的应用 自学P173-177,第七章教育信息的结构分析,第五节 测量数据的IRS分析,IRS图的有效性 1.用于把握学生的学习状况 2.用于对指导要点的研讨 3.用于指导顺序的研讨 4.用于测试问题的完善,第七章教育信息的结构分析,