大规模教育考试.ppt
《大规模教育考试.ppt》由会员分享,可在线阅读,更多相关《大规模教育考试.ppt(182页珍藏版)》请在三一办公上搜索。
1、大规模教育考试,理论和实践问题,雷 新 勇,上海市教育考试院,考试考学生什么?考试分数准确、可靠吗?考试对所有的考生公平、公正吗?考试的价值观与社会的公认价值观一致吗?考试对学校的教育、教学有正面的作用吗?,大规模教育考试关注的基本问题,抽象出的考试理论和实践问题,考试的信度可靠性或分数的误差考试的效度考试的有效性或对考试结果的解 释和适用是否适当、有效。考试的公平、公正性考试平等对待所有考生考试的后效影响考试对社会价值观、对学校 教育教学有何影响,教育考试的心理学基础基本假设,假设1:人的心理特质是存在的心理特质:一个个体与其他个体不同的、可以识别的、相对稳定的特征(Any distingu
2、ished,relatively enduring way in which one individual varies from another)。例如,人的智力、认知方式、适应性、兴趣、态度、价值观、一般个性、特殊个性等根据对人的行为样本的观察可以确定心理特质及其强度。观察方式:direction observation analysis of self-report statements testing,教育考试的心理学基础基本假设,假设1:人的心理特质是存在的心理结构(construct):an informed,scientific concept to explain behavi
3、or.知识与技能、过程与方法、情感、态度和价值观相对稳定(relatively enduring):个体在某种程度上表现出某一特质是具有环境依赖性的.一个个体与其他个体不同的特征(one individual varies from another):心理特质的这个属性说明心理特征是一个相对现象,在教育和心理测试与评价中,评价者也要将对象的评价情况与假设的一般人,做出比较,或者直接将同一评价群体中的不同个体作比较。,教育考试的心理学基础基本假设,假设2:心理特质或心理结构是可以量化并且测量的定义心理结构行为目标:根据什么样的行为来判断对象具备的心理结构的强度。如何使考生表现出要观察的行为:用何
4、内容的试题如何对行为进行量化:赋分如何用数学模型进行处理,教育考试的心理学基础基本假设,假设3:与考试相关的行为可以预测非考试相关的行为预测什么非考试环境下的行为?高考:高等教育条件下的行为考试中,创造哪种测试环境 英语:真实的交际语言环境 数学:抽象的、academic circumstances 物理:真实的、抽象的、academic、experimental 化学:真实的、抽象的、academic、experimental 地理:真实的、earth-related,教育考试的心理学基础基本假设,假设4:每种测试方法或技术都有其优势和弱势Paper and pencil TestingOr
5、al TestInterviewClass ObservationSchool Observation常模参照和标准参照考试,教育考试的心理学基础基本假设,假设5:测量过程中必然会产生误差。误差是指测量心理结构以外的因素所产生的效应。教育考试中考生的行为表现除受到测量的心理结构影响外,还会受到其他因素的影响,这些因素所产生的效应就是误差。误差是所有测量过程一定存在的。误差是测量过程必须要考虑的一个变量,由该变量产生的分数变化称为误差方差。经典的真分数理论、概化理论、项目反应理论,教育考试的心理学基础基本假设,假设6:测试和评价可以是公平的、无偏的这是心理测量领域争议最大的一个假设公平、无偏就是
6、要平等地对待每一个考生,无论其性别、民族、居住地如何;考生的与测量的心理结构无关的个性特征对考试结果以及结果的解释没有明显的影响。公平、无偏的关键是所有考生对测试、评价有足够的了解,教育考试的心理学基础基本假设,假设7:测试和评价可以造福社会没有测试和评价就没有甑别,就会出现社会混乱。学校教师无法诊断、无法因材施教社会无法选择适合各行各业的人才测试和评价可以对社会的价值观产生影响 测试和评价可以对学校的教育、教学产生积极影响。,考试的效度有效性,效度是指各种证据和理论对考试结果的解释和使用的支持程度。有效性是一种价值判断建立价值判断的标准收集支持价值判断的证据标准测量目标证据来源考试大纲、试题
7、、试卷、考试 结果数据等。证据类型内容、应答过程、内部结构、与其它变量的关系、考试的后果。,课程标准课程标准中学习目标的基本要求可评估性可理解性可执行性可完成性,教育考试的测量目标来源,中外课程标准学习目标的对比,考试的测量目标构成,测量目标GoalsGoals are broad statements which specify what the students are supposed to be able to know and to do.具体目标ObjectivesObjectives are specific statements which specify what behav
8、iors the students are supposed to show to demonstrate their knowledge and abilities.表现水平标准Performance StandardsPerformance Standards specify how good of the students behaviors is good.,考试的效度证据类型,考试或试卷的内容应答过程内部结构与其它变量的关系考试的后果,考试的效度内容方面的证据,试卷覆盖的学科知识、学科的思维方法(过程)、学科的(实验)技能的主要行为;这些行为是否进行了适当的描述;这些需要由学科专家和
9、测量专家共同做出的判断。试题样本是否适当地代表一定的内容领域。这一证据主要关注的是试题内容的代表性,即试题覆盖的学科知识、学科的思维方法(过程)、学科的(实验)技能等,是否足以反映学科知识、思维方法和(实验)技能。,考试的效度应答过程方面的证据,考生的应答或在考试中的表现与考试欲测量的心理结构的一致程度 这一证据主要通过观察、交流以及应答结果分析获得。考生应答过程的理论和经验分析 这个证据需要既有学科背景,又有测量学背景的专家来分析 考生应答过程的观察记录,考试的效度应答过程方面的证据,试题及试题包测量的行为与考试欲测量的心理结构的一致程度 试题要有明确的测量具体目标命题要按照确定的具体目标命
10、题要对命题教师命制的试题,尤其是设问进行检查要对试题的具体目标与总的测量目标的一致性进行评价内部结构统计结果试题包之间的相关关系因子分析结果。,考试的效度与外部变量关系的证据,考试分数与外部变量之间的关系所揭示出的与考试欲测量的心理结构之间的关系,对大规模教育考试而言,外部变量主要是指与考试测量的心理结构相关或不同的变量。一致性关系(convergent evidence)不一致性(discriminant evidence),考试的效度与外部变量关系的证据,考试与标准测试之间的关系,关注考试结果可以多大程度上准确地预测考生在标准测试中的行为。预测有效性同期有效性,考试的信度传统的认识,信度不
11、同测量的一致性 Temporal stability 相关系数rForm equivalence 相关系数rInternal consistencyalpha信度系数 内部一致性信度 内部一致性系数一般是指Cronbach系数、KR-20系数或分半系数,最广泛使用的是Cronbach系数 Cronbach系数信度是效度的前提条件 没有高的信度就没有高的效度,考试分数的信度 经典的真分数理论,基本方程,考试分数的信度 经典的真分数理论,信度系数的解释(Nunaally 1967),考试的信度新的认识,不能再将Cronbach系数公式看作是检查大部分考试数据可靠性的最适宜方法。标准测量误差 是衡量
12、考试结果可靠性的唯一指标。根据考试结果使用的目的设置可以接受的最低测量误差最低测量误差决定了试卷的结构,如试题的数量、试题的题型及其比例等等。试题样本采集的独立性局部独立测试内容的不均匀性单维/多维评价结果可靠性的方法不一样如何使用测试结果 绝对决策/相对决策,考试的信度新的实践,首先根据考试结果使用的目的确定可以接受的测量误差正式考试推出前,要试测,抽出代表性样本,检查试测卷的测量误差,以便对试卷结构进行修改。命题之前要根据分数合成的要求,确定试卷的维度。单一合成分数单维试卷多维试卷根据测量的能力目标、内容领域分别报道分数。试题难度、区分度、测量误差的评价方法不一样。命题中要避免局部依赖性
13、相当部分试卷都存在这种情况常模参照考试与标准参照考试测量误差评价方法不一样。,经典的真分数理论中 测量的标准误差与信度的关系,考试的信度概化理论,误差方差是多来源的,概化理论的重要贡献之一 就是研究不同来源的误差,典型的考生分数变化可以归结为以下因素:,概化理论通过估计出这些来源的方差,就可以对这些方差作出比较,确定不同来源的方差对考生分数方差的贡献。对一个信度较高的考试,其全域分数方差要大,其他来源的方差(潜在的误差方差)要小。,考试的信度概化理论,相对误差方差,考试的信度概化理论,这些系数和误差方差是我们研究考试分数可靠性、控制测量误差、对考试作出改进的主要依据。,相对误差方差,考试的信度
14、概化理论,绝对误差方差,考试的信度项目反应理论,可以估计每个考生的能力水平能力分数真分数理论和概化理论均不能估计被试个体的能力水平。两种方法都是围绕观察分数,确定一个置信区间内,合理的推测被试个体的能力水平真分数或全域分数位于该区间之内,区间的大小是由置信度和测量误差共同确定的。确定置信区间时,是以被试群体的表现为基础的,因此无论被试个体的能力是高,还是低,或是中等,置信区间对每个被试是相同的。如果测量同一特质的试题数达到一定的数量,则被试的能力估计就与考试采用的试题无关。如果用来进行参数估计的样本达到一定的数量,则估计出的试题参数就与估计采用的样本无关。试题和考试提供的信息量或试题和考试的测
15、量精度与考生群体无关。,考试的信度项目反应理论,考生能力估计值的标准误差,确定能力分数的测量误差,考试的信度项目反应理论,考试的公平性,考生的与测量的心理结构无关的个性特征对考试结果以及结果的解释没有明显的影响不同的考生群体,如男、女考生,城市与农村或郊区的考生,不同省市的考生之间考试结果的统计差异只能是由考试要测量的心理结构的差异引起的,其他因素对其没有明显的可以探测出的影响。试题的情景材料,包括有声、图像材料,对所有的考生群体都是公平的。所有考生都能同等地获取考试的信息,考生不会因为其所就读的地区、学校的差异,生活的家庭的差异,不能同等地获得考试的相关信息。,试题功能偏差(DIF&DTF)
16、,不同子群体分数有明显差异,或者分数相近但能力测度有明显差异差异来源能力上的差异两个群体的确有差异试题功能偏差试题或试卷对不同子群体不公平试题或试卷功能偏差试题或试卷的多维性对试题或试卷进行多维性分析影响维度与测量的心理结构相关的维度干扰维度与测量的心理结构无关的维度,考试的公平性试题功能差异,考试的公平性试题功能差异,考试对社会、学校教育教学的影响,大规模教育考试结果的使用会对社会、对学校的教育、教学产生深刻的影响。大规模教育考试本身的情景材料、内容、题型、难度以及蕴含在其内容、材料以及考查目标中的价值观,对社会、对学校教育、教学也会产生巨大影响。考试目标的设计、试题情景材料的选择、试题的设
17、问等不但要考虑其测量学要求,也要考虑其蕴含的价值观是否与社会的主流价值观相一致,从教育的角度看是否有积极意义。考试的学科内容、题型、难度既要符合测量学要求,又要考虑有利于学校按照课程标准要求组织教育和教学,有利教师改进教学策略和教学方式,提高教育和教学质量;有利于学生改进学习方式,提高学习效果。,理论问题引发的实践思考 命题的问题,效度,题 型,题 量,内 容(知识技能,过程方法),目标和行为标准,难度和区分度,及格和等第标准,情 景 材 料 选 择,公平公正,信度,后效影响,试卷结构,试卷结构 测量目标和内容领域问题,试卷层面的问题试卷要测量哪些目标、覆盖哪些行为标准?在哪些知识内容领域测量
18、该目标?每一测量目标、行为标准和内容领域的题量?试题层面试题要测量何具体目标?在哪个知识内容领域测量该目标?如何设问才能引导学生表现出期望表现的行为?(排除法只是考试技巧,不是测量的目标或行为标准),试卷结构难度问题,考试的难度问题是科学问题,也是社会问题。难度影响到考生分数分布,因此影响到招生录取决策误差。难度影响学生和家长的应试心理,因此影响社会稳定难度影响学校教学深度和广度,影响学生学习的深度和广度。难度涉及到两个层面试卷层面试题层面,难度科学问题,难度对考生成绩分布的影响难度系数为0.5时,考生成绩大致呈正态分布,试卷的标准差也相应大致达到最大,此时,考生成绩在平均分两侧的分布最分散。
19、因此,依据考试成绩对考生进行选择决策时,发生决策误差的人数也会最少。难度系数越高,考生成绩越向高分一端集中,分布范围变小,因此,依据考试成绩对考生进行选择决策时,发生决策误差的人数也会增多。,难度科学问题,难度科学问题,试卷结构试题难度,试卷结构试题难度,试卷结构题量,平行试题模型法,真分数等值试题模型,试卷结构题量的计算,多元概化理论模型,试卷结构题量的计算,试卷结构题量的计算,大规模教育考试:命题与评价(2006)考试数据的统计分析和解释(2007)雷新勇 华东师大出版社,试卷结构题型,题型代表了测量方法,它与教育考试关注的核心问题密切相关。题型与考试的效度和信度有相当强的关系。大规模教育
20、考试的题型对学校的教学方式和教学训练方式有明显的影响。从经济的角度看,大规模教育考试题型对评分的成本也有很大的影响。最常见的题型分类:客观题、主观题,试卷结构客观题与主观题的比较,试卷结构客观题与主观题的比较,评分 客观,信度高,试题越严谨,主观评分,多人评分的不一 误差越小。致,降低了评分结果的信 度,增加了误差。,对学习 通常鼓励考生掌握具体的 鼓励学生关注大的内容单元,的影响 细节内容,注重对具体概 注重对所学内容的整合和建构。念、原理的区分。如果试 强调组织、整合和有效表达思 题设计的好,也可以促进 想的能力。学生发展理解力,思维能 力以及其他的高级认知能 力。,信度 考试设计的越严谨
21、,结果 信度通常低于客观题型,主要 信度越高。是因为评分信度较低以及试题 数量有限。,试卷结构题型选择的原则,从认知特征、试题和考试的特征以及考试的经济性来看,每种题型都有其优势,也有其缺点,任何一种题型都不能独自完成所有的教育测量目标。因此,考试中应该采用多种题型,发挥每种题型的优势,减少其劣势。如果两种题型的测量结果有很强的类似性时,选择测量效率高的题型(通常是选择型题型)是合理的;如果两种题型的测量结果类似性比较低时,应该考虑试题的在认知过程、内容等方面与测量目标的一致程度,通常选择一致程度高的题型建构型题型。,题型的选择要考虑试题测量的行为或者认知过程、涉及到的内容以及需要的条件,即题
22、型应该与测量目标的行为要求一致。这反映了考试的效度为第一考虑的观点。题型的选择要保证考试结果达到预先设定的信度要求,即必须考虑不同题型试题的比例。这反映了考试结果的高信度是考试高效度前提的认识。题型的选择要考虑学校课堂教学方式和学生学习方式的转变,题型要考虑反映高质量的教学活动和学习活动。,试卷结构题型选择的原则,试卷结构材料选择,考试学校学习结果的迁移。学科性的考试主要是专门迁移。专门迁移成功与否取决于两个条件:考生对相关知识,如概念、原理的理解及其本身的思维 能力;考生对迁移的新情景的熟悉程度。试题背景材料选择不当,易于导致出现试题的功能偏差,降低考试的效度和信度。,材料应该与考试的测量目
23、标以及试题欲测量的行为目标相关 材料应该与考生的学习经历和生活经历相适应材料提供的信息类型有新知识信息无新知识信息材料的信息量材料提供的信息与应答间的关系 关系的范围指的是完成试题的应答,必须加工、处理的信息的数量,包括宽泛范围和狭窄范围。关系的直接性是指期望的应答对所提供的信息的依赖程度。,试卷结构材料选择的基本原则,主观题评分标准的制定,赋分 赋分值与等第选择最合适于试题和评价目的的评分方法总体评分法分值稍低的、测量目标较单一的试题分析评分法高分值的、测量目标非单一的试题评价的行为特征应该与测量的行为目标相一致 在分析评分法中,每个评分项目一般应只包含一个独立的行为特征要明确评价的行为特征
24、等级数对评价的行为特征和标准中的每个等级应该进行清楚的定义,Thank you,蒙大拿州数学课程标准,能够运用适当的技术,参与到解决问题、推理、估算、交流、联系和应用的数学过程中。能够理解和运用各类数和各类数的运算。能够运用各种代数的概念、过程和语言来模拟和解决真实问题和数学问题。能够理解几何图形,运用几何学原理。理解可测的特质,并能够运用测量过程解决问题.能够理解和运用数据分析、概率和统计原理解决问题。能够理解、运用各类模型、关系和函数。,蒙大拿州数学课程标准,能够运用适当的技术,参与到解决问题、推理、估算、交流、联系和应用的数学过程中。根据数学或非数学情景,确认和形成问题;并运用解决问题策
25、略来解决这些问题。在问题解决过程中,选择、应用和评价适当的估算策略。形成定义,做出推断并对推断的合理性进行判别,表达各类概括和推广,交流各类数学思想和关系。对同一问题情景或同一数学概念的不同表达方式进行转换和应用;对非数学学科的问题情景建立数学模型。选择和运用适当的数学技术来加强数学理解。适当的技 术可以包括,但不仅限于,纸、笔、计算器、计算机和数据收集装置。,蒙大拿州数学课程标准,能够理解和运用各类数和各类数的运算。理解和运用实数,及其运算、符号、和实数范围的其他数。运用复数的定义和基本运算。,蒙大拿州数学课程标准,能够运用各种代数的概念、过程和语言来模拟和解决真实问题和数学问题。运用代数表
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 大规模 教育 考试
链接地址:https://www.31ppt.com/p-6266600.html