《传播研究方法》第九讲.ppt

传播研究方法,第三部分 观察的方法 第九讲 实验法,中国青年政治学院 赵菁 2015年11月12日,本讲概要,适合于实验法的议题实验法构成要素实验设计类型实验研究中的效度问题实验设计符号其他实验环境有关道德伦理 实验法的优缺点,一、适于实验法的议题,适合于范围有限、界定明确的概念和假设；更适合于解释，而不适合于描述；研究小群体互动,二、实验法构成要素,三对成分：自变量与因变量前测与后测实验组与控制组,二、实验法构成要素,自变量（Independent Variable/Treatment）实验中的刺激因素；具有两种属性的“二分变量”，比较出现刺激和不出现刺激所导致的结果的差异。因变量（Dependent Variable）受试者对于刺激的反应（身体状况、社会行为、态度、感受、信念）例如：种族偏见与黑人历史,二、实验法构成要素,前测（Pretest）在引入刺激因素之前对因变量的测量后测（posttest）在引入刺激因素以后对因变量的测量因变量前后测之间的差异，被视为自变量的影响力。例如：种族偏见与黑人历史问题：即使受试者的态度没有变化，第二次答卷时的反应也会不同。研究行为本身可能改变研究对象。,霍桑实验（Hawthorne effect）,20年代晚期-30年代早期，研究位于伊利诺伊州芝加哥市郊霍桑的西部电器工厂“电话配线机房”的工作条件。改善工作条件（如照明），员工满足感与生产力都大幅提高；但是，将灯光转暗，生产力仍然跟着提高！与其说配线机房工人因工作条件改善而工作得更好，不如说是研究者对他们的注意引起了他们的反应“霍桑效应”。,二、实验法构成要素,控制组（Control group）对照组，在试验中没有被施以刺激的受试者，但在其他方面和实验组一样。目的：1）发现实验本身的影响。例如：医学新药的发明；2）排除实验进行过程中外在事件的影响。实验组（Experimental group）在试验中被施以刺激的受试者。例如：种族偏见与黑人历史如果后测显示控制组全体所表现的偏见程度降低水平和实验组一样，那么偏见的减弱，是实验本身或其他外在因素【如，一位有声望的黑人领袖正好在实验期间遇刺身亡】的影响，而不是影片的作用；如果只有实验组偏见减弱，应视为看影片的效果，因为这是两组唯一的差异。如果实验组比控制组偏见减弱得更加明显，也可看做是影片的作用和影响。,基础实验设计图示,假设刺激 比较结果,双盲实验（Double-blind Experiments）,双盲实验：受试者和实验者都不知道哪些是实验组，哪些是对照组的一种实验设计。目的：控制研究者的预期与受试者直接联系的实验人员并不了解实验刺激因素或研究假设的细节；受试者也不知道自己属于实验组还是控制组例如：研究一种新药是否有效？研究人员将新药装在黄色的药丸内；将老药放入粉色的药丸内；将安慰剂【placebo，看似为真的假的刺激】放入绿色的药丸内。分发药片的实验人员并不知道哪种颜色的药丸里装有新药。,练习,在最简单的实验设计中,受试者暴露在一个_环境中，以_名义得以测量。前测；后测流动的；静止的自变量；因变量因变量；自变量,练习,实验刺激所施加的组别称为_控制组 实验组目的组三位一体组,选择受试者,受试者（Subjects）：实验研究的参与者受试者是否具有代表性【以大学生为受试者】？大学生并不代表一般民众；但是，与描述性研究相比，这种潜在的缺陷在解释性研究中并不显著。如果研究发现观看纪录片可以减弱大学生的偏见，那么我们也会有信心认为它对一般社区也具有类似效果。实验组与控制组是否有可比性？理想状态：控制组应等同于未面对实验刺激的实验组。二者应尽可能相似。,选择受试者,随机分配（Random Assignment）,N100,则样本代表性不够；因此，对于比较大的人群，实验法很少采取概率抽样；但是，在分配受试者时，研究者还是利用到随机抽样的逻辑,选择受试者,随机分配（Random Assignment）原因：有效的比较取决于两组受试者基本相似；无偏：确保研究假设或个人偏好不会影响分组选择程序；随机分配受试者到各组，确保受试者有相同的概率；将一些混淆变量（confounding variables）同等化。,选择受试者,随机分配（Random Assignment）方法：招募到全部受试者后，实验人员随机地将受试者分派到实验组或控制组。将所有受试者编号，利用随机数表选取号码；将奇数受试者分到实验组，偶数受试者分到控制组；将所有受试者的名字写在每一张小纸条上，混合好，放进帽子里，先抽取的一半为实验组；后抽取的一半为控制组；.,选择受试者,配对（Matching）目的：实验组的整体平均特征应与控制组相同。制作一个由所有最相关特征组成的配对矩阵，完成全部配对过程【配对矩阵实例】。招募比实验设计要求的更多的受试者。考察这些初选受试者的诸多特征，每发现一对相似的受试者，就随机把一人分派到实验组，一人分派到控制组；完全与众不同的受试者，排除在外。问题：弱化了研究的概括性,配对矩阵实例,问题：到底配对应依据哪些变量进行？,练习,将实验被试随机地分为控制组与实验组的技术称为：_非概率分析配对随机化都不是,三、实验设计类型,对实验的控制原则：尽可能地控制实验的所有方面，以分隔出自变量的效果，以及消除其他可能的解释。方式：欺骗（deception）-研究人员通过口头或书面指导、他人的行为、对实验场景的布置，故意误导受试者，以控制实验环境。引发研究伦理问题,三、实验设计类型,古典实验（Classical Experiment Design）有：随机分配、前测、后测、实验组、控制组例：1）餐厅对40位新入职服务员进行两个小时的培训；2）将之随机分为两组，每组20人；3）让40位新服务员在餐厅工作，实验研究员记录下一个月内所有受试者所收到的小费数目；4）重新培训第一组20名员工，指导他们服务顾客时先介绍自己的称呼，并在顾客用餐8-10分钟后返回，询问顾客“菜品还合适吗？有没有需要帮忙的？”5）第二组20名员工不予以重新培训，继续工作；6）再过一个月，实验研究员再次记录两组员工收到的小费数目。,前测,实验组,控制组,后测,三、实验设计类型,前实验研究设计（Preexperimental Designs）单次研究设计（One-shot case study）-只有一组受试者，在接受实验刺激之后直接接受有关因变量的测量。单组前后测设计（One-group pretest-posttest design）-实验组加上前测，但没有控制组。静态组间比较（Static-group comparison）-有实验组、控制组，但没有前测。,三、实验设计类型,单次研究设计（One-shot case study design）：只有一组受试者，在接受实验刺激之后直接接受有关因变量的测量。有：实验组、后测；【单组后测设计】例：1）餐厅对40位新入职服务员进行两个小时的培训，指导他们服务顾客时先介绍自己的称呼，并在顾客用餐8-10分钟后返回，询问顾客“菜品还合适吗？有没有需要帮忙的？2）让40位新服务员在餐厅工作，实验研究员记录下一个月内所有受试者所收到的小费数目。例：种族偏见与黑人历史,实验组,后测,单次研究设计（One-Shot Case Study）,一个在运动中的人看起来体型适中。锻炼有助于身材塑型？影片减弱了偏见？对餐厅服务员的培训就收到小费数额而言很有效果？,少了前测，不能确定,三、实验设计类型,单组前后测设计（One-group pretest-posttest design）：实验组加上前测，但没有控制组。有：实验组、前测、后测例：1）餐厅对40位新入职服务员进行两个小时的培训；2）让40位新服务员在餐厅工作，实验研究员记录下一个月内所有受试者所收到的小费数目；3）重新培训40名员工，指导他们服务顾客时先介绍自己的称呼，并在顾客用餐8-10分钟后返回，询问顾客“菜品还合适吗？有没有需要帮忙的？”4）再过一个月，实验研究员再次记录40名员工收到的小费数目。例：种族偏见与黑人历史,实验组,前测,刺激,后测,单组前后测设计（One-Group Pretest-Posttest Design）,一个超重的人运动后看起来体型适中对于单次研究设计的改进,自变量以外的某些因素可能会引起前后测之间的变化,三、实验设计类型,静态组间比较（static-group comparison）：有实验组、控制组，但没有前测。有：实验组、控制组、后测例：1）餐厅对40位新入职服务员进行两个小时的培训；2）将之随机分为两组，每组20人；3）让40位新服务员在餐厅工作；4）重新培训第一组20名员工，指导他们服务顾客时先介绍自己的称呼，并在顾客用餐8-10分钟后返回，询问顾客“菜品还合适吗？有没有需要帮忙的？”5）第二组20名员工不予以重新培训，继续工作；6）再过一个月，实验研究员记录两组员工收到的小费数目。例：种族偏见与黑人历史,实验组、刺激,控制组,后测,静态组间比较（Static-Group Comparison）,一个运动的人看起来瘦，而另一个不运动的人则超重；看过黑人历史电影的一组，比没看过黑人历史电影的组别种族偏见更低；经过重新培训的一组，比没经过重新培训的组别收到小费更多。,除非随机分配受试者，否则无从知道两组在实验前是否持有同样深的偏见/体重/小费,练习,在单组前后测设计中，所缺失的是什么？EPSEM实验组控制组都不是,练习：比较古典实验及其变体,Y,Y,Y,Y,Y,N,N,Y,N,Y,N,Y,Y,N,Y,N,N,Y,Y,Y,四、实验研究中的效度问题,内在效度（Internal validity）：假设的自变量独自对因变量发生影响。内在无效度（Internal invalidty）：实验以外的其他变量，而不是假设的自变量，对因变量发生影响。实验结论没能准确反映实验本身。,四、实验研究中的效度问题,内在无效度的13个来源：历史事件（History）：在实验过程中发生的历史事件将实验结果弄得混淆不清。例如：单组前后测设计，关于黑人的偏见的实验，一名黑人领袖遇刺；或美国黑人领袖因十恶不赦的罪行被捕。关于对太空旅行态度的实验研究，研究期间一艘宇宙飞船在返回着陆时爆炸，所有宇航员都遇难。常发生在持续很长时间的实验中（如，持续两周、一个月）。,四、实验研究中的效度问题,内在无效度的13个来源：成熟（Maturation）：人们不论是否参与实验，都在不断成熟和改变。而此类变化将影响实验结果。例如：在关于测试受试者推理能力的实验中，受试者由于困倦，导致结果偏低；例如：测试受试者的数学能力，在长时期的实验中，受试者年龄增长。常发生在长时间的实验中。,四、实验研究中的效度问题,内在无效度的13个来源：测验（Testing）：实验中的前测或一测再测影响人的行为，进而混淆实验结果。例如：发放问卷给一组人测量其偏见/数学能力。做后测时，受试者可能对偏见问题已经变得很敏感/记得试题，在回答时会更加深思熟虑。测量工具（Instrumentation）：采用不同的测量工具测量因变量，导致实验结果不同【测量的稳定性】。例如：前测使用的测量工具比后测的测量工具更敏锐【测量体重，秤没电了】,四、实验研究中的效度问题,内在无效度的13个来源：统计回归（Statistical regression）：受试者在测量变量中本处于极端位置，不可能在在极端的方向上前进。他们发生的变化会让人误以为是实验刺激的效果。例如：测试一种新的数学教学法能够改进教学效果，找来原先数学奇差的学生做实验。例如：测试暴力电影是否让人更暴力，以监狱中重犯为实验组，以正常人为控制组。前测刺激：暴力电影后测，发现监狱重犯看完暴力电影后暴力倾向反而降低；而没有看电影的控制组（正常人）反而暴力倾向更重。,四、实验研究中的效度问题,内在无效度的13个来源：选择偏好（Selection Bias）：研究初始，将受试者分为实验组和控制组时，没有采取随机化的方法，导致两组不对等。一组中的特征变量影响了结果。例如：测量身体攻击性，实验组成员全部为运动员，控制组成员全部为艺术家实验死亡率（Experimental mortality）：实验受试者在实验完成之前退出，将影响统计分析的结论。实验组与控制组分别接受前测和后测。假设实验组中比较固执的人觉得受到了黑人历史影片的冒犯，生气地拂袖而去。能够留下来接受后测的研究对象，一定偏见程度相对较轻。减体重的实验项目，50位受试者最终只留下30位。这30个人体重都明显减轻。但离开的20位如何？,四、实验研究中的效度问题,内在无效度的13个来源：因果时序（Causal time-order）：分不清刺激和因变量孰先孰后，一旦因果关系不明，刺激导致因变量变化的研究结论就可能受到挑战，因为可能是“因变量”的变化引起了刺激的变化。实验处理中的传播与模仿（Diffusion or imitation of treatments/Contamination）：实验组与控制组之间互相沟通，使得控制组受到了影响/污染。实验组成员跟控制组成员谈到那部关于黑人历史的影片；一项有关新单词记忆法效果的实验研究，休息间隙实验组成员告诉控制组成员他们所采取的新方法。,四、实验研究中的效度问题,内在无效度的13个来源：补偿（Compensation）：现实生活中的实验，控制组成员常被剥夺某种有价值的东西。此种情况下，研究人员为其提供补偿，会影响实验结果。医院员工觉得对不起医学实验控制组的患者，而对他们在护理上格外“和蔼关爱”。补偿性竞争（Compensatory rivalry）：现实生活中参与实验，被剥夺了实验刺激的控制组成员可能通过更加努力地工作进行补偿。假设数学教学计划是实验刺激，控制组可能比从前更用功学习数学，企图打败那些接受“特殊”实验的学生。,四、实验研究中的效度问题,内在无效度的13个来源：自暴自弃（Demoralization）：控制组觉得受到差别待遇，也可能因此自暴自弃。自甘堕落的控制组成员可能会停止读书，寻衅滋事。实验者预期（Experimenter Expectancy）：研究人员以非直接地方式将实验预期传达给被试者，从而引起其行为的改变。例：研究对残疾人反应的学者深信，女性比男性更加同情残疾人。该学者通过眼神接触、声音、及其他非语言交流方式，无意识地鼓励女性参与者报告对于残疾人积极的感情。,古典实验：运用黑人历史影片降低偏见,防止历史问题：不论外界发生什么事，实验组与控制组都可能受到影响，因此，两组后测得到的结果仍应该有差异；防止成熟/统计回归/选择偏好问题：只要受试者是随机分派的两组；防止测验本身和测量工具：实验组与控制组共同接受测验和实验主持人的影响；防止因果时序：严格控制实验设计；防止传播：严加隔离实验组与控制组；观察补偿性竞争与自暴自弃,四、实验研究中的效度问题,外在效度（External Validity）：将实验结果概括到“现实”世界的能力。提问：即使实验结果正确地反映了实验过程，又真的能告诉我们社会生活百态吗？,四、实验研究中的效度问题,外在无效度的来源：交互作用（Reactivity）研究参与者由于知道他们正在被研究，其行为反应可能与现实生活中不同。【实验情境与刺激之间产生交互作用】例如：霍桑实验（Hawthorne effect）例如：观看黑人历史影片与偏见的研究中，假设在古典实验条件下，实验组后测的偏见程度比前测有所减轻，我们能确信这部影片的观看确实降低了受试者偏见。但是，如果这部影片拿到电视上或影院里放映，能同样有效吗？,四、实验研究中的效度问题,控制外在无效度的方法所罗门四组设计（Solomon four-group design）处理前测问题涉及四组受试者，从一群人中随机分派第一组与第二组构成古典实验设计第三组只接受实验刺激和后测第四组只接受后测,所罗门四组设计,古典实验设计,两组后测实验,四组随机分配,四、实验研究中的效度问题,控制外在无效度的方法所罗门四组设计（Solomon four-group design）如果观看黑人历史影片确实能够减轻偏见【排除内在无效度和实验本身与刺激之间的交互作用】，预期会有四项发现:第一组后测所显示的偏见程度应比前测轻；第一组后测所显示的偏见程度应比第二组后测轻；第三组后测所显示的偏见程度应比第二组前测轻；第三组后测所显示的偏见程度应比第四组轻。,四、实验研究中的效度问题,控制外在无效度的方法仅有后测的控制组设计（Posttest-only control group design）所罗门四组设计中的后半部分（第三、四组）构成；与静态组间比较唯一的区别：受试者被随机分派到实验组与控制组中；如果真正做到随机分派【两组在因变量上具有可比性，没有必要对他们进行测量】，真正的实验只需要三、四两组即可以应付内在无效度问题以及实验与刺激之间的交互作用。,五、实验设计符号,O=对于因变量的观察/测试X=刺激因素；自变量R=随机分配,X O,O X O,X O O,R X O O,O X OR O O X O O,提问,古典实验设计与所罗门四组实验设计有何区别？没有区别.所罗门四组实验设计在古典实验设计的基础上，添加了没有前测的群体。所罗门四组实验设计在古典实验设计的基础上，添加了没有后测的群体。,六、其他实验环境,“自然”实验法（Natural Experiment）许多重要的社会科学实验通常发生在受控制的情境之外；灾难研究，静态组间比较例如：飓风袭击了某个小镇，一些居民蒙受了严重财产损失，另一些居民则逃过了这场灾难，损失相对轻微。试问承受自然灾害的后果是什么？受灾害惨重者比受害轻微者在未来更能抵御自然灾害吗？例如：美国作家哈利的小说改编的电视剧根是否改编了美国白人对黑人的态度？1979年，根续集播出时，研究者在华盛顿州选择了4个样本，寄出问卷测量他们对黑人的态度；电视剧播出最后一集后，受访者接到电话，调查他们看了几集；接着，问卷寄给受访者，再测量他们对黑人的态度【评估节目效果研究】。,六、其他实验环境,基于互联网的实验（Web-based Experiment）研究者逐渐开始利用互联网做实验.有代表性的抽样并不重要，所以研究者经常利用在线应邀的志愿者。例如：测量世界上一个人与另一个人相识需要几个步骤,七、有关道德伦理,三个原则：尊重个体：事先警告、事后告知；好处：最大化可能的好处，最小化可能的风险；公平,八、实验法的优缺点,优点:将实验变量与它带来的影响分离开来；省时、省钱、可重复。缺点：人为造作，能在实验室里发生的社会过程，未必能在自然的社会环境中发生;道德伦理问题;研究一个自变量的影响,难以研究很多变量的同时影响.,复 习,1.实验法尤其适合于如下哪些议题：范围有限的概念界定明确的概念假设检验上述所有,2.能够有效消除研究者偏见的可能性的实验方法是_.滚雪球双盲目的实验统计回归,_指的是从实验结果中得出的结论不能精确反映实验本身。排除内在无效度外在无效度代表性都不是,4.自然实验更类似如下哪种实验设计？静态组间比较古典实验所罗门四组实验单组前后测实验仅有后测的控制组设计,5.控制实验最主要的优点是?省时省钱人为造作将实验变量与它带来的影响分离开都不是,