张德禄多模态话语分析理论与外语教学.ppt

多模态话语分析理论及在教学中的应用,张德禄,1,目录,1.引言2.理论基础3.符号资源4.多模态设计5.多模态语法6.模态之间的关系7.模态选择及用途8.多模态读写9.问题与不足10.将来的研究,2,1.引言多模态性在历史上没有受到人们的重视;在现代语言学研究中：被看作非语言特征和伴随语言特征；一种语言的辅助表达系统，没有作为意义表达模态来研究。多模态产生的原因：（1）是话语分析理论发展的一个历史阶段：人们发现话语的意义很大一部分是由非语言特征实现的。（2）人类话语越来越多模态化：多媒体和网络的产生促进了多模态话语的研究；人类的交际过程需要听觉、视觉、触觉并用；在一些领域，交际的主模态已经由语言转为图像或其它模态，网页、电影、画展等。,3,1.1 多模态话语分析研究1.最早的研究者之一是R.Barthes，在他1977年发表的论文图像的修辞（Rhetoric of the image）中探讨了图像在表达意义上与语言的相互作用。另外几个主要的研究者包括：2.Kress，G.and van Leeuwen，T.(1996;1998;2001;2002)研究了模态与媒体的关系，专门探讨了多模态现象规则地表达意义的现象，包括视觉图象、颜色的语法，以及报纸的版面设计和不同媒介的作用等。3.OHalloran，K.L.(1999a；1999b;2000;2003;2004)不仅研究多模态的理论建构，还专门研究了数学语篇中的多模态现象。5.Royce，T.(1998a;1998b;2002)研究了不同符号在多模态话语中的互补性，以及在第二语言课堂教学中多模态的协同性等。还有其他许多研究者：Jewitt 2008；New London Group(1996)；Lemke,J.(2002)；Bednarek&Martin（2010）。,4,1.2 模态与媒体（Mode vs medium）模态（modality）来自于mode/model(方式、模式），表示可对比和对立的符号系统；媒体是符号分布印迹的物质手段，如产生语篇采用印刷的或手写的手段，说话时发出的声音，身体的动作，或计算机显示器上的光脉冲(Scollon&Levine 2004)。我们感受客观世界的视觉、听觉、触觉、味觉、嗅觉是不同的感知模态，但眼、耳、手、舌、鼻则是媒体。这样，模态是用某种媒体表达信息的特殊方式。媒体是表达信息的物理工具。,5,1.3 单模态(monomodality)vs 多模态(multimodality单模态是只通过一种模态进行交际活动的现象，如说话、听录音、读书。前者为通过听觉模态；后者为通过视觉模态。多模态表达可以分解为同时表达意义的两个或两个以上的单模态(Bernsen 2002)。我们每天在看报纸、杂志、广告、招贴画、故事书、教科书、活页文选、百科全书、说明书、计算机界面时，甚至在我们相互交往时都离不开多模态。我们谈话时手舞足蹈，有声有色，也意味着使用了多模态。多模态话语：运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。,6,2.理论基础,多模态话语分析理论的基础是社会符号学索绪尔：能指（signifier)-所指(signified)。只研究个体符号的特性；只研究“Langue”，不研究“parole”。皮尔斯发展了符号范畴：图标、索引和语符。他论述的媒介、对象、解释三位一体的三角关系。韩礼德提出了“语言是社会符号”的理论。社会符号学优先研究的是把所指行为作为实例，并把社会的所指实践作为经常的、可重复的、可识辨的类型。社会有意义的实践构成各种文化(社会符号系统)。符号系统是对这些实践的抽象(如从言语得到语言符号)。Saussure Langue Parole Halliday Pierce,7,社会符号学没有必要区分理论符号学和应用符号学，它与话语分析、多媒体分析、教育研究、文化人类学、政治社会学有更紧密的关系。再者，它也回答了索绪尔符号学所难以摆脱的一个悖论：这个理论一方面把语言看作是静态的不变的，另一方面又不得不承认“所指的变化导致概念的变化”，“思想可能被迫接受符号的物质状态给它提供的特殊方式”(Lemke 2005)。这说明语言结构底层的常规是不固定的，而是受到实际言语的影响。(Beaugrande 1991:2-27)。社会符号学把语言看作众多符号之一，各种符号系统都能够用以社会交际，体现讲话者的意义。这样，交际就是多模态的了。,8,3.符号资源,符号系统实际上是符号资源(semiotic resource)系统，人们通过可识别的、多半是习惯性的(有时是原创的)方法从这些资源中选择，就可以进行有意义的活动(Lemke 1993)。所谓习惯性的方法指可确认的符号架构(semiotic formations)，是一个社团中的成员同时采用一些符号资源形成的经常的、可重复的、可识别的、有意义的、文化的和历史的特殊符号类型。如某一时期的文学语类是符号架构。同样，建筑风格、房子类型、宗教仪式、特定节日、饮食、衣着的特定样式都可以定义为可行动的有规律的范式，对社会是有意义的实践的范式。,9,Kress(2001)认为，所有的模态(视觉的、姿态的、动作的)，像语言一样，在社会使用过程中共同形成社会资源的模态(Halliday 1985,Kress 1997)。传统上书写和口语的模态强调语言方面，而把其他资源，如姿势、语音音律、注视、动作等看作是“副语言的”，不把这些看作是能与语言同时作用的完整的符号资源。多模态话语分析把它们提高到相同的层面。,10,媒体资源的分类（1）语言与非语言张德禄（2009）对媒体的类别根据是否语言和是否身体的对外语教学中的媒体系统做了归类：非语言媒体表达意义的非语言媒体包括交际者的肢体动作和交际者在意义表达中所使用的非语言手段，如工具、环境等。,11,肢体媒体：(1)与头部有关的动作，包括眼神、挤眼、凝视、摇头、点头、仰头、低头、欢喜的表情、伤心的表情、嫉恨的表情、凝重的表情、大笑、呲牙咧嘴以及鼻子和耳朵的动作形成的媒体符号等。(2)由手臂和腿形成的媒体符号，包括手势，手臂的状态、形成的形状、摇动等，腿的并立、踢跳、弯伸等。(3)躯干的动作，如姿势、移动、摇摆、模拟等。,12,非肢体媒体主要包括工具和环境两个方面。随着现代科学技术的发展，交际者肢体以外的交际媒体变得十分发达。从起初的音响设备到现在的网络平台、同声传译室等都是工具性媒体。除此之外，交际者还可以利用环境中已有的所有符号系统来进行交际，包括现场环境中的人和物、有象征意义的符号等(见图1。),13,语言媒体从传统的语言学研究的角度讲，实现意义传播的媒体形式主要有两种：声波传导的声音符号和由笔等生成的书写符号。这两种媒体是语言传播信息的主要媒介。但随着信息技术的不断发展，其他技术开始用于语言信息的传播，如计算机文字输入、计算机语音识别等，但最后的传播媒体仍然是声音或者字符。伴语言媒体对语言意义的传递起到辅助、补充和强化的作用，包括音响、声音的大小、音调、声音的频率、口音、语气、以及字体形状、大小、空间的布局等。这些伴随语言的媒体特征对意义整体的表达起着十分重要的作用，有时是关键作用，因为它可以引起整体意义的改变，如用声调表达态度。,14,15,（2）静态与动态Thibault(2004)对符号资源的研究比较具体。他从身体动力学的研究区分动态的和静态的:(1)静态的表达媒体,如文字、图片、表格、绘画等。(2)动态的研究指面对面的互动、动画、电影、使用录像机等。,16,（3）两个层次与三个层次根据系统的复杂性，媒体系统可以分为两个层次的和三个层次的。两个层次的符号系统比较简单，是符号的能指和所指可一一对应，不通过词汇语法的系统，例如：交通信号系统是两个层次的符号系统：语言是三个层次的符号系统。,17,（4）.维度媒体的维度是一个重要的区分条件，因为维度之间的区别很重要，可以直接影响对符号的识别难度。媒体的维度现在一般还是局限在四个之内：一维的是线性的：口语和书面语；二维的是平面的：平面图画；三维的是立体的：立体图形；四维的是动态的，是可移动的三维符号系统，如电影、动画等。,18,4.设计,设计是制造语篇和识读语篇的过程。书面语占统治地位的设计：写作的逻辑曾经塑造了页面的顺序和书本。新媒体时代的设计：当今占统治地位的媒体是屏幕，不管是游戏机、移动电话、个人电脑或者电视和录像。因此现在屏幕的逻辑正在塑造新的顺序和对屏幕的安排。虽然文字写作可以出现在屏幕上，但它从属于图像，如同过去图像可出现于书本上，但从属于文字写作。因此图像将越来越塑造写作的出现和用途，这一过程已在公众信息传递的事例中出现。过去，作者的形象和写作的方式占统治地位；在新的屏幕设计中，设计者和图像的模式占统治地位。(Kress 2004)。,19,Kress(2004)重视设计者的作用。所有符号资源都具有社会意义，属于特定文化。多模态符号(词语、文字、信件、色彩、字体)的复杂信息反映了设计者的尽量选用多种符号表达意义的意愿。设计者根据符号特殊的修辞目的，用尽各种手段来劝诱那些有机遇接触该信息的人们。页面/网址的设计者不再是权威性语篇的“作者”，但他是材料的提供者，按照想象中读者的所谓特点进行安排。设计者的作用是将材料集中，加工为访问者可提取的“信息”。屏幕设计要考虑访问者的兴趣。对访问者来说,“信息是个体选择的材料，经他们转换，成为可以解决有生世界问题的知识”。,20,设计是在一定语境下进行的。在多模态信息传递中，关键是选择相应的设计。如果表达和塑造信息时有多种方法，有待回答的问题是：就要传递的内容或意义来说，哪一种模态最好?哪一种模态在塑造所传播信息时最能符合设计者的兴趣?设计者的听众或他自己最喜爱哪一种媒体?在选择某个媒体或模态而不是其他时，设计者对自己的定位?所有这些都需要作出抉择。,21,根据新伦敦小组(New London Group 2000)的观点，任何制造意义的过程基本上都是设计行为。一般有三个部分:第一,已有资源：根据“可利用的设计”，择取某些符号资源和常规，如话语形式、语类和方言。第二,设计过程,：包括将符号资源转变成自己的声音，将老材料作新用途等。根据这一观点，读和听、写和说是进行设计的实例，因为每个人都可利用可利用的设计来产生意义，根据各自的兴趣和个人经验，将所读到和听到的材料转化成意义。,22,第三,“重新设计”：由设计过程产生的资源或重新产生的意义，又可成为一种新的可利用的设计，具有制造意义潜力的新的资源。这样，设计的观点不仅应用于原创性活动，更应当看作是日常经历的核心部分，因而这是教育过程中应当强调的重要成分。(Williamson 2005)。,23,5.语法,在多模态话语选择中最关键的因素是如何使不同模态的相互配合来获得最佳交际效果，而这种模态之间的配合主要是在形式层面，特别是语法层面表现出来的。根据系统功能语言学理论（Halliday,1973;1985），语言要同时体现三种元功能概念功能、人际功能、谋篇功能。那么，从多模态话语的角度讲，除了语言之外，其他符号系统也同样是实现三个元功能的系统，如Kress and van Leeuwen(1996)和 OToole(1994)把多元功能的思想延伸到图像上，提出视觉语法的概念；OToole(1994)则提出了一个以多元功能分析为基础的，用于分析图画的模式。,24,例如，Kress and van Leeuwen(1996)建立了一个图像分析的社会符号学框架。模拟系统功能语言学中的功能语法的及物性系统，他们把把图像的语法系统分为叙事类和概念类。在叙事类中，有行动过程、反应过程和心理与话语过程。行动过程表示图像所表现的动作和行为，由动作者和一个矢量，再加情景成分组成。,25,26,The dentist is examining the patients teeth.,反应过程也是由矢量组成的，是一个或多个图像中的参与者的目光的方向构成的。心理和言语过程是矢量由话语和思维形成的，在图像中通常由言语泡或思维泡组成。,27,这样话语的叙事表现可以由下图表示：,28,图像的概念类过程实际上表达语言的关系过程的主要内容，分为分类过程、分析过程和象征过程。分类过程表示一组相似的参与者，个体特征、距离和等级相同，沟通从属于一个更高层次的参与者，它可以是显性的，也可以是隐性的。分析过程实际上表示整体部分，即整体可以分析为部分。其关系是整体部分关系。另外，他们还区分了穷尽的和包含的，类型学和拓扑学的分析过程。象征过程表示参与者是什么或者意味着什么。它可以有两个参与者，一个是承载者，另一个表示其意义或者身份，是象征属性。,29,30,31,与此同时，他们还讨论了体现人际意义的特征，包括距离、接触、视点和情态等。从这个角度讲，我们有两个问题需要考虑：一是每个符号系统的语法如何确定？二是各个符号系统的语法如何相互协作来共同实现三个元功能？,32,6.多模态话语的形式及其关系,6.1 多模态话语的形式媒体只有通过形式层面的组织和模式化才具有直接表达意义的能力。形式对媒介进行组织有两种手段：一是直接赋予某个媒介符号某种意义。由这种符号组成的符号系统通常没有能产性、没有任意性；二是把一定的媒介符号进行组合，然后赋予这种组合一定的意义，这就是语法的作用。由这种符号和符号组成规则形成的符号系统具有任意性、能产性、双分性，由三个层次的代码组成（媒介、形式（词汇语法）和意义）。语言属于这一类。语言：词汇语法图像：图符图形语法音响：音符声响语法接触：实体-感触语法,33,6.2 多模态话语形式之间的关系运用多模态的理由：一种模态不足以表达清楚交际者的意义，从而利用另一者来强化、补充、调节、协同，达到更加充分，或者尽量充分表达意义，让听话者理解话语的目的。关系：互补 vs 非互补 互补：强化（突出、主次、扩充）vs 非强化（交叉、联合、协调）非互补：交叠（冗余、排斥、抵消）vs 内包（部分、具体）vs 语境交互（独立vs 依赖）,34,35,借用韩礼德的功能语法研究中的逻辑语义关系，来表示不同模态之间的关系：说明 详述 例证 扩展 延伸 时间 逻辑语义 增强 空间 关系 因果 话语 投射 思想 逻辑语义关系（Martinec&Salway,2005).,36,7.外语教学中的模态选择,7.1 模态选择程序对多模态话语理论框架进行选择的基本程序是：意义选择：在文化语境中，受意识形态的支配和体裁系统的制约，根据具体的情景语境，选择要表达的意义，包括概念意义、人际意义和谋篇意义；意义体现：所选择的意义要以合适的模态表达出来：即时的口语；安静的手势；同样，对多模态的选择也是受语境的制约的：噪音声音+手势。,37,不同模态之间的相互配合问题：语义表达的需要；交际的需要。我们在选择中所要考虑的关键因素是在一定的情景中，如何选择合适模态来有效地表达所要传达的意义。模态与媒体基本上是形式和实体的关系。模态语法确定选择什么样的媒体。如视觉语法确定不同视觉媒体之间的相互配合。例如，课堂教学：熟悉的事物：语言讲解；不熟悉的事物：讲解+实物（图像等）。,38,7.2 模态选择的动因总体原则：充分利用现代媒体技术，最大限度地充分表达讲话者的意义，取得最佳效果，为更好地利用现代技术提供一个合适的理论框架。基本思路：人类交际中意义的体现具有多模态特点：在形式层面涉及不同模态的词汇语法系统之间的关系；形式层面由媒体来体现。现代媒体技术都主要是在媒体层面，所以充分利用好现代媒体技术是重要的研究课题。在多模态话语交际框架下，对模态的选择可以从三个角度进行：（1）为外语教学提供教学情景和便利条件（工具）；（2）为外语教学提供辅助条件（助手）；（3）为多模态话语交际提供多通道话语意义表达方式（补充）。,39,7.2.1 作为工具多媒体技术的发展实际上为提供尽可能真实的语境的提供了便利条件，可以提供图像、录像、声音，作为学习的实际环境。利用从真实交际场合中得到的录像材料作为：（1）学习材料，让学生了解和认识真实语境的实际情况，使获得的语境知识更加具体；（2）背景信息，让学生与录像中的交际者在录像提供的语境中进行交际。发展现代多媒体技术的一个最基本的理念是多模态交际可以使受话人通过多通道获得信息，比单模态话语更容易使受话者理解和记忆。如 PPT:文字、语音、图形、图像、录像：视觉和听觉,40,7.2.2.作为助手为教师提供条件，使他的工作容易进行；现代技术还可以从内部提供动力，使教师和学生从内心愿意从事这种活动，把外因转化为内因。第一，特殊的东西、大的东西、颜色艳丽或者浓的东西更能吸引人们的注意力，这就是突出，把事物前景化。例如，在教学中在PPT画面上用艺术体、黑体、大体字，可以使文字突出；在文字中加上图片可以更能引起学生的注意等。第二，美丽的东西、怪诞的东西、幽默的东西更能引起人们的兴趣，提高学生的参与度，所以，在教学中，用现代技术提供美丽的图片，幽默的简笔画，美丽的环境介绍可以使学生积极参与，注意力集中。第三，有挑战性的环境，或对抗的环境，或者幽默的环境，可以激发人们参与的热情，如提供一些有一定难度的破解题，谜题；描述一个对抗的语境；或者提供一项交际任务等。,41,7.2.3.作为补充模态的选择要以增加正效应为原则，具体可以包括：互相强化、互相协调、前景背景、整体部分（抽象具体）等关系。1.强化关系用PPT显示句子“Peter was killed in a traffic accident”，并可同时读出这个句子，在PPT画面上配上皮特发生车祸的照片，或者放一段发生车祸的录像片，配上发生车祸是的声音等。2.协调关系协调关系是利用多模态之间的协调性，就是还原人类社会交际的本来面目，即由一种媒体不能独自完成的交际任务可以由其他媒体来补充。例如，在讲包括下面一个对话的故事时，如果没有图画，我们会不知所云：1 Big Nutbrown Hare，“I love you as high as I can reach.”Little Nutbrown Hare，“That is quite high.I wish I had arms like that.”但是如果我们配上图画就很容易了，而且还很幽默。,42,43,3.前景背景关系第三种选择多模态教学的依据是语言交际中的前景和背景的关系。在外语教学中，语言交际显然都是处在前景中，由其他模态提供背景。例如，在戏剧的开始，首先出现一个布景，提供事件发生的时间、地点、环境，还可以包括人物等。4.整体部分（抽象具体）关系在多媒体时代，教师可以通过选择合适的媒体来提供具体的信息，从而使学生能更清楚地理解所教的内容。例如，当你教授一种新奇的动物或者植物时，你一般首先提供名称，然后做些简单的讲解。学生仍然不知所云。但如果提供一个照片，如果条件允许的话，提供一段有关这种动物或者植物的录像，会使学生一目了然。,44,7.3.4 多模态选择的目标从经济的角度讲，使用单模态要比用多模态要简单、省力，所以使用多模态进行交际必然要有一定的理由，组成这些理由的最主要因素是使用多模态的所要取得的效果或者目标；形成多模态选择的动因可以总结为一下几个方面：,45,1.补缺，一种模态不足以表达意义，或不能使听话者理解意义，用另一种来补充剩余的意义，即一种模态只能体现要表达的部分意义，另一部分需要通过另一种模态来体现，例如：在较远的距离内或者噪杂的环境中喊叫某个人时同时打手势；在幽默图画中只提供语境依赖性强的书面话语，或者在录像中提供同类口头话语。图画没有文字则不能把整体意义表达出来；同样录像没有口头话语也会使看者一头雾水。2.强化，一种模态表达整体意义，另一种来突出部分意义，例如：（重音、黑体、前景图像、彩色等）目的：使重点意义突出。,46,3.吸引注意力，一种模态表达基本的意义，另一种来更加具体和形象地重现这种意义；例如，用文字标出某个动物或者植物的名称，用图像把这种动物或者植物的典型形式表现出来；用语言艺术、图像、动作来幽默的表达意义，吸引听话者的注意力等；形象幽默激发兴趣目的：使读者或听话者把注意力转移到话语交际上来。,47,4.抒发情感，用一种模态来表达基本的概念意义，用另一种模态来表达人际意义，包括态度、情感、目的等，例如：在用文字描述游行事件的同时，用照片再现当时的场景，用一定的角度和方式把警察表现为邪恶的人，或者用相同的方法把他们表现为英雄，都属于这一类。喜爱憎恨目的：力图左右听话者或者读者的态度和价值观等，使其转向有利于自己的观点和态度。,48,5.易理解，一种模态表达比较抽象、概括、偏僻、难度特别大、深奥道理或者结论等，用另一种模态来提供其实例、说明、关系等使理解更加容易。例如，在谈论龙时，在中国人头脑中出现的形象是中国雄伟荣耀的、代表皇帝的龙。即使说的是西方的龙，如果不加说明，也是如此；用文字说明则需要很多的话语，但用图形方式表现出来则十分容易理解，因为根据形象本身我们就可以发现，西方的龙是邪恶的化身。这类多模态的用途还包括用表格表示数量和关系、用简化图表示理论框架、用流程图表示进程等。具体化、形象化、图形化、关系化目的：使所交流的信息易于被听话者理解和接受，避免模糊和不确定性理解。,49,8.多模态读写（多元识作）,多模态读写(Multiliteracy)指具有阅读可接触到的所有媒体和模态的信息，并能据此产生相应的材料，如阅读互联网或互动的多媒体的能力。传统的以读写为主的读写能力在多媒体时代已不够用。其次，在教育中，教室里不断增加使用多种媒体，如图像操作软件、电子音乐、科学模拟、存在于计算机上的虚拟剧场等。多模态化和多元符号学试图把这些信递形式理论化，探讨各种图像、词语和动作的模态如何互相依赖，以产生整体意义(Williamson 2005)。,50,重要的是有时一种模态需要依赖其他模态来完成信递行为，如没有口述的词语说明，图表会一无意义；没有模型课件，教师用手做的节奏性动作也就没有意义；因而每一种模态，作为符号资源，对所做的表达都有贡献。学生的任务是将教师的各模式和符号资源转变为理解。,51,多模态读写是多元读写能力（Multiliteracies）的主要组成部分；多元读写能力也包括多元模态读写能力。在全球化的今天，多元读写能力用来描写语言和文化的多样性和对变异的尊重。虽然多元文化概念扩展了对知识的看法，它也加大了能接触不同“读写方法”和不能接触这些读写方法的识读者之间的鸿沟。这样，读写能力有两层意思，文化读写能力和技术读写能力，后者就是多模态读写能力。,52,8.1多元读写能力的类型Thwaites(1999)提出了六种主要的多元读写能力，分别是：1.科技读写能力：在多模态话语时代，许多模态是由科技手段实现的，如网络、计算机、PPT等。所以，提高多元读写能力需要学生学好学习现代科技知识，掌握现代技术设备的使用和操作。2.模态读写能力：学习了解有哪些媒体可以用作交际的手段，各自可实现什么模态，以及这些模态之间在体现语篇的整体意义中的关系。3.文化读写能力：文化读写能力是多元读写能力中最关键的能力，它包括相关的业务知识、有关社会的基本知识，相关的道德标准和原则等。,53,4.政治读写能力：政治读写能力包括有成熟的政治立场和觉悟，掌握有关政治的知识，对政治的敏感度，以及对政治现象的解读能力。5.批评读写能力：多元读写能力的重要组成部分之一是对选择的模态和表达的意义有批评能力。学生不仅要学会相关的知识，还必须要有自己的观点。6.后现代读写能力(postmodern literacy)(Thwaites,1999)：后现代主义推崇解构主义，强调变异性、独特性、异质性和多元化，反对以规范和定律来认识事物。这和多模态交际的出现是一致的。,54,8.2 多元读写能力的培养 除了学生要主动学习之外，再一个关键因素是老师在学生的多元读写能力的发展方面的作用。新伦敦小组（the New London Group,1996）提出了以下四个方面的教学方式：实景实践、明确指导、批评性解读、转化的实践。已有的建立在语境、交际、知识、形式、功能、认知等基础上的教学方法很多，那么为什么新伦敦小组会提出这些方面呢？这四者之间是什么关系呢？按照新伦敦小组的观点（1996），它们之间没有先后关系，或者存在复杂的关系，难以以一种模式来固定的。实际上，这四个方面是任何学习都涉及的过程，只是在以前的教学方法中，每个方法通常只强调其中一个方面，而忽略其他。例如，语法翻译法等强调知识学习的重要性，把一切看作知识，而忽视了实践能力；而交际教学法、情景教学法、任务教学法等则强调实践的重要性，而忽视其他；反思教学法强调反思的作用。,55,(1)实景实践实景实践的关键因素是完全投入到实践的交际过程中，以学习者已经有的经历和已经掌握的知识为基础来发展某些基本技能或者获取某些知识，这个过程也需要把学习者的文化或次文化态度考虑在内，而不是把学习者当作训练的对象。这是个设计过程。学生需要运用一系列话语来浸入实际的训练中，也就是说，学生需要进行真正的社会实践来学习。在这个过程中，可以有教师的指导。新伦敦小组所推崇的实践教学方法是浸入法，即学生需要完全进入实际社会交际中来提高多元读写能力，所以，交际教学法、任务教学法、商谈教学法都是直接用语言及相关模态进行交际的，可以在多模态教学中发挥作用。,56,实景实践说起来容易，但做起来难。在三个方面需要在这个基础上向外延伸。第一、多元读写能力包括多种能力，在实践中同时学习这些能力很难；第二、在多模态话语时代，要学习符号资源不仅是语言，而且是很多其他模态。新伦敦小组（1996）把它们总结为以下类别：（1）语言类：语言表达、词汇和隐喻、情态、及物性、过程的正规化、信息结构、局部连贯关系、宏观连贯关系；（2）视觉类：颜色、视角、前景化与背景化等；（3）身势类：行为、身体动作、手势、感觉、情感、身势语、空间关系等；（4）空间类：生态系统、地理位置、建筑系统等；（5）声音类：音乐、声响等。,57,这么多类别的模态系统同时学习难度很大；第三、可以进行浸入式学习的环境更是有限，不仅是受时空的影响，而且受到科技等多种条件的影响。所以，从这个角度讲，真正的浸入式教学和学习是很少见的，因为给教学可提供的环境和条件是很难达到的。这样，我们可以从两个方面来克服这个问题。一是减少需要学习的模态类型；二是为浸入式教学提供可替代的教学模式。,58,1：筛选要求学生学习的模态和模态组合，去掉哪些对有意识交际意义不大的模态或者模态组合：（1）剔除无意识模态：在交际过程中，为了使交际成功，要选择适合完成交际任务的模态，如在外语教学中，教学的首选模态一般是口语话语，同时，为了增强效果，也同时选择黑板板书，或PPT上的图像、动画、彩色文字等。而老师在交际中的手势、面部表情、动作等则是无意识产生的。对于这类模态，虽然在交际中是其作用的，但不必要进行精心设计。（2）淡化辅助性模态：在众多交际模态中，有些起主要作用，为主模态，如教学中的口语，读书中书面语；有些模态只是起辅助作用，用以增强效果，如身体的动作、PPT上显示的文字、图画、动画等。对于辅助性模态要利用好，使其产生增效作用，而避免无效模态和低效模态。,59,2.用科技手段提高模拟实践环节，如录像、实景学习软件等。也就是说，如果找不到合适的主模态，则需要寻找相近的、等效的或者近效的模态来替代它，以求尽量产生好的效果。（1）用空间布局提供合适的实践环境，如在教室里布置合适的环境，让学生在假设的环境中进行实践活动；在教室中布置合适的桌椅布局，创造适合于辩论、协商、交谈的环境；（2）用图像、动画等创设接近于真实语境的环境，使学生感觉在真实的语境中交际；编撰合适软件，把真实的语境置入软件中，在真实环境中创造交际环境，让学生参与到实际交际中去等。,60,(2)明确指导明确指导也是一个设计过程，其主要目的是发展学生的已有资源（已有设计资源）。明确指导的目标不是像传统的教学那样，灌输知识、进行训练、死记硬背，而是让学生：（1）明确交际的基本规律、基本程序、具体步骤等，了解相关的知识；（2）有意识地控制他们学过的东西，能够了解那是重点，那是焦点信息；这些知识与以前已经学过的东西有什么关系，是否是其一个部分，是否可以丰富已有资源，组成新的知识框架。（3）教他们做到他们自己做不到的事情，学习新的知识，发展新的能力。,61,学生学习是学自己以前没有掌握的东西，所以，必然涉及学习新的知识、技能、能力等。老师的作用是把学生引入到这些新的知识和能力中。这个过程其中一个重要步骤是要给学生明确的指导，包括指导他们如何进行活动，以及老师如何指导他们等。第一、这些理论和知识首先包括元语言，即用以论述和讨论这个领域的语言，以使学生能够对相关的领域进行反思、讨论、概括、推理等。这些理论知识是需要老师教的。,62,第二，这些理论和知识包括模态的系统特征，如在现代社会交际中主要有哪些主要模态在起作用；语言作为主要的教学对象的系统特征，包括媒体（音系、字系）、词汇语法和语义系统；以及除语言之外的其他主要模态系统的媒体、词汇语法和语义系统，和语言与其他模态之间的关系等。最后，这些知识还包括模态在社会交际中的基本模式和功能，包括模态选择的基本规则和模式；不同模态的专用性、意义范围、供用特征、功能负荷等；语言及相关模态所体现的领域的相关知识。,63,从这个角度讲，实景实践和课堂讲授是一体的，无法分分孰先孰后。在不需要明确的指导即可进行的学习活动中，如口译活动、商务活动、法庭辩论等，可以首先进行实景实践，然后补充相关的理论知识，注意事项，最佳活动程序等。而在不经过指导则无法进行的学习活动中，则需要首先老师给予明确的指导，然后再进行实践活动。,64,(3)批评性框定批评性框定是使学习者能够整理他们在实践中已经学过的东西，有意识地控制和理解知识系统和社会实践之间的历史、文化、社会、政治、意识形态、价值方面的关系。批评性框定是把学习者在自然状态下学习的知识陌生化，把它从原生态状态提取出来，成为可以进行研究、讨论、评价、改编、总结、概括、抽象的东西。批评性框定把语言和其他模态从行为者和解读者两个方面进行解释，把产出的话语放到社会文化和语境中进行解释。通过批评性框定，学生能够以一定个人或社会距离以及客观地来看待自己学习的东西，能够建设性地批评它，解释它在整个文化中的位置，创造性地延伸和应用它，并能最后自己在此基础上进行创造性的工作。,65,批评性框定实际上出现在整个教学过程中，教师时刻在培养学生的批评性意识和看问题的角度和层次。与此同时，教师也应该专门设计教学环节来提高学生的创新能力，包括以下方法：设计问题，就相关内容发表自己的观点，包括使用相关的模态；阅读相关领域的多模态语篇，并就其内容的某个方面写出自己的看法和观点；设计相关的题目，让学生就这些题目创作多模态语篇。批评性框定仍然是一个设计过程，但是从设计过程向再设计过渡的过程。,66,(4)转化的实践转化的实践是反思性活动的结果，是建立在循环课程和建构主义教学实践的基础之上的。它属于再设计。学生对其所学的东西从设计和实践上进行反思，他把他学到的构建意义的能力在不同的语境中用于实践，对学生的理论知识和实践能力的测试就把学生的这种能力作为主要测试对象。,67,这个阶段把实践中得到的知识和经历固化，成为学习者的知识进入学习者的知识结构中。教学实践的目标不是就实践而实践，而是为了使学生掌握相关的知识，提高多元读写能力。从这个角度讲，新伦敦小组所推崇的另一个教学方法是重复和循环教学法，对已经学过的内容要通过一定的方式进行重现，使其循环式上升。在设计中，要把已有的资源与新的学习内容结合起来，在前后知识上建立通道，使其不断深入、固化，成为学习者的知识和能力。,68,四个教学阶段的关系和顺序转化的实践是以上三个设计过程的结果，显然是在以上三个过程之后，但这个过程不是终结，因为许多知识和能力是要经过反复实践来获得的。转化的实践可以在需要时转化为实景实践，形成一个循环模式。新伦敦小组认为这四个部分不分先后，可以以任何顺序进行，所以，他们没有设计出一个教学程序。Kalantzis,M et al(2005)根据新伦敦小组的观点设计了多元读写能力自学的模式，如下图所示。,69,70,71,在这个模式中，有四个知识学习过程：亲身经历、思想概念、分析过程、应用过程。在每个过程中都有两个可选择的过程：一般的、普通的学习过程，由内圆所确定的范围表示；突出的、前景化的过程，有外圆所确定的范围表示。在亲身经历中，学生通过日常生活的经历所学习的个人经历是已知的过程；学生通过浸入式学习学到的是新信息、新经历。在思想概念中，学生通过定义和运用概念学习新的概念；通过把概念结合起来，组成学科知识而学习理论；在分析过程中，学生通过从功能上分析来了解事物的因果关系；通过从批评的角度分析来认识交际者的交际目的、动因、意图、观点等；在应用过程中，一般的来讲，是学生把学习的理论恰当地应用到典型的语境中；学生也可以创新性地把知识应用在其他的语境中，产生知识的转换。,72,图2a 新设计学习的框架,分析评价功能的批评的,73,这个模式一方面显示了一个自然的学习顺序（由粗箭头表示）：学生通过实践获得经验和经历，然后概念化和理论化而升华，形成知识；然后通过分析和评价而成为学习者个人意义潜势中的一个部分。在此，实践和概念化可以根据语境的不同而调换位置。另一方面，这些阶段不是严格意义上阶段成分，而是可以根据需要随时改变这个顺序。例如，分析和评价都需要和语境联系起来，它们都可以通过中间的通道和直接通道打通。第三，这个学习模式最后的结果是一个循环模式：转化的实践又可以应用到实践中作为已有的设计资源来参与另一轮的循环。,74,教学的目的是使学生学习好，因此，也应该使其符合学生学习的一般认知规律。因此，从这个学习模式可以演化出一个教学模式。这个教学模式的无标记顺序是：实景实践和明确指导可以根据语境的需要而变换顺序。例如，在所学的对象难度大时，就需要首先需要老师的指导，再进行实践；而在以及能为主的学习任务中，则应该把实践放在首位，进行浸入式学习。这样这个模式的无标记模型可用图3表示。其整体模式由图4表示。,75,图3.多元读写能力的培养教学模式,76,实景实践,明确指导,批评性框定,转化的实践,教学阶段,图4.多元读写能力培养教学设计,批评性框定,77,8.问题与不足,多模态话语分析理论仍在初级阶段，而且其难度更大。1.解释存在主观性，不同的解读者可能得出不同的结论。2.解释没有规律和规则可循，还没有一套解析图像、动画等的方法。3.多维的多模态话语解析难度大。一维的文字和口语的解析方式比较简单，开始和结尾的标记都比较清晰，但二维的图画如何解析、三维的空间和思维的动画如何解析，还需要进一步研究。,78,9.下一步的研究,Holsonova把多模态化分析研究的不同方法分为七个视角:(1)研究不同模态之间的差异性是强调各模式有各自内在的优劣，因此不同的模态宜用于表达不同的信息类型。(2)根据不同模态之间的相似性，重点研究不同模态的相似方面。例如，在分析语言和图画时，采用同样的分析范畴。这种观点认为图画和其他视觉成分与语言一样，也具有符号的语法。(3)根据不同模态之间的相互作用研究各模态是否有主次?是否彼此互补?是否其中一个模态可以加强其他模态提供的信息?是减少其他模态的信息还是增加信息?(4)对不同模态的模式如何可以实现形式化?,79,(5)对不同模态及其相互作用的感知，如有的研究使用眼跟踪器(eye-trackers)和词句协议(verbal protocols)。(6)对会话模态的复制，这方面的研究强调多模态产品的应用不是以感知作为终结。从一个多模态成果获得的信息可以在另一个信递场合重建和讨论。如果在传递过程中信息打包维持原样或发生变化都是值得注意的现象。(7)多模态的互动，包括我们作为个体与他人互动时或采用多模态系统时，使用言语、手势、体语、面部表情，接近或凝视的情景。,80,10.结语,一.多模态基本理论1.理论背景介绍2.理论基础3.多模态资源4.多模态设计5.多模态语法6.多模态形式之间的关系,81,二、教学中的应用多模态选择的程序