自然语言处理之语言学基础.ppt

自然语言处理之语言学基础,周国栋苏州大学自然语言处理实验室 2012年12月21日,1,研究背景和意义,Quote by Fred JelinekEvery time I fire a linguist,the performance of our speech recognition system goes up.Under his situation,it is correct.Generally,it is wrong.Quote about Fred JelinekHe was not a pioneer of speech recognition,he was the pioneer of speech recognition.-Steve Young(2010).,研究背景和意义,语言学之于自然语言处理研究对象：自然语言研究重点：描述、解释=可计算性=数学之于机器学习数学是机器学习的基础机器学习不是数学的一个分支机器学习不是数学的一个扩展,研究背景和意义,自然语言：定义自然语言是人类籍以思维和交际的一个音行义相结合的符号系统，是一个变动的音行义相结合的结构系统。自然语言：三个方面语言本体声音、形式和意义相结合的符号系统。变动的结构（整体、成分、关系）。语言功用人类最重要的交际工具和信息载体。人类赖以思维的工具，思维的物质外壳。语言的表现形式口语：语言的最基本形式。书面语：将语言用文字记录下来加以提炼加工（语言的代用品）。体态语（手势语、唇语）,自然语言处理基础语言学人工智能形式化理论、机器学习数学概率、统计、信息理论认知科学认知语言学、心理（思维）语言学社会学社会语言学,研究背景和意义,5,18世纪末：附属于比较语文学研究古代文献18世纪末20世纪初：语言学成为独立学科历史比较语言学：研究语言之间的亲属关系20世纪初20世纪60年代：探索人类语言普遍规律结构主义语言学Sassure：“语言是形式而不是实质”，是由单位和关系构成的系统。转换生成语法Chomsky：所有人类语言的语法系统在高度抽象的层次上都大致相同，由所谓的普通语法经过一定的变化派生出来的。20世纪60年代至今：深入探索语言的本体与功用形式语言学包括结构主义语言学、Chomsky形式语言学、非Chomsky形式语言学Chomsky：侧重语言本体，强调意义通过形式体现。功能语言学Halliday：侧重语言功用，强调意义通过功能体现。,学科基础：语言学,6,18世纪末：附属于比较语文学研究古代文献18世纪末20世纪初：语言学成为独立学科历史比较语言学20世纪初20世纪60年代：探索人类语言普遍规律结构主义语言学转换生成语法20世纪60年代至今：深入探索语言的本体与功用形式语言学功能语言学,学科基础：语言学,7,历史比较语言学以历史比较法为基础，研究语言之间的亲属关系。把各种语言放在一起加以共时比较，或者对同一种语言的历史发展的各个不同阶段进行历时比较，以找出它们之间在语音、词汇、语法上的对应关系和异同。为现代语言学的建立奠定了坚实的基础，是语言学走上独立发展道路的标志。代表人物德国语言学家：J.Grimn/W.Grimn、F.Bopp丹麦语言学家：R.Rask,学科基础：历史比较语言学,8,18世纪末：附属于比较语文学研究古代文献18世纪末20世纪初：语言学成为独立学科历史比较语言学20世纪初20世纪60年代：探索人类语言普遍规律结构主义语言学转换生成语法20世纪60年代至今：深入探索语言的本体与功用形式语言学功能语言学,学科基础：语言学,9,F.de Saussure（现代语言学鼻祖）精通法语、德语、英语、梵语、拉丁语、希腊语、哥特语、立陶宛语、古高地德语等语言。普通语言学教程（1916）：开山之作主张区分共时语言学与历时语言学，强调共时语言学。共时语言学（横向）：语言（同质的、抽象的语言形式）历时语言学（纵向）：言语（异质的、五花八门的话语）理论贡献：语言是一个符号系统语言是一种符号，它的意义产生于符号系统内部的关系中。“语言是形式而不是实质”，是由单位和关系构成的系统。研究语言就是确定语言单位，确定单位之间的关系以及单位之间的组合规则。vs伽利略（改变了人类对物质世界的认识）老三论：系统论、信息论和控制论新三论：协同论、突变论和耗散结构论,学科基础：结构主义语言学,10,三大学派布拉格学派哥本哈根学派美国描写语言学派,学科基础：结构主义语言学,11,布拉格学派：（结构-）功能学派主要观点主张从结构和功能两个方面来研究语言=Halliday系统功能语法句子功能前景理论：二功能说、三功能说、六功能说。主位、述位的概念。奠基人V.Mathesius：非常重视语言的功能性“语言是一个价值系统”、“语言是交际的工具，思维的工具”、“分析语言现象要首先考虑其功能”、“要以功能为依据”。主要贡献主要运用索绪尔的二分法研究语言中的音位问题，创立了音位研究“区别性特征”的理论。首次系统地阐明了音位学的任务、原理和研究方法，使它在结构主义语言学诸领域中居于领先地位。评价美国语言学家鲍林格：“欧洲任何其他语言学团体都没有像布拉格语言学会那样产生了如此巨大的影响。”,学科基础：结构主义语言学,12,哥本哈根学派主要观点侧重语言形式的研究：来源于索绪尔提出的“语言是一种符号系统”，（“符号”是“能指”与“所指”的统一体）。这个学派的人比较偏激，认为“符号”是单就“能指”而言的，追求的是一种“纯语言学”，最后变成了纯粹研究语言形式的“语符学”。奠基人：L.Hjelmslev主要贡献以语言结构关系的研究及这种研究的数学性质而著称，代表着人文科学和精密科学相结合的趋势。评价我国语言学家王希杰:“哥本哈根学派的学说是一座极有学术独创性的象牙之塔。”,学科基础：结构主义语言学,13,美国描写语言学派L.Bloomfield（美国描写语言学派鼻祖）：主张依靠形式特征来描写语言结构（一度几乎一统语言学天下）结构主义语言学的真正代表：语言论（1933）提出了“语素”的概念，开创了结构主义语法学的新篇章。到达语法事实的描写巅峰。,学科基础：结构主义语言学,14,美国描写语言学派主要观点心理学观：行为主义(认为人类语言是人受到刺激后作出反应的一种结果，语言就是“刺激-反应”的中介物。)S-rs-RS：刺激；R：反应；s：语言的代替性刺激；r：语言的代替性反应；以语言形式的分析和描写为内容，主张依靠形式的特征来描写语言的结构。从调查、分析、描写共时平面的不熟悉的美洲印第安人语言的实践中发展起来。在此基础上，进一步分析、描写英语和其他印欧语语言。早期：鉴于语义太复杂，专心对语言形式研究。后期：开始注意意义问题R.S.Wells（1947）：关注歧义现象Z.Harris(1957)：提出变换问题=Chomsky转换思想,学科基础：结构主义语言学,15,美国描写语言学派主要贡献：音位的分析和理论研究提出了音位的概念，并建立了音位学。把研究语音的一套方法应用于形态和句法研究。研究方法：逻辑实证主义资料收集：运用国际音标采取如实记音的办法，尽可能记录大批语音资料。资料分析：通过切分、语言单位同一性的认定，获得这个语言的不同层面上的单位，如音位、语素、单词、短语、小句、句子。单位分类：对每一层面上的单位开出一个清单来，考察它们的分布情况，进行分类。,学科基础：结构主义语言学,16,N.Chomsky：20世纪最伟大的人文学家句法结构（1957）主要观点所有人类语言的语法系统在高度抽象的层次上都大致相同，由所谓的普通语法经过一定的变化派生出来的。所有的语言现象都可以用同一组语法规律（相同的原则）加以解释，而语言之间的不同只是参数而已。语言是一种结构，是一些先验的语法规则，通过转移程序构成了人们日常用语。语言是深层结构言语是表层结构,学科基础：转换生成语法,17,语法要点：研究体现在人脑中的认知系统和普遍语法。强调对人的语言能力作出解释，而不仅仅描写语言行为。采用现代数理逻辑的形式化方法，根据有限的公理化的规则系统和原则系统用演绎的方法生成无限的句子，以此来解释人类的语言能力。Chomsky文法系统：正规文法、上下文无关文法、上下文有关文法、无限制文法认为“语言”不是实际存在的东西，这个概念是从语法中派生出来的，只有语法才是实际存在的，因此，转换-生成语法研究的对象是语法而不是语言。,学科基础：转换生成语法,18,相同之处高度抽象的音行义结合的语言符号系统的语言形式研究不同之处结构主义语言学（美国描写语言学派）建立在经验主义之上：认为人类知识起源于感觉，并以感觉的领会为基础。关注某个具体语言的结构系统的分析和描写（N.Chomsky：语法分析的低级阶段-描述的充足性descriptive adequacy）。转换生成语法建立在理性主义之上：承认人的推理可以作为知识来源，高于并独立于感官感知。探索人类语言所共有的、高度概括而又十分简明的普通法则，并进一步由语言机制探讨大脑的工作机制，了解人类思维活动的本质（N.Chomsky：语法分析的高级阶段-解释的充足性explanatory adequacy）。,学科基础：结构主义vs转换生成语法,19,18世纪末：附属于比较语文学研究古代文献18世纪末20世纪初：语言学成为独立学科历史比较语言学20世纪初20世纪60年代：探索人类语言普遍规律结构主义语言学转换生成语法20世纪60年代至今：深入探索语言的本体与功用形式语言学功能语言学,学科基础：语言学,20,形式vs功能形式是跟“功能”相对而言，不是跟“意义”相对而言。形式vs功能语言学：互补关系形式语言学：语言的本体意义通过形式体现。基于句子功能语言学：语言的功用意义通过功能体现。基于篇章+语境（情景语境、文化语境）举例：“元芳，你怎么看？”,学科基础：形式vs功能语言学,21,形式vs功能语言学：可以追溯到古希腊时代,学科基础：形式vs功能语言学,22,理论基础：以哲学为基本科学：探索某个特定学科的规律（特殊规律）哲学：科学之科学（普通规律）研究主体：语言本体（句法为主）形式语言学理论把句法独立出来，甚至作为核心自治系统，再分成词法、句法、语义、语用等不同的部分。语言是人特有的一种能力（competence）、一种机制（facility）、一套装置（device）。研究语言就是探索人类所具有的这种语言能力、语言机制、语言装置之谜，以探究人类语言所共同遵守的普通原则(universal principles)和造成各个语言差异的不同参数(parameters)。三大学派结构主义语言学派Chomsky形式学派、非Chomsky形式学派,学科基础：形式语言学,23,Chomsky形式学派哲学基础：笛卡尔的唯理主义（理性主义）探索人类语言机制、人类语言高度概括的普遍语法。语法的天赋性与自足性：人头脑里有一个语言机制，人生来就有一种语言能力，这是天生的。原则与参数理论：人类的语言都要遵守共同的原则，差异只是参数的不同。语法的简约性：人类的语言所要遵守的共同原则（普通语法）应该是高度概括的、极为简洁的。转换生成文法：生成规则管辖与约束理论：管辖与约束规则最简方案：最简方案,学科基础：形式语言学,24,Chomsky形式学派语言的习得机制（Language Acquisition）：人头脑里的语言机制具有初始状态，只需要在语言环境中激活就行了。儿童通过接触实际的语言，激活头脑中生来具有的语言机制，从而获得先天的那部分带有普遍性的原则。同时，通过反复接触实际的语言，摸索出自己母语中跟普遍原则存在一定参数差异的那部分语言特点，再加上必须学的部分（如语音、词法及其特征等），将这几部分结合起来，就会逐渐使自己的语法得到完善成熟而最终完全掌握自己的母语。,学科基础：形式语言学,25,非Chomsky形式学派不是用规则，而是用复杂特征来描写语言，规则隐含在特征之中。对Chomsky形式学派的一种拓展，主要来源于计算语言学界，着眼于语言的可计算性。LFG(1982):Lexical Functional GrammarTAG(1975/2000):Tree Adjoining GrammarLG(1991):Link GrammarCG(1958/1961/1970):Categorial GrammarDCG(1980):Definite Clause GrammarHPSG(1985):Head driven Phrase Structure GrammarDG(1959):Dependency Grammar广泛用于自然语言处理,学科基础：形式语言学,26,理论基础：以人类学为基本人类交际：基于篇章、情景语境、社会语境研究主体：语言功用（篇章为主）注重语言的社会性和交际功能，联系外部世界来考察研究语言。把人看作社会人，把语言系统看作是社会符号，把语言使用看作是社会行为。高度重视语言系统（system）、功能（function）、语境（context）、语篇（text）、语域（register）和语类（genre）的研究。主要研究领域认知语言学社会语言学篇章分析系统功能语法,学科基础：功能语言学,27,认知语言学理论基础：认知科学和体验哲学。代表人物：R.W.Langacker、G.LakoffR.W.Langacker(认知语法)：认知语言学属于功能语言学。G.Lakoff(隐喻及其与认知的关系)：功能语言学属于认知语言学。主要理论R.W.Langacker：认知语法(Cognitive Grammar)G.Lakoff、Talmy 等：认知语义学(Cognitive Semantics)S.Lamb：神经认知语言学(Neurcognitive Linguistics)A.E.Goldberg、P.Kay等：构式语法(Construction Grammar),学科基础：功能语言学,28,认知语言学主要观点：把人们的日常经验看成是语言使用的基础，着重阐释语言和一般认知能力之间密不可分的联系。语言是人的认知能力的不可分割的重要组成部分，语言世界和语言外世界不存在明确的分界。人的语言能力并不是一种独立的能力，而跟人的一般认知能力紧密相关。认知能力是人类获取知识的根本；针对生成语言学天赋观，提出语言的创建、学习及运用，都能够透过人类的认知而加以解释。语言的基本功能是象征：让结构赋予认知内容的一种手段。语言结构的类型：象征结构的类型语法规则：抽象的结构图式,学科基础：功能语言学,29,认知语言学关键研究：像似性（语言的形式和内容间的联系存理据、可验证）范畴化(categorization)：将事物类化人类运用语言对主客观事物进行分类。隐喻(metaphor）：不明说的比喻人类各种语言活动，可以说都是通过隐喻来体现人对客观世界的认识。意象(image)：人对客观事物的心理印象这种心理印象因人的识别和理解方式不同而不同。图式(schemata)：人在认识客观事物的过程中所形成的一种基本的认知结构模式“事物-背衬”图式：人们在指示、辨识客观事物时，往往通过跟另一个可以作为背衬的事物的对比来加以说明。（例如：差不多的互为背衬、大的作为小的背衬、固定的作为移动的背衬）,学科基础：功能语言学,30,社会语言学代表人物：美国社会语言学家W.Labov语言学与社会学（或人类学）的交叉性学科：研究语言的社会变体和层面，以便通过语言来识别不同社会群体。以语言学为主：联系社会因素的作用研究语言的变异。以社会学为主：研究语言和社会的各种关系，使用语言学的材料来描写和解释社会行为。（Social Network？）研究方法调查：活生生（真实）的语言。描写：详细、准确。分析统计：定量分析，重视统计。（-概率性的规则）解释：转化为语言知识和语言理论的至关重要的一步。,学科基础：功能语言学,31,篇章分析研究对象研究大于句子的话语研究实际运用的语言篇章特性基本特性：衔接性(cohesion)、连贯性(coherence)。其他特性：意图性(intentionality)、可接受性(acceptability)、信息性(informativity)、场景性(situationality)、交互动性(intertextuality)。,学科基础：功能语言学,32,连贯性（coherence）：篇章结构,a 张三才30 出头，b（而且）既没有什么学历，c 又没有多少新的工作经验，d但是不论干什么，e 他都非常认真，f 所以，处长总是把一些重要的任务交给他。,问：为什么处长总把一些重要的任务交给他？,问答系统,学科基础：功能语言学,我昨天上街，【】看见一个人，【】长得很魁梧，【】穿着军大衣，【】买了两斤肉。（注：【】：缺省）,衔接性（cohesion）：话题结构,（）,（）,答：我,答：一个人,VS,学科基础：功能语言学,篇章分析研究方法言语行为理论互动社会语言学交际文化学语用学会话分析变异分析系统功能语法(more),学科基础：功能语言学,35,系统功能语法：M.A.K.HallidayHalliday功能语法体系句法理论-系统语法-功能语法-系统功能语法-社会符号学剑桥大学J.R.Firth把语言研究与社会研究结合起来，从社会的角度研究语言。强调对语义的研究：语义分析是语言分析的核心；“语义=语境中的功能”。强调区分系统与结构，主张研究语篇。语言研究的四个层面：1）语音层面：语言的音位系统以及各音位在该系统中的功能；2）语法语义层面：词的所指意义和搭配意义；3）语法层面：不同范畴之间的组合关系；4）语言环境层面（包括言语行为产生的效果）：为什么在某种环境下要使用某种话语。,学科基础：功能语言学,36,系统功能语法：M.A.K.Halliday主要观点语言（口语和书面语）是最符合“语言”范畴的类典型（prototype）意义系统。口语和书面语是人们把对世界的经验识解为意义的主要意义系统。其他意义系统（音乐、舞蹈、烹饪、图标、空间组织等）都是依据语言模型建立起来的，并“以层次的、元功能的、语言的形象被识解，是依据语言这个类模型建立起来的”。系统功能语法不只是语言意义系统的语法，也是可以描述和解释所有社会意义系统的语法（-社会符号学）。例如：多模态话语的研究特点：开放、动态努力把语言功能和结构联系起来是其创新之处。系统功能语法是系统的和功能的，对聚合关系（系统：选择=功能）关注多于对组合关系（结构：组合）关注，而（乔姆斯基）形式语义学更多注重组合关系。系统（聚合关系）是第一位的，结构（组合关系）是第二位的。,学科基础：功能语言学,37,系统功能语法：M.A.K.Halliday语法思想元（metafunctional）功能系统思想层次思想功能思想语境思想阶和范畴语法,学科基础：功能语言学,38,系统功能语法：M.A.K.Halliday元（metafunctional）功能思想语言性质决定人们对语言的要求，即语言须完成的功能。尽管这种功能千变万化，但是可以归纳为有限的几个抽象功能，这是种种语言用途所固有的。三位一体不存主次概念（ideational）元功能观察者功能：说话人对主客观世界的观察人际（interpersonal）元功能闯入者功能：向参与者灌输自己的思想语篇（textual）元功能相关功能：语篇的完整性、一致性、衔接性,学科基础：功能语言学,39,系统功能语法：M.A.K.Halliday系统思想：语言被看作符号资源，对语言的描写=对选择的描写。不同意索绪尔等把语言单单看作是一套符号的集合语言不是所有合乎语法的句子的集合，因而语言不能用解说这样一个集合的规则解释，而是用意义的有规则的源泉意义潜势来解释。在把系统看作潜势还是具体化的问题上，倾向于叶姆斯列夫的观点结构是过程的底层关系，是从潜势中衍生的，而潜势可以更好地用整合关系来表达。即：把语言系统解释成一种可进行语义选择的网络，当有关系统的每个步骤一一实现后，便可产生结构。承认语言是“系统的系统”的观点与弗思的语言多系统论的观点一致。系统存在于所有语言层次，诸如语义层、语法层和音系层，都有各自的系统表达本层次的语义潜势。,学科基础：功能语言学,40,系统功能语法：M.A.K.Halliday层次思想非语言层面文化语境（抽象）：语篇在特定的社会、文化环境中所能表达的所有意义，包括交际目的、步骤、形式和内容等。由语篇体裁（genre）反映：纲要式结构：有阶段、有步骤的结构（例如食谱的纲要式结构：名称-简介-原料配料-烹饪方法。体现样式：特定的语言结构（名称：名词词组；简介：陈述小句；原料配料：名词词组；烹饪方法：不带意态成分的祈使小句）。情景语境（直接）：与语篇传递实际意义有关的时间、地点、谈话方式、谈话双方的关系等。由语域体现，包括以下变量：语场（field）：通过概念功能（意义）表达。语调（tenor）：通过人际功能（意义）表达。语式（mode）：通过语篇功能（意义）表达。语言层面语义层（中心）词汇语法层音系层：音位及其结构关系,学科基础：功能语言学,41,系统功能语法：M.A.K.Halliday功能思想：属于语义分析的概念，与前面所讲的（纯理）元功能不同，这里所说的功能是形式化的意义潜势的离散部分，即构成一个语义系统的起具体作用的语义成分。及物性系统：实现概念元功能。语气系统：实现人际元功能，包含“语气”和“剩余成分”（如情态）等功能成分。主位系统：实现语篇元功能，包含“主位”和“述位”两个功能成分。信息系统：实现语篇元功能，包含“已知信息”和“新信息”两个功能成分。,学科基础：功能语言学,42,Sapir-Whorf 假说人类是通过语言来感知外部世界的，因此语言和思维之间有着十分紧密的联系，语言能影响思维方式，思维方式也能决定语言的使用方式。语言并不是一个完全透明的中介，它既能放映现实，又能歪曲现实，甚至再创造现实，从而影响和控制人类的思维和态度。(双向支配-与Halliday的语言哲学观一脉相承),几点思考：语言与思维,43,认知/思维认知具体（西医）？西方：认知科学（美国心理学家西蒙）认识世界的认知思维的规律与方法。局限于认识论、知识论领域。语言与认知：认知语言学思维抽象（中医）？东方：思维科学（钱学森）认识世界的认知思维的规律与方法、改造世界的意向思维的规律与方法。继续深入到价值论、生命意义论领域。语言与思维：心理语言学,几点思考：语言与思维,44,语言与文化语言与文化相互依赖、相互影响：语言是文化的重要载体，文化对语言有制约作用。大文化：语言是文化的一个特殊组成部分。如果把文化作为一个包罗万象的总体概念来看，则语言属于人类总体文化。语言在总体文化中的地位比较特殊，与总体文化中的其它成分（即小文化）相对应。因此可以认为语言是一种社会现象，是人与人交际的工具，也是使人与文化融合一体的媒介。小文化：语言和文化是同步发生的，没有语言就没有文化。语言是文化形成和发展的前提，文化的发展也促进了语言的发展。有了语言，人类就有了文化。语言是人类区别与动物的重要标志。从生物学的角度来看，原始人与动物有许多相近之处，但是人产生了语言，动物却没有。原始人具有宗教、信仰、道德、习俗等属于文化范畴的东西，动物则没有。人类用语言创造了文化，文化又反过来影响了人类，促使人类走向更大的进步。自古以来人类社会积聚下来的文化遗产给语言留下了深刻的烙印。,几点思考：语言与文化,45,实验室面积：1500平方米(两年后：3000平方米),46,自然语言处理实验室,谢谢,47,