强大的社会需求推动应用语言学快速发展.ppt

强大的社会需求推动应用语言学快速发展,苏新春2009-11-25,语言学学科体系,应用语言学,理论语言学,语言学,结构语言学,生成语言学,功能语言学,语音学,语法学,词汇学,语义学,社会语言学,文化语言学,语言教学,计算语言学,数理语言学,心理语言学,交际语言学,语言研究,句法学形态学词法学,词义学词源学语汇学,法律语言学,语言,语言观察,病理语言学,地理语言学,实验语音学,人类语言学,语言风格学,人名学,地名学,体态语研究,传播语言学,儿童语言学,规范语言学,对外汉语教学,侦察语言学,广告语言学,汉语语言学,英语语言学,应用语言学的三大活跃学科,语言教学社会语言学计算语言学下面就对外汉语教学、计算语言学两个领域各举一例以观其貌。,最近得到来自美国的信息：2009年11月20-21日召开的外语教学会议有6000人参加。有许多要学习汉语的大学生，因政府拨款不够而得不到满足。,奥巴马在最近的访华中提出：要派10万人来中国学汉语。,如何评价世界上的汉语热？为什么这么多美国人要学汉语？学习什么？（语言？文化？）先学什么，后学什么？用什么方法来教学？什么样的方法效果最好？推广汉语对世界的影响？推广汉语对中国的影响？中国影响的硬实力？软实力？,韩国教育部计划2005-2007在全国中小学普遍开设汉语课；日本从2004上起，中文学校的高中学历首次获得文部科学省的承认；印尼2004-2007在全国8039所高中全部开设中文课；泰国开设汉语课的中小学超过400所；欧美学汉语的人数年增40%，尤以美、俄、英增速最快；在美国，汉语成为仅次于西班牙语的第二大外语；在俄罗斯，莫斯科大学等校汉语专业录取比例达201,国家的措施,1.为海外培训汉语教师。2005年培训人数达50个国家的14393人。2.派遣汉语教师出国任教。“国际汉语教师中国志愿者计划”。派出1029人，分布在35个国家3.拓宽教师来源渠道4.启动孔子学院计划已成立300多所，计划成立1000所.,面对汉语热的语言学者的历史使命,汉语“热”中有“冷”，“外热内冷”的局面“三教”问题突出：教师：全球汉语教师资源需要充实。国外的师生比是1：100，按1：20来算，预测2010年全球学汉语的人数将达1亿，这样需要教师达500万，缺400万。目前国内从事对外汉语的教师约6000人，仅有一半获得对外汉语教学资格证；美国仅有汉语教师2000多人，出身语言专业的仅占43%教材：汉语教材有待改进教法：汉语教学急需引导,美国侨报：外媒热报：欧洲学汉语潮如火如荼,中新社24日消息，法国费加罗报22日报道说，把汉语定为第二外语的初中生2001年还不足4000人，但在20052006学年度突增至12628人。今年，法国选择汉语的学生人数超过了俄语、葡萄牙语、阿拉伯语和希伯来语，升至第五位。排行前4位依次是英语、西班牙语、德语和意大利语。位于伦敦东部哈克尼的劳里斯顿小学就是其中的代表。去年，该校面向10岁，11岁的31名儿童开设了10周的汉语课程。在朝鲜，不论是上班族还是大学生，都利用闲暇时间在学习班学中文。大型书店FNAC内，很容易购买到成人汉语教材，和儿童汉语教材。,耶鲁大学将在美推出汉语学习教材,中国国际出版集团与美国耶鲁大学14日在北京共同宣布，双方高层于近期商定，它们将利用双方优势，共同为美国学生编写出版中文语言教材，并为中国学生编写出版英语教材。耶鲁大学校长莱文对记者说，不仅在美国，甚至全球，越来越多的学生开始学习中文，正是这样一个广阔的市场促成了双方的合作。根据教育部的统计，迄今海外学习中文的人数超过3000万，100个国家的2500多所大学开设了中文课，“汉语热”在全球升温。,计算语言学,对语言文字信息的处理，是当前计算机使用的主要内容之一。对语言处理的能力，是计算机发展的关键。计算机对语言的处理已经走完了“字”的阶段，走过了“词”的大部分阶段,正在进入”句”的阶段.计算机处理中的标准问题，将决定我国在下一阶段的国际竞争中处于何种地位。,计算语言学,语言信息加工、标注、统计字处理：字量、字频、字级、字序词处理：分词、词量、词级、词义、词频、词种句处理:句式、句型、句长、句子难度机器翻译:,下面介绍计算机为多义词自动标注的课题研究情况：词义标注就是用计算机为真实语境中的每个词选择、确定并标示一个适切、对应的义项。,北大计算语言学所对这一研究进行了卓越的研究。吴云芳、俞士汶信息处理用词语义项区分的原则和方法（2007）吴云芳词义消歧研究：资源、方法与评测(2009)。国内学者在这一领域发表了重要成果的还有黄昌宁、童翔、李涓子、金澎、卢志茂、刘挺、李生、鲁松、白硕、段慧明、郭涛、杨尔弘、张国清、张永奎等先生。详见吴文(2009),我们开始此项研究的缘起：承担了国家社科基金课题：基于国家语委“通用语料库”之上的汉语义频词库的开发(04BYY009)。,2004年以来经历过的阶段：建设语料库；讨论理论模型；提取规则；修订义项；验证库；,“现代汉语多义词词义自动标注系统”Automatic Polysemous Sense Tagging of Modern Chinese简称WST,WST包括以下七个分库：语料库义项库规则库语法库语义库验证库义频库,1语料库全称为“现代汉语语料库”。容量达1.9亿字，包括新闻语料、文学作品、教材、科普作品等。义项标注提取规则的来源库，所有词的使用规则的提取都是根据对该库里词语真实状态进行概括、提炼的结果。,2义项库全称为“现代汉语词义标注用义项库”（Word Sense Base for Automatic Polysemous Sense Tagging of Modern Chinese），简称WSB。包括词8万余条，义项9万余个。有多义词近9千条。主要吸收了现代汉语词典第3版、第5版的内容，个别参考了汉语大辞典，另增加了2万余条语文性词语及部分义项。义项库是词义标注的来源，也是衡量词义标注效果的主要标准，更是寻找词义特征、确定规则时的依据。,3语义库全称为“现代汉语语义分类库”（A Thesaurus of Modern Chinese），简称TMC。分一级类9个，二级类62个，三级类516个，四级类2086个，五级类12602个。嵌于其中，起帮助识别义项语义特征的辅助作用。在标注工作中能起到鉴别作用的最低可至3或4级类。,4语法库全称为“现代汉语语法信息词典”，北大俞先生主持研制。起帮助识别义项语法特征的辅助作用。,5规则库全称为“现代汉语多义词词义搭配知识库（Polysemy Word Sense Collocation Knowledge Base of Modern Chinese）”，简称PCKB。是确定一个词在具体语境中使用义项的条件与依据。该库保存了对高频、义项在2-5之间、词频在100以上的3700多条双音节多义词所提取的全部使用规则。为每个词语描绘出具体规则，平均每个词9条规则共27000条。,6验证库全称为“现代汉语词义标注验证库”（Word Sense Tagged Corpus of Modern Chinese），简称WSTC。是人工标注了义项的语料库，主要作为对词义标注效力进行检验，对规则提取、修订、完善起校正、验测作用的实验库。,7义频库全称为“现代汉语多义词词义频级库”（Polysemous Senses Frequency Rank base of Modern Chinese），简称PFRD。是一个动态数据库。最初根据语感、简单语料调查以及词典义项属性标识给义项进行粗糙义频分级，并在词义标注过程中起帮助作用。最后根据标注结果不断调整、细化，最终形成精细、准确的义频调查结果库。,义项库WSB是词义标注时义项选择的来源。但又不仅仅是如此。WSB对研究中的几乎所有环节都起着重要的制衡作用：机器识别的对象；提取规则的依据；标注的对象；对语料进行识读的语义单位；标注义项的应用目的；,义项库在整个系统中的作用：来源于语料库；延伸至语法库语义库；衍生出规则库；服务于验证库；最后显示于大规模的真实文本语料库。,根据中文信息处理的目的、条件、需求，在改造、完善传统词典义项的基础上来建构机用义项库成为当务之急。传统词典义项与机用词典义项有何不同？收录对象？功能与目的？识别能力？识别手段？,义项来源于何处：传统词典的义项是否符合机用词义标注的需要？,义项底库为现代汉语词典多义词12400个；复音多义词8300个；双音多义词7278；词频在100次以上、义项在2-5个之间的双音词3774个；,3774个多义词共有义项8608个。对3774个多义词中的每个词都人工进行了义项特征的提取工作。词义标注所有工作的重点与难点都集中于下面两个问题：,一、什么样的义项义项库是否齐备？有无缺损？是否与真实语料相符？义项如何划分？根据什么标准？义项分立是否清晰？二、如何让计算机能识别义项有无形式特征？什么样的特征能为计算机所识别？,目前机用词典的义项内容一般都是借用了面向人的传统词典。这是一种取巧，也是不得已而为之的办法。由于机用词典与传统词典有着完全不同的服务对象，使用环境、识别条件、实现目标也各不相同，将传统词典简单地套用于机用词典肯定会扞格不入，面临着许多的困难。,在词义标注之路上的先行者已经关注到了机用词典的特征问题，并试图寻找解决的问题。如有的认为传统语文词典义项切分太细，应该调整义项粒度；有的主张以用法代替词义辨析（吴云芳、俞士汶，2007）。,在“第十届汉语词汇语义研讨会”（山东烟台，2009-7-25），有多篇论文都以词义标注为题:肖航的多义词义项关系对语料库词义标注的影响王宏显等的构建词汇语义关联度人工标注集王莉等基于语料库的多义动词标注方法研究乔剑敏等的面向语义标注一致性检验的汉语词义相似度计算俞士汶、贾玉祥关于隐喻的报告。都把问题的焦点指向“义项”。,问题还有：既有词义颗粒太细的问题，也有词义颗粒太粗，甚至义项缺损的问题；既有义项包含与被包含问题，还有上下位交叉覆盖的问题；有语料库有义项库无，也有语料库无义项库有，彼此阙如的问题。,传统词典义项存在问题分析,存在问题的类型：,（一）义项包含（二）义项交叉（三）义项边缘模糊（四）语义连贯（五）义项过近（六）义项过窄（七）义项缺损（八）罕用义,（一）义项包含,【封面】线装书指书皮里面印着书名和刻书者的名称等的一页。新式装订的书刊指最外面的一层，用厚纸、布、皮等做成。特指新式装订的书刊印着书刊名称等的第一面。也叫封一。,【噪音】音高和音强变化混乱、听起来不谐和的声音。是由发音体不规则的振动而产生的(区别于乐音)。噪声。,（二）义项交叉,【评论】批评或议论：好坏。批评或议论的文章：发表。学术界/n 当时/TIM 这些/r 公正/a 的/u 评论/vn，/w 立即/d 遭到/v 了/u 江/ALOC 青/ALOC 一/NUM 伙/q 的/u 反革命/n 围攻/vn。/w,【带领】在前带头使后面的人跟随着。领导或指挥（一群人进行集体活动）。,（三）义项边缘模糊,【歇息】休息：病刚好，还是几天吧。住宿；睡觉：洗过澡就上床了。所以/c 在/p 漫长/a 的/u 旅途/n 当中/f，/w 我们/r 常常/d 选择/v 这块/r 地方/n 落脚/v 歇息/v。/w,【亲切】亲近；亲密：他想起延安，象想起家乡一样。形容热情而关心：老师的教导。,（四）语义连续,【出门】（儿）外出：他刚，你等一会儿吧。（儿）离家远行：在外丨后时常接到家里来信。方出嫁。例：“出门三天家中遭洗劫”齐鲁晚报2007年02月08日,【摩挲】ms用手轻轻按着并一下一下地移动：衣裳。msu用手抚摩。,【同居】同在一处居住：父母死后，他和叔父。指夫妻共同生活。也指男女双方没有结婚而共同生活。大量语例为“男女双方没有结婚而共同生活”，介于两个义项的中间状态。,（五）义项过近,【冰箱】冷藏食物或药品用的器具，里面放冰块，保持低温。电冰箱的简称。【韵味】声韵所体现的意味：他的唱腔很有。情趣；趣味：这首诗的很浓古塔古树相互映衬，平添了古朴的。,【浴室】有洗澡设备的房间。澡堂。,【救灾】救济受灾的人民：放粮。消除灾害：防洪。查看/v 灾情/n，/w 慰问/v 受灾/vn 群众/n，/w 指导/vn 抗灾/vn 救灾/vn工作/vn。/w,（六）义项过窄,【出场】演员登台（表演）。运动员进运动场（参加表演或竞赛）。“有人怕闹事，开始退场，剧团的领导|出场，恳求大家安静。”（戴厚英文集流泪的淮河）,（七）义项缺损,【字号】商店的名称：这家商店是什么？指商店：这是一家老这家名气大。缺“字体的大小”,【装扮】打扮：节日的广场得分外美丽。化装：他算命先生进城侦察敌情。假装：巫婆神仙欺骗人。缺“打扮出来的模样。”语例：他这个,哪里是个丁忧的样子。,【庄子】村庄：他是我们里的人。田庄。删“田庄”缺“人名,战国时期思想家,道家思想集大成者。”,（八）罕用义,造成极低频义项的有多种原因：方言义行业义临时义,【巴结】趋炎附势，极力奉承：上司。方努力；勤奋：他工作很。【安排】有条理、分先后地处理(事物)；安置(人员)：工作丨生活丨他当统计员。规划；改造：重新家乡的山河。,【霸道】我国古代政治哲学中指凭借武力、刑法、权势等进行统治的政策。强横不讲理；蛮横：横行丨这人真，一点理也不讲。【拔腿】迈步：他答应了一声，就跑了。抽身；脱身：他事情太多，拔不开腿。,【激发】刺激使奋发：群众的积极性。使分子、原子等由能量较低的状态变为能量较高的状态。,以上八种情况，除了“义项缺损”“罕用义”外，其他六种都表现为义项划分的困难，直接造成机器对义项认别的困难。学术界多将其概括为“义项颗粒过细”、“义项边界模糊”。,对“义项库”WSB调查、评测、调整、修改后的反思：机用义项库的特点、功能定位；传统词典的的义项分立、释义、例句中的欠缺,机用词典义项的性质与功能,面对真实语料。凡是真实语料中有的义项理论上都要标注。处理的是“现代”、“通用”、“书面语”。方便计算机识别，且适用于大规模语料的处理。达到一般民众“识别”的需要，而不为“学习者”“辨认”的水平。,