基于语料库的工作 (2).ppt

基于语料库的工作,张宇,2023/10/11,中文信息处理-基于语料库的工作,2,大纲,什么是语料库语料库的发展简史语料库建设中处理的问题数据标注,2023/10/11,中文信息处理-基于语料库的工作,3,什么是语料库,语料库，英文为Corpus存储语言材料的仓库现代的语料库是指存放在计算机里的原始语料文本或经过加工后带有语言学信息标注的语料文本.,2023/10/11,中文信息处理-基于语料库的工作,4,关于语料库的三点基本认识,语料库中存放的是在语言的实际使用中真实出现过的语言材料；语料库是以电子计算机为载体承载语言知识的基础资源；真实语料需要经过加工（分析和处理），才能成为有用的资源；,2023/10/11,中文信息处理-基于语料库的工作,5,语料库示例,北京大学计算语言所富士通人民日报标注语料库样例：历史/n 将/d 铭记/v 这个/r 坐标/n：/w 北纬/b/m 度/q、/w 东经/b/m 度/q；/w 人们/n 将/d 铭记/v 这/r 一/m 时刻/n：/w 年/t 月/t 日/t 时/t 分/t。/w 中国/ns 政府/nnt 顺利/ad 恢复/v 对/p 香港/ns 行使/v 主权/n，/w 并/c 按照/p“/w 一国两制/j”/w、/w“/w 港人治港/l”/w、/w 高度/d 自治/v 的/u 方针/n 保持/v 香港/ns 的/u 繁荣/an 稳定/an。/w,2023/10/11,中文信息处理-基于语料库的工作,6,语料库的分类,生语料库/熟语料库生语料库就是未经加工的,没有任何切分,标注标记的原始语料库熟语料库就是指经过加工,带有切分,标注标记的语料库系统型语料库/专用型语料库系统型语料库就是依据事先确定的选材原则和比例选取语料的语料库专用型语料库就是指专门服务于某个特定目的的语料库单语种语料库/多语种语料库,2023/10/11,中文信息处理-基于语料库的工作,7,语料库发展简史,第一代（197080年代）第二代（198090年代）第三代（1990年代）,2023/10/11,中文信息处理-基于语料库的工作,8,第一代语料库,Brown语料库LOB语料库LLC语料库,百万词级以语言研究为导向,2023/10/11,中文信息处理-基于语料库的工作,9,第二代语料库,COBUILD语料库 Longman语料库,千万词级词典编纂应用导向,2023/10/11,中文信息处理-基于语料库的工作,10,第三代语料库,ACL/DCI语料库 The Association for Computational Linguistics Data Collection Initiative UPenn树库 LDC（Linguistic Data Consortium）,超大规模（上亿词级）标准编码体系深度标注/多语种NLP应用,2023/10/11,中文信息处理-基于语料库的工作,11,语料库建设中处理的问题,文本生文本标注文本语料库建设中处理的问题低级格式问题标记化：什么是一个词？词法句子,2023/10/11,中文信息处理-基于语料库的工作,12,低级格式问题,垃圾格式由于语料库的来源复杂，语料库中可能存在无法处理的各种各样的格式或内容，他们是没有用处的，需要过滤掉。文档页眉、分隔符、排版代码、表和图表如果数据来源于OCR，会引入错误识别的问题,2023/10/11,中文信息处理-基于语料库的工作,13,低级格式问题,大小写the，The，THERichard Brown brown paint识别句子中人名的启发式方法把每个句子开头的大写字母转换成小写字母把一串连续大写的词当作标题和副标题这样，其余的大写字母就可以认为是名字,2023/10/11,中文信息处理-基于语料库的工作,14,标记化：什么是一个词,什么是词前后有空格的连续字母组成的字符串，可以包含连字符和省略号，但是不能包含其它的标点符号。Kucera and Francis（1967）$22.50，Micro$oft，C|net,2023/10/11,中文信息处理-基于语料库的工作,15,标记化：什么是一个词,句点大多数句点的作用是表明句子结束，其它情况表示缩写，例如：etc.，Calif.。保留句点的意义Wash.（Washington）-Washetc.出现在句子的末尾的时候，只保留一个句点，这个句点同时表示两种意思。,2023/10/11,中文信息处理-基于语料库的工作,16,标记化：什么是一个词,单撇号Im，isnt I am，is notdogs 表示什么？dog is，dog has，还是所有格形式？词末尾的单撇号如何处理？通常代表一对引号的结束，不是该词的一部分如果它跟着一个s出现boys toys,2023/10/11,中文信息处理-基于语料库的工作,17,标记化：什么是一个词,连字符：不同形式表示相同形式的词带有连字符的一串字母应该看成一个词还是两个？（有时候是一个，有时候是两个）一个，来源于排版印刷找到一行中最后的连字符，丢弃它，把本行的词和下一行的连起来e-mail,co-operate连字符用于表示引用的短语或者数量、比率the 26-year-olddatabase,data base,data-base破折号和词语之间的空格,2023/10/11,中文信息处理-基于语料库的工作,18,标记化：什么是一个词,相同形式表示不同的“词语”saw 工具saw see的过去时,2023/10/11,中文信息处理-基于语料库的工作,19,标记化：什么是一个词,其它语言中的分词中文、日文、泰文严守一把手机关上 严守一 把 手机 关上德语中大多数的词语有空格分割，但是复合名词写成单独的词Lebensversicherungsgesellschaftsangestellter 人身保险公司的雇员database data base harddisk hard disk,2023/10/11,中文信息处理-基于语料库的工作,20,标记化：什么是一个词,非词语分界的空格data base database,9365 1873 93651873New York,San Francisco如果和连字符一起出现，问题就更加复杂了the New York New Haven Railroad习惯搭配形成的词Work outI couldnt work the answer out.,2023/10/11,中文信息处理-基于语料库的工作,21,标记化：什么是一个词,2023/10/11,中文信息处理-基于语料库的工作,22,词法,词干化去除词缀只留词干的过程operating-operate,computing-compute词干化的优点对词的各种变化形式进行归类，减少了词的数目意味着一定水平上的词义消歧Lyinglie,lay（卧倒）lie,lied（欺骗）,2023/10/11,中文信息处理-基于语料库的工作,23,词法,词干化中的问题词干化会浪费一些信息operating systemoperate systembusinessbusy词法分析把词切分成词次，但是有的时候把密切相关的信息组合到一起是有意义的保卫祖国保卫 祖国公民有保卫祖国,依法服兵役的义务 保卫社会主义建设,战斗在祖国边疆及各个岗位上英语中只有很少的词态，所以对其进行词态处理不是很有必要。而其它语言中，进行词态处理可能会有很大的意义芬兰语，每个动词有百万种变化形式,2023/10/11,中文信息处理-基于语料库的工作,24,句子,句子：以一个“。”、“，”、“！”或者“？”结尾的内容。90%的情况都是这样句子可能会被其它的分隔符号切分开(e.g.,:;-)句子的顺序可能会被打乱“You should be here,”she said,“before I know it!”引号可能在句子的最后一个标点的后面识别句子的边界，可以采用一些启发式的方法，也有一些学者尝试自动的方法来识别句子的边界。,2023/10/11,中文信息处理-基于语料库的工作,25,启发式的方法,在.?!（和可能的:;-）出现位置之后加一个假设的句子边界如果假设边界后面有引号，那么把假设边界转移到引号后面如果在句点之前是一个不纵出现在句子末尾的众所周知的缩写形式，而且通常后面会跟一个大写的名字，例如：prof.如果句点前面是一个众所周知的缩写形式，但是句点后面没有大写词。这样即可正确地处理像etc.这样的大多数缩写用法，这些缩写一般出现在句子的中间或者末尾如果下面的条件成立，则删除?或者!的边界资格这些符号后面跟着一个小写字母（或者一个已知的名字）认为其它假设边界就是句子的边界,2023/10/11,中文信息处理-基于语料库的工作,26,自适应的句子边界检测,Dr.J.M.Freeman and T.Boone Pickens Jr.David D.Palmer,Marti A.Hearst,Adaptive Sentence Boundary Disambiguation,Technical Report,97/94,UC Berkeley:98-99%correct,2023/10/11,中文信息处理-基于语料库的工作,27,数据标注标注方案,我们可以在普通文本的语料库上做很多工作，在此之上，如果增加一些信息，那么会得到更多的东西句子的边界，段落的边界，Lexical tags句法结构语义表达语义类别不同的标注方案COCOA format(文本的头信息，例如作者、时间、日期、题目等)：使用尖括号，第一个字母表示某个域的主要语义通用标记语言SGML(related:HTML,TEI,XML),2023/10/11,中文信息处理-基于语料库的工作,28,SGML例子,This book does not delve very deeply into SGML.In XML,such empty elements may be specifically marked by ending the tag name with a forward slash character.SGML can be very useful.Character and Entity codes:begin with ampersand and end with semicolon rsum,2023/10/11,中文信息处理-基于语料库的工作,29,语法标注,Tagging corresponds to indicating the various conventional parts of speech.Tagging can be done automatically(we will talk about that in a later lecture).多种标注集，e.g.,Brown Tag Set,University of Lancaster Tag Set,Penn Treebank Tag Set,British National Corpus(CLAWS*),Czech National Corpus标注集的设计标注集的特征 Target Features:useful information on the grammatical class Predictive Features:useful for predicting behavior of other words in context(e.g.,distinguish modals and auxiliary verbs from regular verbs),2023/10/11,中文信息处理-基于语料库的工作,30,Pen Treebank标注集,Adjective:JJ,JJR,JJSCardinal:CDAdverb:RB,RBR,RBS,WRBConjunction:CC,IN(subordinating and that)Determiner:DT,PDT,WDTNoun:NN,NNS,NNP,NNPS(no distinction for adverbial),Pronoun:PRP,PRP$,WP,WP$,EXVerb:VB,VBP,VBZ,VBD,VBG,VBN(have,be,and do are not distinguished)Infinitive marker(to):TOPreposition to:TOOther prepositions:INPunctuation:.;,-$()FW,SYM,LS,2023/10/11,中文信息处理-基于语料库的工作,31,标注集,General definition:Tags can be represented as a vector:(c1,c2,.,cn)Thought of as a flat list T=ti i=1.n with some assumed 1:1 mappingT(C1,C2,.,Cn)English tagsets:Penn treebank(45)(VBZ:Verb,Pres,3,sg,JJR:Adj.Comp.)Brown Corpus(87),Claws c5(62),London-Lund(197),2023/10/11,中文信息处理-基于语料库的工作,32,其它语言的标注集,Differences:Larger number of tagscategories covered(POS,Number,Case,Negation,.)level of detailpresentation(short names vs.structured(“positional”)Example:,