现代汉语词义标注语料库的研究与开发.ppt

《现代汉语词义标注语料库的研究与开发.ppt》由会员分享，可在线阅读，更多相关《现代汉语词义标注语料库的研究与开发.ppt（19页珍藏版）》请在三一办公上搜索。

1、现代汉语词义标注语料库的研究与开发,报告提纲,目标 总体思路 辅助软件 成果展示 难点分析,目标,建成23个具有国际先进水平（或规模最大）的数据资源库并制定相应的规范或标准。973项目“数字内容理解的理论与方法”预期目标之一我们的目标：建设成为规模最大、质量上乘的具有国际先进水平的现代汉语词义标注语料库。具体运用意义：是词义自动消歧（WSD）的数据基础,进而提升信息检索、机器翻译等系统的应用水平。是现代汉语词汇语义研究的资源库。,总体思路粗粒度到细粒度的两步走策略,1.粗粒度标注基于现代汉语语法信息词典中的“同形”信息填补现代汉语语法信息词典和语料库的缝隙2.细粒度标注在“同形”基础上进行更适

2、应于语言信息处理的义项区分,现代汉语语义词典（含6万实词）现代汉语语法信息词典的扩充，面向机器翻译。动词库部分信息样例（增加了“义项”等字段）,总体思路语义词典和词义标注语料的互动构建,语义词典,词义标注语料库,词语多义区分,词义自动消歧,1.词语义项的区分 一个词可以分割为几个义项？,2.真实文本中词语义项的确定 在一定上下文中这个词语表示什么意义？,总体思路语义词典和词义标注语料的互动构建,语义词典,词义标注语料,词义标注,义项区分,面向大规模真实文本的词语义项标注规范,一方面依据语义词典中的义项信息对语料中的多义词进行词义标注，一方面依据词语在语料中的句法表现（syntactic beh

3、avior）对词典中的义项区分作出调整，词典和语料形成一个互动良性的发展。,总体思路词义标注语料的滚雪球似增长,基本标注语料（词语切分、词性标注）,人工词义标注,小规模词义标注语料库,机器学习词义自动消歧,人工校对,大规模词义标注语料库,词义标注校对辅助软件,体现了总体思路，提高了工作效率。,成果展示词义标注语料库,从/p 科学/a 的/u 苍穹/n 上shang5/f!B$，/wd 采/v 来/v!4-4 日辉/n、/w 月华/n、/w 星/n 芒/Ng，/wd 每天/r 为wei4/p!B1$我/r 的/u 祖国/n，/wd 深情/d 献/v 一/m 掬/q 科技/n 之/u 光/n。/w

4、j”/w 这/r 是/v!B1$大家/r 的/u 座右铭/n。/wj 有人/r 对/p/wkz 科技/n 之/u 光/n/w 做/v!2$过/u 这样/r 的/u 评价/v：/w“/w 长城/n!0-2 上shang5/f!B$的/u 每/r 一/m 块/q!1$砖/n 拆/v 下来/v 单独/d 看kan4/v!B2-1，/wd 是/v!B1$普通/a 甚至/c 粗糙/a 的/u，/w 但/c 垒/v 在/p 一起/s 却/d 变/v!1$得/u 蔚为/v 壮观/a，/w 令/v 人/n 惊叹/v。/w”/w 今天/t/w 科技/n 之/u 光/n/w 已经/d 成/v 了/u 在/p 国内

5、外/s 有/v!1$一定/b 知名度/n 的/u 电视/n 品牌/n。/w,成果汇总,在人民日报基本标注语料的基础上：1.完成了 270 万语料的同形标注；2.完成了 46 个动词的义项区分，并标注 8639 义项；3.完成了 150 个名词的义项区分，并标注 6000 多义项；4.正在进行形容词义项区分和标注。,难点分析,语义词典,词义标注语料库,词语多义区分,词义自动消歧,1.词语义项的区分 一个词可以分割为几个义项？,2.真实文本中词语义项的确定 在一定上下文中这个词语表示什么意义？,面向大规模真实文本的语言处理,难点分析示例,【电话】利用电流使两地的人互相交谈的装置（现汉）用电话装置传

6、递的话 a.24/m 小时/n 值班/v 守/v 电话/n？b.公布/v 3/m 部/q 征求/v 意见/n 电话/n？,If 电话，Then 守+电话 不符合语用。If 电话，Then 守+电话 Fail.b.If 电话，Then 公布+电话 Fail.If 电话，Then 3部+电话 Fail.,难点分析示例,关于词语意义的一点认识：内容和载体是一个事物不可 分割的两方面意义，存在着句法结构混合运用的情形，即可能存在着意义和结构搭配错位的情形。扩展法消歧：a.24小时值班守电话 结果电话丢了。（?）结果一个电话也没人打来。!b.公布3部征求意见电话 欢迎随时安装。（*）欢迎随时拨打。!,难点之解决,系列文章：信息处理用词语义项区分的原则和方法 信息处理用动词义项的区分 信息处理用名词义项的区分 信息处理用形容词义项的区分 信息处理用虚词义项的区分,请您批评，谢谢！,