副词都用法自动识别研究.ppt

副词“都”用法自动识别研究,张静杰 昝红英郑州大学自然语言处理实验室,郑州大学自然语言处理实验室,目录,引言副词“都”的用法描述副词“都”的用法自动识别研究基于规则的副词“都”用法自动识别基于统计的副词“都”用法自动识别规则与统计相结合的副词“都”用法自动识别结语,郑州大学自然语言处理实验室,引言,在现代汉语中，副词的句法功能相对比较简单，然而，一些常用副词不仅使用频率很高，而且用法丰富多样对于副词研究，尤其是一些义项纷繁、用法灵活的常用副词，需要针对个例，作仔细的考察和对比,郑州大学自然语言处理实验室,引言,“都”主要有三个义项:范围的总括无论工作大小，我们都要把它做好。表达语气真抱歉，我都忘了你的名字了。表时间 饭都凉了，快吃吧！,郑州大学自然语言处理实验室,1 副词“都”的用法描述,根据俞士汶等提出的“三位一体”构建现代汉语广义虚词知识库的思路，昝红英等初步构建了虚词用法词典、用法规则库以及用法标注语料库“三位一体”的现代汉语虚词知识库副词“都”共有3个义项11个用法,郑州大学自然语言处理实验室,表1副词“都”的用法描述,郑州大学自然语言处理实验室,1 副词“都”的用法描述,与表1相对应的副词“都”的用法规则描述：$都N Nv|aM M谁|哪里|什么|怎么|哪儿|哪|M M(不论|不管|无论|虽然|尽管|凡是|只要)*，NE N谁|哪里|什么|怎么|哪儿|哪|E？FR F R是N NvM M连|甚至AA(不|没|没有|未|)AvA(不|没|没有|未|)*A AvMN M一q N不|没|没有|未|N N，*(不|没|)E E了，,郑州大学自然语言处理实验室,2.1 基于规则的副词“都”用法自动识别,因为规则用法自动识别过程中，系统按照给出的规则逐条进行匹配，所以需对规则的顺序进行调整语料来源：2000年46月的人民日报语料 北京大学,郑州大学自然语言处理实验室,表2 副词“都”的用法分布,郑州大学自然语言处理实验室,表3基于规则的副词“都”的用法自动识别,郑州大学自然语言处理实验室,2.2 基于统计的副词“都”用法自动识别,统计模型：条件随机场（CRF）窗口：7,3 特征模版：上下文窗口的词语信息+词性信息+词语和词性的复合信息,郑州大学自然语言处理实验室,表4 基于统计的副词“都”的用法自动识别,郑州大学自然语言处理实验室,2.3 规则与统计相结合的副词“都”用法自动识别,思想：对包含副词“都”的句子分别进行基于规则和基于统计的方法自动识别，结果分以下三种情况：两者都没有识别结果，识别失败两者只识别出一个结果，即两者之一没有识别结果或者两者识别结果相同，则标注该用法两者识别结果不同，对比两者各自在原模型中识别准确率的大小，标注准确率较高的用法,郑州大学自然语言处理实验室,表5 规则与统计相结合的副词“都”用法自动识别,郑州大学自然语言处理实验室,3 结语,对“都”的用法分别进行了基于规则、基于统计以及规则和统计相结合的自动识别研究考虑提出其他的规则和统计相结合方法进一步提高用法的自动识别的准确率考虑在用法自动识别的前提下，将用法识别应用到句法分析等其他自然语言处理领域,郑州大学自然语言处理实验室,谢谢！,