非连续短语翻译研究.ppt
非连续短语翻译研究,张家俊 宗成庆2012.11.4,1,提纲,统计机器翻译中的非连续短语问题非连续短语的分类非连续短语对翻译质量的影响的全面分析基于非连续短语的规则过滤总结,2,提纲,统计机器翻译中的非连续短语问题非连续短语的分类非连续短语对翻译质量的影响的全面分析基于非连续短语的规则过滤总结,3,统计机器翻译中的非连续短语问题,基于连续短语的翻译,4,统计机器翻译中的非连续短语问题,非连续短语的引入譬如：遭受 X 袭击 hit by X,5,统计机器翻译中的非连续短语问题,非连续短语的引入譬如：遭受 X 袭击 hit by X,6,非连续短语的引入有效提升了翻译质量！,提纲,统计机器翻译中的非连续短语问题非连续短语的分类非连续短语对翻译质量的影响的全面分析基于非连续短语的规则过滤总结,7,非连续短语的分类,根据源语言端、目标语言端是否连续划分仅源端非连续遭受 X 袭击 hit by X仅目标端非连续考虑 X take X into account两端非连续与 X1 有 X2 have X2 with X1,8,非连续短语的分类,对层次短语规则的划分,9,非连续短语的分类,对非连续短语翻译作用的一些研究发现在汉语到英语的翻译中，不管是利用兼容非连续短语的短语翻译模型、层次短语模型还是基于句法树的翻译模型，都一致发现仅源端非连续的翻译规则对翻译质量的提高要远远好于允许目标端非连续的翻译规则仅源端非连续遭受 X 袭击 hit by X,10,提纲,统计机器翻译中的非连续短语问题非连续短语的分类非连续短语对翻译质量的影响的全面分析基于非连续短语的规则过滤总结,11,非连续短语对翻译质量影响的全面分析,疑问仅源端非连续的翻译规则是否在英语到汉语的翻译中也更有效？是否在其他语言对上也更有效？非连续短语规则是否在所有语言对之间的翻译都帮助很大？,12,非连续短语对翻译质量影响的全面分析,实验设置翻译语言对汉语-英语德语-英语法语-英语西班牙-英语,13,非连续短语对翻译质量影响的全面分析,实验数据规模汉语-英语训练集：190万句对开发集：汉语英语 MT NIST06,英语汉语 MT NIST08前800句测试集：汉语英语 MT NIST05(test-1)MT NIST08(test-2)，英语汉语 MT NIST08的后1059句(test-1)，汉英测试集MT NIST05(test-2),14,非连续短语对翻译质量影响的全面分析,实验数据规模其他语言对训练集：德语-英语、法语-英语 148万句对,西班牙语-英语 147万句对开发集：WMT2009 第一部分开发集Devset2009-a测试集：WMT2009 第二部分开发集Devset2009-b(test-1),WMT2009的测试集Testset2009(test-2),15,非连续短语对翻译质量影响的全面分析,实验结果与分析,16,汉语-英语,非连续短语对翻译质量影响的全面分析,实验结果与分析,17,汉语-英语,非连续短语对翻译质量影响的全面分析,实验结果与分析,18,汉语-英语,非连续短语对翻译质量影响的全面分析,实验结果与分析,19,法语-英语,非连续短语对翻译质量影响的全面分析,实验结果与分析,20,法语-英语,非连续短语对翻译质量影响的全面分析,实验结果与分析,21,法语-英语,非连续短语对翻译质量影响的全面分析,实验结果与分析,22,德语-英语,非连续短语对翻译质量影响的全面分析,实验结果与分析,23,德语-英语,非连续短语对翻译质量影响的全面分析,实验结果与分析,24,德语-英语,非连续短语对翻译质量影响的全面分析,实验结果与分析,25,西班牙语-英语,非连续短语对翻译质量影响的全面分析,实验结果与分析,26,西班牙语-英语,非连续短语对翻译质量影响的全面分析,实验结果与分析,27,西班牙语-英语,非连续短语对翻译质量影响的全面分析,结论若源端非连续在一个翻译方向上更有效，那么目标端非连续在相反的翻译方向上更有效非连续短语并不是在任何语言对的翻译中都帮助很大,28,提纲,统计机器翻译中的非连续短语问题非连续短语的分类非连续短语对翻译质量的影响的全面分析基于非连续短语的规则过滤总结,29,基于非连续短语规则过滤,基于非连续短语的发现非连续短语规模庞大，但绝大多数对翻译质量没有帮助,30,基于非连续短语规则过滤,基于功能的翻译规则细分完全词汇化短语规则(LPR)调序规则(RR)，譬如：uX Xu源端非连续规则(SDR)目标端非连续规则(TDR)两端非连续规则严格两端非连续规则(SBDR)，uXvuXv(u,v和u,v需交叉对齐)一个非终结符的复合规则(CR1NT)两个非终结符的复合规则(CR2NT),31,基于非连续短语规则过滤,实验结果,32,西班牙语英语,基于非连续短语规则过滤,实验结果,33,过滤70%的规则数目！,基于非连续短语规则过滤,实验结果,34,过滤84%的规则数目！,基于非连续短语规则过滤,实验结果,35,汉语英语,基于非连续短语规则过滤,实验结果,36,过滤20%的规则数目！,提纲,统计机器翻译中的非连续短语问题非连续短语的分类非连续短语对翻译质量的影响的全面分析基于非连续短语的规则过滤总结,37,总结,非连续短语在不同语言对的翻译中作用差别很大源端非连续短语、目标端非连续短语对翻译的作用基本符合对称现象根据非连续短语的分析，基于功能的规则过滤方法可以有效地去除大量无用规则,38,39,THANKS!Q&A,
