神经机器翻译前沿进展课件.pptx
神经机器翻译前沿进展,机器翻译,目标：利用计算机实现自然语言的自动翻译,2,布什,与,沙龙,举行,了,会谈,Bush,held,a,talk,with,Sharon,发展历史,趋势：让机器更“自主”地学习如何翻译,3,规则机器翻译,统计机器翻译,神经机器翻译,1980,1990,2013,数据驱动机器翻译1990,数据驱动的机器翻译,核心问题：如何为翻译过程建立概率模型？,4,布什,与,沙龙,举行,了,会谈,Bush,held,a,talk,with,Sharon,统计机器翻译,隐变量对数线性模型：在隐式语言结构上设计特征,5,布什,与,沙龙,举行,了,会谈,Bush,held,a,talk,with,Sharon,(Och and Ney, 2002),基于短语的统计机器翻译,短语翻译模型：以隐结构短语为基本翻译单元,6,布什,与,沙龙,举行,了,会谈,(Koehn et al., 2003),统计机器翻译的优缺点,优点隐结构可解释性高利用局部特征和动态规划处理指数级结构空间缺点线性模型难以处理高维空间中线性不可分的情况需要人类专家设计隐式结构及相应的翻译过程需要人类专家设计特征离散表示带来严重的数据稀疏问题难以处理长距离依赖,7,难点：长距离调序,8,Bush,President,held,a,talk,with,Israeli,Prime,Minister,Sharon,at,the,White,House,如何用上述词语拼成合理的译文？,统计机器翻译示例,9,深度学习带来新思路,10,Yann LeCun,Yoshua Bengio,Geoffrey Hinton,(LeCun et al, 2015),机器翻译方法对比,11,英国爱丁堡大学在WMT英德评测数据上的BLEU值。NMT 2015年结果来自蒙特利尔大学。来源：Rico Sennrich报告和斯坦福ACL 2016 Tutorial。,神经机器翻译,利用神经网络实现自然语言的映射,12,布什,与,沙龙,举行,了,会谈,Bush,held,a,talk,with,Sharon,(Sutskever et al, 2014),编码器-解码器框架,利用递归神经网络实现源语言的编码和目标语言的解码,13,布什,与,沙龙,举行,了,会谈,Bush,held,a,talk,with,Sharon,(Sutskever et al., 2014),递归神经网络的优缺点,优点适合处理变长线性序列理论上能够利用无限长的历史信息缺点“梯度消失”或“梯度爆炸”,14,(Pascanu et al., 2013),长短时记忆,通过门阀技术缓解“梯度消失”和“梯度爆炸”,15,(Hochreiter and Schmidhuber, 1997),神经网络学到了什么？,16,(Sutskever et al., 2014),编码器-解码器架构的优缺点,优点：利用长短时记忆处理长距离依赖缺点：任意长度的句子都编码为固定维度的向量,17,(Sutskever et al., 2014),基于注意力的神经机器翻译,利用注意力机制动态计算源语言端相关上下文,18,(Bahdanau et al., 2015),布什,与,沙龙,举行,了,会谈,Bush,held,a,talk,with,Sharon,注意力,思想：集中关注影响当前词的上下文,19,(Cheng et al., 2016a),神经机器翻译中的注意力,源语言词语目标语言词的关联强度,20,(Bahdanau et al., 2015; Cheng et al., 2016b),注意力机制提升长句翻译效果,21,(Bahdanau et al., 2015),RNNenc: 固定源语言上下文，RNNsearch: 动态源语言上下文,注意力机制的其他应用,注意力机制已成为深度学习的主流技术,22,(Xu et al., 2015),“看图说话”：为图片自动生成文本描述,近期研究进展,神经机器翻译在近两年取得飞速发展受限词汇量 (Luong et al., 2015a ; Jean et al., 2015)细粒度意义单元 (Chung et al., 2016; Sennrich et al., 2016a)先验约束 (Tu et al., 2016; Cohn et al., 2016)记忆机制 (Wang et al., 2016; Tang et al., 2016)训练准则 (Shen et al., 2016; Ranzato et al., 2016)单语数据利用 (Cheng et al., 2016c; Sennrich et al., 2016b)多语言 (Dong et al., 2015; Zoph and Knight, 2016)多模态 (Duong et al., 2016; Hitschler et al., 2016),23,进展1：受限词汇量,受计算复杂度限制，仅能使用有限的词汇量,24,(Luong et al., 2015a; Jean et al., 2015; Li et al., 2016),在后处理阶段单独翻译未登录词,进展2：细粒度意义单元,以细粒度意义单元取代词，降低词汇量,25,(Luong and Manning, 2016; Chung et al., 2016; Sennrich et al., 2016a),字母与词语的混合模型，词语模型解决常用词翻译，字母模型解决生僻词翻译,进展3：先验约束,利用先验知识约束神经机器翻译,26,(Tu et al., 2016; Cohn et al., 2016; Cheng et al., 2016b; Shi et al., 2016),很多 机场 都 被迫 关闭 了,Many airports were closed to close,Many airports were forced to close down,输入,不考虑覆盖度,考虑覆盖度,先验：不应重复翻译，也不应漏翻,进展4：记忆机制,利用记忆机制提高神经机器翻译,27,(Wang et al., 2016; Tang et al., 2016),将“外存”引入神经机器翻译,进展5：训练准则,提出更好的准则，提高与评价的相关性,28,(Shen et al., 2016; Rezanto et al., 2016),训练数据,训练目标,优化,最小风险训练：针对评价指标训练神经网络,进展6：单语数据利用,利用海量的单语语料库提高神经机器翻译,29,(Cheng et al., 2016c; Sennrich et al., 2016b),利用自动编码器实现半监督学习,进展7：多语言,利用向量空间贯通多种自然语言,30,(Dong et al., 2015; Zoph and Knight, 2016; Firat et al., 2016),多种语言共享源语言编码器,进展8：多模态,利用向量空间贯通文本、语音和图像,31,(Duong et al., 2016; Hitschler et al., 2016),不经过语音识别，直接将源语言语音翻译成目标语言文本,神经机器翻译教程和开源工具,教程Neural Machine Translation, ACL 2016 TutorialsIntroduction to NMT with GPUs, Kyunghyun Cho开源工具GroundHog：加拿大蒙特利尔大学Blocks：加拿大蒙特利尔大学TensorFlow：GoogleEUREKA-MangoNMT：中国科学院自动化研究所,32,统计机器翻译 Vs 神经机器翻译,33,神经机器翻译面临的挑战,34,如何设计表达能力更强的模型？如何提高语言学方面的可解释性？如何降低训练复杂度？如何与先验知识相结合？如何实现多模态翻译？,总结,神经机器翻译：通过神经网络直接实现自然语言的相互映射。神经机器翻译近年来取得迅速发展，有望取代统计机器翻译成为新的主流技术。神经机器翻译在架构、可解释性、训练算法等方面仍面临挑战，需要进一步深入探索。,35,谢谢！,36,
