深度学习在自然语言处理的应用v.ppt
1,深度学习在自然语言处理的应用,张俊林畅捷通股份有限公司,2,大纲,深度学习简介基础问题：语言表示问题Word Embedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/Tensor Network/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考,3,深度学习（表示学习）,4,深度学习（表示学习）,5,Layer-Wise Pre-Training,6,Denoising Autoencoder,7,自然语言交互的时代,8,大纲,深度学习简介基础问题：语言表示问题Word Embedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/Tensor Network/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考,9,One-Hot 表示,One Hot表示在传统NLP中很常用,Similarity(dog,cat)=0,10,Word Embedding,词向量：单词的分布向量表示（Distributional Representation）词向量表征了单词使用上下文中的句法语义特征One-Hot的字面匹配到DR的语义匹配,Similarity(dog,cat)Similarity(dog,the),Similarity(“the dog smiles.”,“one cat cries.”）,11,无监督训练获得单词的WE-word2vec,单词：苹果,12,无监督训练获得单词的WE-word2vec,单词：长颈鹿,13,无监督训练获得单词的WE-word2vec,单字：张,14,无监督训练获得单词的WE-word2vec,单字：雯,15,无监督训练获得单词的WE-word2vec,单字：葱,16,Word2vec,CBOW：,17,word2vec,Skip-Gram:,18,word2vec,CBOW+Hierarchical Softmax,19,word2vec,CBOW+Negative Sampling,最大化：,st：,正例,负例,20,不同粒度语言单元的表示-字符/单字,字符上下文向量,英文：捕获构词法,中文：捕获字搭配,英文拓展：字符N-Gram,中文拓展：单字N-Gram？,21,不同粒度语言单元的表示-短语/句子/文档,方法一：单词词向量取和（Summrization）很多情况都做此种简化处理过于简单,但是仔细思考有一定道理方法二：单词词向量加权求和Huangs Work权重：类似于IDF方法三：RNN,22,不同粒度语言单元的表示-短语/句子/文档,方法四：Matrix-Vector NN,23,不同粒度语言单元的表示-短语/句子/文档,方法五：卷积神经网络,24,大纲,深度学习简介基础问题：语言表示问题Word Embedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/Tensor Network/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考,25,RAE(Recursive AutoEncoders),推导短语及句子级别的Word Embedding表示,26,Neural Tensor Networks,表达多个实体之间的关系/两个单词之间某种操作,27,Neural Tensor Networks,28,卷积网络（Convolutional Deep Neural Network）,全局特征选择与融合/不定长转换为定长表示,29,大纲,深度学习简介基础问题：语言表示问题Word Embedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/Tensor Network/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考,30,语言模型,31,语言模型,Bilinear-LM,32,语言模型,RNNLM,33,深度学习用于中文分词-思路1,34,深度学习用于中文分词-思路2,35,深度学习用于中文分词,两者思路基本相同基于字的Word Embedding+三层神经网络+BEMS标记序列分类思路2引入全局的Viterbi解码（分类后处理）效果：和主流分词算法效果接近CRF/Maxent+二元特征类似思路同样可以套用到POS/NER/Parser等场景这是利用Word Embedding解决NLP问题最直观的NLP应用思路考虑探索下非标准三层神经网络结构的复杂模型,36,深度学习用于知识挖掘,两大类问题现有知识库的新知识推理CYC,WordNet,FreeNet目前的文献做法大思路基本一致已知实体用Word Embedding表示实体关系用Tensor Network建模后向传播+SGD训练从自由文本中挖掘结构化知识,37,现有知识库的新知识推理,38,现有知识库的新知识推理,最小化目标函数：,正例：,负例：,39,从自由文本中挖掘结构化知识,整体结构,词法级特征,40,从自由文本中挖掘结构化知识,句子级特征抽取：卷积网络,41,机器翻译（通用模型）,最常见的通用模型：Encoder-Decoder Model,Encoder,Decoder,语义向量,42,机器翻译（Encoder-Decoder具体例子）,ACL2014 Best Paper：Fast and Robust Neural Network Joint Models for Statistical Machine Translation,网络结构,语言模型,翻译模型,43,机器翻译-很多地方可以引入DL,单词对齐短语对齐短语重排序语言模型翻译模型联合模型翻译结果重排序,单词对齐,44,情感计算,核心的两个问题句子级的Word Embedding表示前面讲过这个问题如何将情感倾向编码到各级Word Embedding中半监督或者监督学习：通过训练过程将情感倾向编码到WE结构中,45,Paraphrase(整体框架),S1：The judge also refused to postpone the trial date of Sept.29.,S2：Obus also denied a defense motion to postpone the September trial date.,Paraphrase的问题：Semantic(S1)=Semantic(S2)?,46,Paraphrase（RAE）,Darling!Im here!,Darling!Im here!,47,Paraphrase（Dynamic Pooling）,应用拓展：很明显这个方法可以照搬不动放到QA问题匹配中（一篇灌水论文就此诞生了！）,欧式距离：越小越好,48,DL for IR,一种直观的方法,49,DL for IR,一种没那么直观的方法,50,大纲,深度学习简介基础问题：语言表示问题Word Embedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/Tensor Network/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考,51,探讨与思考,与传统方法比较DL的优势所在抛掉特征选择步骤简洁地融入语义级特征很多应用可以直接绕过NLP的中间场景比如POS，句法，减少错误累加语言长程依赖容易建模：词向量+卷积网络可以解决语言模型的数据稀疏问题：15-Gram很多场景如果优化速度非常快，方便应用的工程化实用化,52,探讨与思考,目前研究模式中最基础和重要的问题短语、句子、段落、文档级别的有效Word Embedding表示文档级别表示很多应用直接受益:分类，IR等问题：文档级别采用低维表示，是否丢失细节信息？只能作为辅助手段？句子级别的低维表示很有意义，最关键。如何更能体现“深度”的思想目前还说不上很Deep：WE为主是否有除了“Word Embedding”外更Deep的模式？目前看DL在NLP哪些方面好哪些一般？涉及语义处理的应用：表现好不涉及太多语义的应用：State-of-the-art说明什么？Word Embedding已经把传统ML方法使用特征融合进去了语义级别特征效果体现明显,53,探讨与思考,与CRF的比较及区别与联系CRF:线性 VS DL:非线性CRF:高维离散特征 VS:DL:低维连续特征结论：非线性模型对于低维连续特征有效，对高维离散特征无效DL在推荐系统方面应用方法的思考不成熟的初步思路我个人看好DL在NLP方面的作用与传统方法比有明显优点发展初期：机会多、挑战大NLP方向博士生的黄金时代非常容易想到很多New Idea一把新的锤子，很多钉子可以去敲,54,广告时间,55,Thanks!,
