Attention 机制在文本分类中的应用.docx

《Attention 机制在文本分类中的应用.docx》由会员分享，可在线阅读，更多相关《Attention 机制在文本分类中的应用.docx（4页珍藏版）》请在三一办公上搜索。

1、Attention机制在文本分类中的应用Document Modeling with Gated Recurrent Neural Network for SentimentClassification. Duyu Tang, Bing Qin , Ting Liu. In EMNLP 2015文章提出了一种层次神经网络的结构做篇章级别的情感分析（文本分类）：网首先是词语到句子级别的，利用词向量，通过CNN或者LSTM，对一句话中的词抽取特征，生成句子表示（句向量）；然后是句子到文章级别的，一篇文章有多个句子，把它们看成是一个时间序列。在句向量的基础上，通过双向LSTM生成文本向量;最后，用S

2、oftmax做分类。用LSTM将下一级的信息汇总到上一级有两种方法:(a )中把LSTM最后时刻的输出认为是高一级的表示；(b)中把各个时候的输出求平均的结果认为是高一级的表示;但它们分别存在缺点：以RNN最后一个输出作为Sentence Representation的话，就丢弃了前面输出的信息。以RNN所有输出的平均值作为Sentence Representation的话，就有可能犯平均 主义的错误。不同时刻的重要度可能不同。最理想的方式是加权平均。那么权重如何求？sentencesefitenra encoderword atWntjonwort encoderHierarchical A

3、ttention Networks for Document Classification. Zichao Yangl, DiyiYangl, Chris Dyer and et al. In NAACL-HLT, 2016第二篇论文在第一篇论文的基础上，加上Uw和Us两个变量，可以用于评估当前 这个时刻输出的重要性。然后求出一个归一化的权值。最终实现对不同时刻的加权 不平均。附上论文中的实验结果:MethodsYelp-13 Yelp* 14 Yelp* 15 IMDB Yahoo Answer AmazonZhang, ct aU 2015BoWBoWTFIDFngramsngranix

4、TFIDF58.0*做954.459.97L055356.3及554.354.S6,552.452.560.544.1Tiing et al., 2015 Majomy35.6SVM UnigramK58.9SVM tBigram*57.6SVM TcxlFcatures59.8SVM +AverugeSG543SVM tSSWE53.5Zhanttclul.,2015 LSTM CNN-char CNN word58.27Q859.460.57L257.662.0-7L259.6Paragraph Vector57.759.260534.1-CNN-word59761.061.537.6Com.GRNN63.765.566.(142S-LSTM.GRNN65.167.167.6453laiiK rt al. 2015This piperUN-AVE67.069.369.947.875.262.9HN-MAX8,969.370.1心75.263.9IIN-ATT做270.571.049475.863.6