多注意力机制与递归神经网络的非线性组合，加权记忆机制。
Abstract
多注意机制来捕获距离较远的情绪特征，multiple attentions 的结果与RNN的非线性结合，在处理更多的并发时增强了模型的表达能力。
加权记忆机制不仅可以避免劳动密集型的特征工程工作, 而且还为句子的不同观点目标提供了量身定做的记忆。
Introduction
“方面情绪分析” 的目标是识别评论/评论中表达的特定意见目标的情绪极性 (即消极、中性或积极)。
为了确定独立的意见目标的情绪, 一项关键任务是在其原始句子中为目标建立适当的上下文特征。
本文提出了在目标情绪分析中解决上述问题的新框架。具体来说, 我们的框架首先采用双向 LSTM (BLSTM) 从输入来产生memory (即由 LSTM 生成的时间步骤的状态), 因为双向递归神经网络 (RNNs) 在机器中被发现类似目的是有效的(Bahdanau et al., 2014). 。然后将memory 切片按其相对位置加权到目标, 使同一句子中的不同目标有自己的量身定做的memory 。在此之后, 我们对位置加权memory 进行了多重attention , 并将注意力结果用recurrent network (i.e. GRUs ) 进行了非线性的结合。最后, 对 GRU 网络的输出进行了 softmax, 以预测目标的情绪。
引入了一种新的应用多重注意机制的方法来合成难句结构中的重要特征。 这有点类似于一个人的认知过程, 在开始的时候可能首先注意到重要信息的一部分, 然后在阅读时注意到更多, 最后将信息从多重关注中结合起来得出结论。模型将多重关注的结果与 GRU 网络相结合, 它从 RNNs 中继承了不同的行为, 如遗忘、维护和非线性变换, 从而使预测精度更高。
Experiments
第一个评价指标是Accuracy , 用于(Tang et al., 2016) 。因为数据集的类不平衡，因此也报告了宏平均的 F-measure。
Conclusions and Future Work
本文提出了一种确定舆论目标情绪的框架。模型首先通过输入来生成内存, 在这个过程中, 它可以合成单词序列特征。然后, 通过将不同关注的特征与非线性相结合, 对记忆中的重要信息进行多项关注, 以预测最终情绪。
虽然多注意机制有可能综合复杂句子中的特征, 但强制模型对内存的固定数的注意是不自然的, 甚至有些情况下是不合理的。因此, 如果无法从内存中读取更多有用的信息, 我们需要一个机制来自动停止注意过程。我们也可以尝试其他内存加权策略, 以区分多个目标在一个评论更清楚
发布时间： 2019-12-16
最后更新： 2019-12-16
本文链接： https://juoyo.github.io/posts/7095c69b.html
版权声明： 本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。转载请注明出处！
