针对以往研究大多使用单一模型进行文本情感分析,导致无法很好地捕捉相关文本的情感特征,从而造成情感分析效果不理想的问题,提出了一种基于多头自注意力和并行混合模型的文本情感分析方法。利用Word2vec模型捕捉单词的语义特征,训练词向量;其次,借助双层多头自注意力机制(DLMA)学习文本内部的词依赖关系,捕获其内部结构特征;再次,使用并行的双向门限循环神经网络(BiGRU)获取文本的序列特征;借助改进的并行卷积神经网络(CNN)提取深层次特征信息。
为了进一步了解基于卷积神经网络和注意力模型的文本情感分析,可以参考这篇论文研究,该文详细探讨了卷积神经网络在情感分析中的应用。而对于更复杂的文本分类任务,建议阅读关于多头注意力胶囊网络的研究,这将为理解多头自注意力机制的优势提供更多的背景。
研究显示该模型分别在两个数据集上的准确率达到了92.71%和91.08%,这一结果显著优于其他单一模型方法,充分体现了该方法的卓越学习能力。对于对多头自注意力和混合模型感兴趣的读者,还可以参考基于注意力机制的混合神经网络模型的文本分类研究,这篇论文提供了更多关于混合模型如何提升分类性能的实例分析。
暂无评论