基于BERT和层次化Attention的微博情感分析研究

	基于BERT和层次化Attention的微博情感分析研究
	赵宏 2; 傅兆阳 2; 赵凡 1
刊名	计算机工程与应用
	2021
页码	1-8
关键词	深度学习情感分析特征提取词向量注意力机制
英文摘要	微博情感分析旨在挖掘网民对特定事件的观点和看法，是网络舆情监测的重要内容。目前的微博情感分析模型一般使用Word2Vector或GloVe等静态词向量方法，不能很好地解决一词多义问题；另外，使用的单一词语层Attention机制未能充分考虑文本层次结构的重要性，对句间关系捕获不足。针对这些问题，提出一种基于BERT和层次化Attention的模型BERT-HAN(Bidirectional Encoder Representations from Transformers-Hierarchical Attention Networks)。首先，通过BERT生成蕴含上下文语意的动态字向量；然后，通过两层BiGRU分别得到句子表示和篇章表示，在句子表示层引入局部Attention机制捕获每句话中重要的字，在篇章表示层引入全局Attention机制以区分不同句子的重要性；最后，通过Softmax对情感进行分类。实验结果表明，本文提出的BERT-HAN模型能有效提升微博情感分析的Macro F1和Micro F1值，具有较大的实用价值。
URL标识	查看原文
语种	中文
内容类型	期刊论文
源URL	[http://ir.lut.edu.cn/handle/2XXMBERH/149522]
专题	计算机与通信学院
作者单位	1.甘肃省科学技术情报研究所 2.兰州理工大学计算机与通信学院;
推荐引用方式 GB/T 7714	赵宏,傅兆阳,赵凡. 基于BERT和层次化Attention的微博情感分析研究[J]. 计算机工程与应用,2021:1-8.
APA	赵宏,傅兆阳,&赵凡.(2021).基于BERT和层次化Attention的微博情感分析研究.计算机工程与应用,1-8.
MLA	赵宏,et al."基于BERT和层次化Attention的微博情感分析研究".计算机工程与应用 (2021):1-8.