基于多头注意力卷积Transformer的假新闻检测

摘要

随着通信技术和社交媒体的迅速发展,假新闻的广泛传播已经成为一个严重的问题,对国家和社会造成了巨大的损失。因此,检测假新闻已经成为备受关注的研究领域。虽然卷积神经网络(CNN)在局部特征提取方面效果出色,但其对顺序依赖和长距离依赖的处理能力较弱。因此,本文提出了一种注意力卷积Transformer模型,结合了Transformer架构和CNN提取局部特征的优点,并实现高效的假新闻检测。本文引入了一种新的注意力机制——多头注意力卷积机制,通过卷积过滤器将复杂的词空间转换为信息更丰富的卷积过滤器空间,从而捕捉重要的n-gram信息。该模型不仅能够捕捉局部和全局的依赖关系,还能保留词语之间的序列关系。实验结果在两个真实数据集上表明,多头注意力卷积Transformer在假新闻检测任务中的准确率、召回率和F1值明显高于TextCNN、BiGRU和传统的Transformer模型。