团队推出AI“讽刺”检测模型

从该表中可以看出，仅使用图像特征的模型并没有很好的表现（72.6%），这说明对于多模态检测任务来说，图像是不能单独处理的。而且基于文本模态的方法(均在80%以上)比基于图像模态的方法具有更好的性能。因此，文本信息比图像信息更能用于讽刺信息的检测。

此外，经过微调的BERT模型比其他基于文本的非预训练模型表现得更好，这也再次验证了研究人员的设想，即像BERT这样的预训练模型可以改进检测任务，它表明视觉+文本模式的模型通常比其他模式能够获得更好的结果，同时，它也说明图像有助于提高检测性能。

值得注意的是，从文本模态内部的模型来看，SIARN（80.5%）和SMSD（80.9%）都考虑了不一致信息，且性能表现优于TextCNN（80%），因此，不一致信息有助于识别讽刺，再次验证研究人员提出的模态间的非一致性检测方法比简单的模态间连接方法更有效。

具体来说，研究人员利用自注意机制（Self-Attention Mechanism）的思想，设计了一种模态间注意力机制以捕获其间的不一致性。图中，预先训练的BERT模型对给定的序列和其中的Hashtags进行编码。ResNet用于获取图像形式。我们运用Intra-modality注意来模拟文本内部的不协调，而Inner-modality来模拟文本和图像之间的不协调。然后将不协调信息进行组合并用于预测。
 

特别之处在于：他们发现了多模态之间的不一致性！

什么叫多模态呢？官方定义是每一种信息的来源或形式，都可以成为一种模态。比如，人有触觉，听觉，视觉，嗅觉，以上都是一种模态。

那么，对于Twitter发帖来说，文字、图片、视频分别代表了三种模态。研究人员发现，现有的多模态讽刺检测方法通常是简单地将多模态特征连接起来，或者以设计的方式融合多模态信息，而忽略了多模态之间和模态内的不一致性。
 

明显的讽刺意味人类可以一眼看穿，但对于AI来说却不是一件容易的事儿。

最新的研究成果在2019年，首次引入多模态检测的AI模型HFM，其准确率能够达到83%。而近日，该项研究取得突破性进展，其准确率提升了2.74%。

这项成果来自中国北京的信息工程研究所和中国科学院联合研究团队，他们研发的新型多模态AI讽刺检测模型，经过Twitter数据集检测准确率可达到86％。

研究人员介绍，他们从2016年开始尝试多模式策略，并将其应用在Tumblr，instagram和Twitter等多个网络数据集中进行测试。

目前这项研究成果代表了AI多模式讽刺检测的最高水准，并且已在计算机语言协会（ACL）、自然语言处理实证方法协会（EMNLP）等多个NLP顶会上发表。

据了解，“多模式检测（MultiModal Detection）”已成为一种主要的『讽刺』检测模式，此前密歇根大学和新加坡大学的研究人员也曾使用语言模型和计算机视觉来检测电视节目中的讽刺，相关研究也发表在了ACL上。
 

一直以“言论自由”著称的Facebook，要确保美国大选期间社交网络中不能出现“虚假的政治言论”。

庞大的社交网络每天有成千上万条帖子被发表，其中哪些有政治风险，哪些无政治风险，如果靠人工逐一审核再删除的话，显然有点不切实际。

这时候，AI就派上用场了。

早在美国大选之前，Facebook AI Research团队就开始利用AI语言模型，识别网络中的虚假信息或仇恨言论，有数据统计，在2020年第一季度，Facebook利用XLM语言模型删除了960万条涉及仇恨言论的帖子。

（编辑：宣城站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!