校园服装网站建设预算,做房地产网站广告销售,论坛wordpress还是,雅客网站建设星标/置顶小屋#xff0c;带你解锁最萌最前沿的NLP、搜索与推荐技术文 | 小轶背景截至今日#xff0c;Badanau Attention的原文citation已达1.34w之多。2020年几乎所有主流NLP任务都需要借助attetion来实现。在深度学习全民炼丹的时代#xff0c;attention是为数不多具有较强… 星标/置顶小屋带你解锁最萌最前沿的NLP、搜索与推荐技术文 | 小轶背景截至今日Badanau Attention的原文citation已达1.34w之多。2020年几乎所有主流NLP任务都需要借助attetion来实现。在深度学习全民炼丹的时代attention是为数不多具有较强可解释性的机制。在attention提出后的最初几年大家都因其效果显著便不假思索地用于了自己的任务许多paper也理所应当地在实验部分贴上各式各样的attention热图用于解释模型的内部运作方式例如下图。然而attention的可解释性是否确实成立呢?直到最近两年这一问题才开始受到关注。在这背后其实还存在另外一个问题——什么是可解释性? 存在两个层面理解能够解释模型的工作原理即可以从模型的中间结果分析出其最终结果产生原因。一种更高层次的要求是模型具有类似于人的工作的“思维”过程。第1种只要求模型中间结果与最终结果存在某种固定的关联而这里则还要求该关联与人的思维过程中是相似的。确实如果模型的脑回路与我们迥然相异的话我们又凭什么说自己能够解释它呢在attention的可解释性上此前的相关研究还是单从模型本身出发 model-driven也就是只停留在了第1层上。比如去年NAACL上发表的这篇《Attention is not Explanation》他们人为构造了的新attention向量用于替换原始向量发现模型结果完全不变。由此他们否认了attention的可解释性。今天要和大家分享的这篇paper——《Human Attention Maps for Text Classification: Do Humans and Neural Networks Focus on the Same Words?》发表于ACL2020是第一篇从人机比较的角度来讨论attention可解释性的工作。他们先请志愿者在YELP数据集上在做文本分类任务要求志愿者标记出影响其分类结果的重点词句作为人类attentionHAM, human attention map。然后收集不同模型的attentionMAM, machine attention map。并设计了一套评价指标用于分析HAM与MAM之间的差异给出了一些初步的insight。这份工作最大的潜在contribution是这个HAM的数据集已开源YELP-HAT。它开辟了一种可能性基于这个数据集我们或许可以给attention添加一些supervised的控制来提高模型表现。在这方面CV又一次走在了我们的前面。2016年时一个类似的CV方向数据VQA-HAT就已提出了如下图所示。该数据集标记了人类在做看图问答任务时的attention所在。之后有大量工作follow研究如何通过添加supervision使模型能够attend到关键的图片部分。原文链接https://www.aclweb.org/anthology/2020.acl-main.419.pdf数据集链接http://davis.wpi.edu/dsrg/PROJECTS/YELPHAT/index.htmlArxiv访问慢的小伙伴也可以在订阅号后台回复关键词【0817】下载论文PDF~HAM vs MAM这篇paper的思路很好把握收集HAM数据集生成MAM设计HAM和MAM的比较体系比较HAM和MAM得出初步结论。接下来分这四个部分为大家梳理paper内容。收集HAM作者团队请志愿者在YELP数据集上在做文本分类任务要求志愿者标记出影响其分类结果的重点词句作为HAM。每一篇文本都有三名志愿者进行重复标注。在下图中蓝色的是两名志愿者的标注结果红色是模型attention。可以看到与MAM不同人对一个词的attention非0即1的binary。生成MAM作者用三种模型跑了YELP任务用于生成MAM。三种模型分别是RNNBiRNNRationale mechanism用基于规则的方式构造attention向量旨在用supervised的方法模仿人的attention。下图是三个模型和人类在YELP数据集上的表现YELP-50/100/200是YELP数据集的三个子集各子集中的文本平均长度依次递增。HAM与MAM的比较体系作者设计了三个指标从不同维度比较HAM与MAM的异同1. 行为相似度Behavioral SimilarityHAM和MAM两个向量之间的AUC比较了两者在词语选择上的异同。2. 词性相似度Lexical Similarity先计算HAM和MAM所选词汇的词性分布情况词性相似度即为两者之间的相关系数。3. 情感词数量比Context-dependency of Sentimental Polarity这个指标的motivation源于作者发现那些positive类的文本中也会出现negative的词汇反之亦然。进行分类判别时这类文本中positive和negative的词语往往都会被attend到。作者希望比较HAM和MAM所attend到的两类情感词所占比例是否相同。于是就设计了这个指标。比较结果与初步结论下面分别是用三个指标评估HAM和MAM间差距的实验结果由于篇幅限制行为相似度的实验结果只展示了部分。▲行为相似度取值范围0.5~1▲词性相似度▲情感词数量比在原文中这部分的表格和分析的文字占了很大的篇幅。主要结论包括以下三条三种指标上与人类attention相似度最高的都是BiRNN。当文本长度增加时人与模型的attention差异变大。人与模型的attention在词性相似度上差距不大情感词数量比上BiRNN也非常接近人类的表现但从行为相似度评估结果来看人与模型的差异还是比较大的。小结本文从人机比较的角度探讨了attention机制的可解释性。最大的contribution在于提出了YELP-HAT这一人类attention数据集为attention中引入supervision提供可能。个人感觉原文中的实验结论还是比较初步的但不乏继续follow、深入挖掘的价值。文末福利 后台回复关键词【入群】 加入卖萌屋NLP/IR/Rec与求职讨论群有顶会审稿人、大厂研究员、知乎大V和妹纸等你来撩哦~
