Attention注意力机制介绍

~ Attention机制通俗的讲就是把注意力集中放在重要的点上，而忽略其他不重要的因素。其中重要程度的判断取决于应用场景，拿个现实生活中的例子，比如1000个人眼中有1000个哈姆雷特。根据应用场景的不同，Attention分为空间注意力和时间注意力，前者用于图像处理，后者用于自然语言处理。本文主要介绍Attention机制在Seq2seq中的应用。

我们知道在Seq2seq模型中，原始编解码模型的encode过程会生成一个中间向量C，用于保存原序列的语义信息。但是这个向量长度是固定的，当输入原序列的长度比较长时，向量C无法保存全部的语义信息，上下文语义信息受到了限制，这也限制了模型的理解能力。所以使用Attention机制来打破这种原始编解码模型对固定向量的限制。

Attention的原理就是计算当前输入序列与输出向量的匹配程度，匹配度高也就是注意力集中点其相对的得分越高。其中Attention计算得到的匹配度权重，只限于当前序列对，不是像网络模型权重这样的整体权重。

1）encode对输入序列编码得到最后一个时间步的状态c，和每个时间步的输出h，其中c又作为decode的初始状态z0。

2）对于每个时间步的输出h与z0做匹配也就是match操作，得到每个时间步的匹配向量α01，如图1。

3）对所有时间步的输出h与z0的匹配度α0，使用softmax做归一化处理，得到各个时间步对于z0的匹配分数。

4）求各个时间步的输出h与匹配分数的加权求和得到c0，作为decode的下一个时间步的输入，如图2。

5）计算各个时间步的输出h与z1的匹配度得到c1作为decode下一个时间步的输入，如此一步一步重复下去，如图3。

这样就可以把每个时间步重要的信息传给decode中，以上就是Attention机制的处理过程。其中match操作一般是求两个向量的相似度，通常有如下方法：
1）余弦相似度
2）一个简单的 神经网络，输入为hh和ww，输出为α
3）或者矩阵变换α=hTWzα=hTWz (Multiplicative attention，Luong et al., 2015) 

在tensorflow1.0版本以后的api seq2seq库中，包含了两种Attention算法，他们的区别就是match操作的不同，因此也有人称他们为加法Attention和乘法Attention，具体内容下：

1）BahdanauAttention：论文 https://arxiv.org/abs/1409.0473 中的实现：

2）LuongAttention：论文 https://arxiv.org/abs/1508.04025 中的实现 ：

由于图片来自不同地方，所以符号有些不同，图4和图5中的h是上文所说的每个时间步的输出向量，d是decode中每个时间步的状态，也就是上文中的z，c是match后计算的权值加和后的向量用于decode中每个时间步的输入，a就是match操作中经过softmax后的匹配权重，v是一个向量，相当于w一样的权重需要去学习。有上面两个公式可以看出，BahdanauAttention和LuongAttention的区别就是在match过程中的计算方式不同，一个是将decode的状态与encode的输出求和，一个是求乘，所以才有了加法Attention和乘法Attention的叫法。

------------------------------------------------------------------更新---------------------------------------------------------------------

最近一段时间的学习,发现Attention的各种形式与用法,但是归根结底,都是同一种形式---Google的一般化Attention.

其中Q是query,K和V是一一对应的,相当于Key-Value的关系.一般情况下都会说求谁对谁的Attention,比如上面提到的Seq2seq中,decoder的隐状态z对encoder输出h的attention,那么隐状态z就相当于该式中的query,encoder的输出h就是key和value(这里key和value相等,也有不等的情况).所以如果说A对B的attention,那么A就是query,B就是key-value(key-value怎么分配看实际情况).这样,上文提到的内容就可以很容易的代入到一般会Attention中.先用query(decoder隐藏状态z)和key(encoder输出h)做点乘然后归一化,使用softmax计算权重得分,再与value(encoder输出h)相乘得到最后的向量.(attention的机制像极了key-value记忆网络的原理, 或者更准确的说是key-value记忆网络像极了attention的机制,使用query与key做匹配运算,求得相关度得分,然后使用该得分与value运算,得到最后的向量).

特别注意的是,如果Q,K,V的值都是一个的话,那么就称为Self Attention.

参考：

台大李宏毅课程

---

理塘县13833052326： attention机制什么时候被提出 - ？
伏朱欣康： 2015年Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio发表的论文《Neural Machine Translation by Jointly Learning to Align and Translate》中首次提出Attention机制.

理塘县13833052326： 什么是注意?举例说明,注意的品质! - ？
伏朱欣康： 注意 : zhù yì [编辑本段]一、注意的概念注意,通常是指选择性注意,即注意是有选择的加工某些刺激而忽视其他刺激的倾向.它是人的感觉(视觉、听觉、味觉等)和知觉(意识、思维等)同时对一定对象的选择指向和集中(对其他因素的...

理塘县13833052326： 哪些因素会影响消费者的注意attention? - ？
伏朱欣康： 吸引因素 据调查,在人员推销现场有近80%的人在看了一眼推销人员或听了一句推销人员的谈话后,就不再理会.即使是继续听或看,其注意力的集中程度将大大下降.由此说明第一印象是非常重要的.通常情况下,人们只会把注意放在与本人...

理塘县13833052326： 什么是儿童注意力缺陷多动症?？
伏朱欣康： 南京新世纪中医院中医儿科 专家介绍注愈力缺陷多动症( attention一deficit hyperactivity disorder,ADHD)是以与年龄不相称的多动、注惫力不集中、任性、易冲动为主要特征的行为障碍.其钾力基本正常,但有学习困难、运动功能不协调及心理异常.

理塘县13833052326： attention和pay attention to的区别 - ？
伏朱欣康： attention和pay attention to的区别:意思不同、用法不同、侧重点不同 一、意思不同 1.attention意思: 注意;注意力;照料;留心;关怀;(口令)立正 2.pay attention to意思:注意; 留意 二、用法不同 1.attention用法:表示“注意”时,是...

理塘县13833052326： ATTENTION是什么意思 - ？
伏朱欣康： ATTENTION的意思是:注意力;注目;注意事项ATTENTION 读法 英 [ə'tenʃ(ə)n] 美 [ə'tɛnʃən] 短语: 1、immediate attention 注视;及时关注 2、pay no attention to 不注意,不在意 3、matters need attention 注意事项 4、call attention ...

理塘县13833052326： 注意力集中地和注意力集中的怎么说 - ？
伏朱欣康： '注意力集中地'是副词:attentively'注意力集中的'是形容词:attentive名词形式:attention

理塘县13833052326： 吸引某人的注意用英语怎么说 - ？
伏朱欣康： 吸引某人的注意的英文:Attract sb's attention attention 读法 英 [ə'tenʃ(ə)n] 美 [ə'tɛnʃən]作名词的意思是:注意力;关心;立正!(口令) 短语 1、voluntary attention 有意注意 ; 随意注意 ; 自愿性注意 ; 非有意的注意 2、attention ...

理塘县13833052326： attention什么意思？
伏朱欣康：n. 注意,注意力; 照料,关怀; 殷勤; int. [口令] 立正;

理塘县13833052326： Attention？
伏朱欣康： 注意,名称