Transformer与魔乐社区

摘要：Transformer 模型是一种基于自注意力机制的深度学习模型，它最初被提出用于处理自然语言处理 (NLP) 任务，例如机器翻译、文本摘要等。近年来，Transformer 模型也被广泛应用于计算机视觉领域，并在图像分类、目标检测、语义分割等任务中取得了显著

模型介绍

Transformer 模型是一种基于自注意力机制的深度学习模型，它最初被提出用于处理自然语言处理 (NLP) 任务，例如机器翻译、文本摘要等。近年来，Transformer 模型也被广泛应用于计算机视觉领域，并在图像分类、目标检测、语义分割等任务中取得了显著的成果。

若将Transformer模型视为盲盒，在机器翻译任务中，输入一种语言的句子于该盲盒中将得到另一语言的句子。Transformer本质上是一个Encoder-Decoder架构。因此将Transformer拆分成Encoders和Decoders组成的模块。其中编码组件Encoder由多6层编码器组成，解码组件也是如此。

其中编码器由Self-Attention（自注意力层）和FFN（前馈神经网络-全连接层）组成。多个编码器的结构都是相同的，但具有不同的权重。解码器在编码器的基础之上，引入了一个额外的注意力层（encoder-decoder attention）。

注意力机制

注意力机制，即模拟人的注意力，将注意力放在需要关注的信息上，过滤其他无关的外部信息。输入向量q、k、v权重矩阵（可训练的参数矩阵，通过训练得到）

Q向量:你想要获取的目标

K向量:与Q向量进行比较的元素

V向量:与K向量相关且蕴含更深层的信息

自注意力机制可以减少对外部信息的依赖，捕捉数据内部相关性，模型在处理一个词时，查看整个句子/查看词与组成句子的其他词之间的关系。捕捉大规模长距离序列间的相关性，并且不依赖顺序。此外，FFN层的存在要求捕捉各token（基本单元）之间的联系，自注意力机制效果更好。自注意力机制具体流程如下：

先将一句话（序列）拆成多个词（token）。每个词得到对应的词向量（维度给定）（词嵌入算法）。词向量经过qkv权重矩阵得到QKV向量（区别自注意力和注意力）。单个词的q向量与所有其他词的k向量交互处理，经过一系列处理得到该词的自注意力输出向量（编码器的输出），从序列角度则得到自注意力输出矩阵。

多头自注意力机制：单个token得到多个QKV向量（有多个qkv权重矩阵），得到多个自注意力输出向量，多个向量进行拼接，通过权重矩阵处理得到注意力输出矩阵（包含输入序列编码信息的矩阵）。优势在于多角度学习更丰富的特征。

详细流程

1. 输入表示:

将输入序列中的每个元素表示为一个向量，例如使用词嵌入 (Word Embedding) 将文本中的每个词表示为一个向量。将输入向量与位置编码向量相加，得到最终的输入表示。

2. 编码器 (Encoder):

编码器由多个编码器层 (Encoder Layer) 堆叠而成。每个编码器层包含以下两个子层：自注意力机制 (Self-Attention Mechanism): 计算序列中每个元素与其他元素之间的相关性，并赋予不同的权重。前馈神经网络 (Feed-Forward Neural Network): 对每个元素进行非线性变换，从而提取更丰富的特征。编码器层的输出作为下一个编码器层的输入。

3. 解码器 (Decoder):

解码器由多个解码器层 (Decoder Layer) 堆叠而成。每个解码器层包含以下三个子层：自注意力机制 (Self-Attention Mechanism): 计算序列中每个元素与其他元素之间的相关性，并赋予不同的权重。编码器-解码器注意力机制 (Encoder-Decoder Attention Mechanism): 计算解码器层的输入与编码器层的输出之间的相关性，并赋予不同的权重。前馈神经网络 (Feed-Forward Neural Network): 对每个元素进行非线性变换，从而提取更丰富的特征。解码器层的输出作为下一个解码器层的输入。

4. 输出层:

对解码器层的输出进行线性变换和 Softmax 操作，得到最终的输出序列。