一、GPT的核心是Transformer

GPT（Generative Pre-trained Transformer） 是一种基于单向Transformer解码器的预训练语言模型，它通过在大规模语料库上的无监督学习来捕捉语言的统计规律，从而具备强大的文本生成能力。

在GPT（Generative Pre-trained Transformer）模型中，字母G、P、T各自有其特定的含义：

GPT的核心是Transformer

Transformer模型在多模态数据处理中同样扮演着重要角色 ，其能够高效、准确地处理包含不同类型（如图像、文本、音频、视频等）的多模态数据。

Transformer的多模态

二、Transformer的工作原理

Transformer工作原理四部曲： Embedding（向量化）、Attention（注意力机制）、MLPs（多层感知机）和Unembedding（模型输出）。

Embedding -> Attention -> MLPs -> Unembedding

阶段一：Embedding（向量化）

“Embedding”在字面上的翻译是“嵌入”，但在机器学习和自然语言处理的上下文中，我们更倾向于将其理解为一种“向量化”或“向量表示”的技术。

（1）Tokenization（词元化）：

Tokenization

（2）Embedding（向量化）：

Tokens转换为向量

向量语义相似度

阶段二：Attention（注意力机制）

Attention模块帮助嵌入向量形成相关性，即确定它们如何相互关联以构建出有意义的句子或段落。

注意力计算公式

（1）Attention的目的：

更新嵌入向量

建立语义相关性

（2）Attention的工作流程（注意力计算Q、K、V）：

注意力计算Q、K、V

阶段三：MLPs（多层感知机或前馈网络）

Transformer的编码器和解码器中的每一层都包含一个全连接的前馈神经网络。FFNN通常包含两个线性变换，中间使用ReLU激活函数进行非线性处理。

（1）MLPs在Transformer中的

MLPs在Transformer中的位置

（2）MLPs在Transformer中的作用：

MLPs在Transformer中的作用

阶段四：Unembedding（模型输出）

Transformers通过Softmax在生成输出时， 将原始注意力分数转换为输入标记的概率分布。这种概率分布将较高的注意力权重分配给更相关的标记，并将较低的权重分配给不太相关的标记。

（1）Softmax在Transformer的

Softmax在Transformer的位置

（2）Softmax在Transformer的作用：

Softmax在Transformer中的作用

原文链接：​ ​​ ​