在添加了类标记之后，我们仍然需要添加位置编码部分。transforms操作在一系列标记上，它们对序列顺序视而不见。为了确保在训练中加入顺序，我们手动添加位置编码。因为我们处理的是大小为 model_dim 的向量，我们不能简单地添加顺序 [0, 1, 2, …]，位置应该是模型固有的，这就是为什么我们使用所谓的位置编码。这个向量可以手动设置或训练。在我们的例子中，我们将简单地训练一个位置嵌入，它只是一个大小为 (1, n_patches+1, model_dim) 的向量。我们将这个向量添加到完整的补丁序列中，以及类标记。如前所述，为了计算模型的输出，我们简单地对嵌入的第一个标记（类标记）应用一个带有 SoftMax 层的 MLP，以获得类别的对数几率。