Vision Transformer (ViT) 是一种基于 Transformer 的图像识别模型，它将图像分解为一系列的 patch，然后将这些 patch 作为序列输入到 Transformer 模型中。ViT 的出现打破了传统的卷积神经网络 (CNN) 在图像识别领域的统治地位，为图像识别领域带来了新的思路。
ViT 的工作原理
- 图像分割：首先将图像分割成多个 patch，每个 patch 是一个固定大小的图像块。
- 嵌入表示：将每个 patch 转换为一个嵌入向量，这个嵌入向量包含了 patch 的信息。
- Transformer 编码器：将嵌入向量作为序列输入到 Transformer 编码器中，通过自注意力机制和前馈神经网络学习 patch 之间的相互关系。
- 分类头：将 Transformer 编码器的输出经过分类头，得到最终的分类结果。
ViT 的优势
- 无需预训练：ViT 可以直接在图像数据集上训练，无需进行预训练。
- 参数高效：ViT 的参数数量比 CNN 少，因此在计算资源有限的情况下也能取得很好的效果。
- 易于扩展：ViT 可以通过增加 patch 的大小或增加 Transformer 编码器的层数来提高模型的性能。
相关资源
想要了解更多关于 Vision Transformer 的信息，可以参考以下资源：
图片展示
Vision Transformer 架构图