Transformer 是一种基于自注意力机制的深度神经网络模型，常用于处理序列到序列的转换任务。它由 Google Research 团队在 2017 年的论文《Attention Is All You Need》中提出，并在机器翻译等领域取得了显著的成果。
特点
- 自注意力机制：Transformer 使用自注意力机制来处理序列中的依赖关系，从而更好地捕捉序列中的信息。
- 位置编码：为了使模型能够理解序列中的位置信息，Transformer 引入了位置编码。
- 无循环结构：与传统的循环神经网络相比，Transformer 使用了注意力机制，无需循环结构，因此可以并行计算，效率更高。
应用
- 机器翻译：Transformer 在机器翻译任务中取得了显著的成果，是当前主流的机器翻译模型。
- 文本摘要：Transformer 可以用于生成文本摘要，提取关键信息。
- 问答系统：Transformer 可以用于问答系统，根据问题生成回答。
相关资源
Transformer 结构图