Test: Attention Is All You Need

核心创新点#

1. 纯注意力机制

   • 完全抛弃了循环和卷积结构
   • 通过自注意力机制实现并行计算
   • 显著提高了训练效率

2. 多头注意力

   • 允许模型关注不同的表示子空间
   • 增强了模型的表达能力
   • 提供了更丰富的特征提取能力

关键架构设计#

Encoder-Decoder 结构#

graph TD
    A[Input Embedding] --> B[Encoder Stack]
    B --> C[Decoder Stack]
    C --> D[Output Probabilities]
    
    subgraph "Encoder Block"
    E[Self-Attention]
    F[Feed Forward]
    end
    
    subgraph "Decoder Block"
    G[Masked Self-Attention]
    H[Encoder-Decoder Attention]
    I[Feed Forward]
    end

位置编码#

位置编码使用正弦和余弦函数：

$$PE_{(pos,2i)} = sin(pos/10000^{2i/d_{model}})$$ $$PE_{(pos,2i+1)} = cos(pos/10000^{2i/d_{model}})$$

实验结果#

模型	BLEU 分数	训练时间
Transformer (base)	27.3	12 小时
Transformer (big)	28.4	3.5 天
ConvS2S	26.4	N/A
GNMT + RL	26.3	N/A

个人思考#

1. Transformer 架构的优势：

   • 并行计算能力强
   • 可以捕获长距离依赖
   • 模型可解释性较好

2. 潜在局限：

   • 计算复杂度随序列长度呈平方增长
   • 位置编码方案可能不够优雅
   • 在某些特定任务上可能不如专门设计的模型

影响与启发#

这篇论文开创了 NLP 领域的新范式，影响深远：

• GPT 系列模型都基于 Transformer 架构
• BERT 等双向编码模型的基础
• 启发了 ViT 等计算机视觉模型

参考资源#

1. 论文原文 ↗
2. The Annotated Transformer ↗
3. Transformer 可视化 ↗