Transformer 架构入门：注意力机制是怎么工作的

一、Transformer 是什么

Transformer 是 2017 年 Google 提出的一种神经网络架构，论文标题是《Attention Is All You Need》。如今几乎所有大语言模型（GPT、LLaMA、Qwen、DeepSeek 等）都基于它。它最大的贡献是引入了「自注意力机制」。

二、先理解「上下文相关」

传统方法处理文字时，词与词是相对独立的。但语言里同一个词在不同句子中含义不同：

• 「苹果很好吃」——苹果是水果。
• 「苹果发布了新手机」——苹果是公司。

模型需要根据上下文动态调整每个词的含义，这正是注意力机制做的事。

三、自注意力：一个查询的类比

可以把自注意力理解为：每个词向句子里的其他词「提问」，并给相关词分配不同的「关注度」。

实现上，每个词会被投影成三个向量：

• Query（查询）：我想找什么信息；
• Key（键）：我身上有什么信息；
• Value（值）：我实际携带的内容。

用 Query 和所有 Key 计算相似度，得到权重，再对 Value 加权求和，就得到这个词「融合了上下文」的新表示。

四、多头注意力与位置编码

• 多头（Multi-Head）：并行多组 Query/Key/Value，让模型从多个角度（语法、语义、指代等）同时理解。
• 位置编码：注意力本身不关心顺序，需额外加入位置信息，让模型知道词序。

五、为什么它这么强

自注意力让任意两个词都能「直接对话」，无论相隔多远；同时非常适合 GPU 并行计算。这两点让模型能在大规模数据上高效训练，是「大力出奇迹」的工程基础。

六、小结

Transformer = 自注意力 + 前馈网络 + 位置编码堆叠而成。你不需要手写它，但理解「注意力让词义随上下文变化」，是读懂大模型行为的关键。