Transformer 架构入门:注意力机制是怎么工作的
果子发表于:2026-10-03 15:00:51浏览:36次
一、Transformer 是什么
Transformer 是 2017 年 Google 提出的一种神经网络架构,论文标题是《Attention Is All You Need》。如今几乎所有大语言模型(GPT、LLaMA、Qwen、DeepSeek 等)都基于它。它最大的贡献是引入了「自注意力机制」。
二、先理解「上下文相关」
传统方法处理文字时,词与词是相对独立的。但语言里同一个词在不同句子中含义不同:
- 「苹果很好吃」——苹果是水果。
- 「苹果发布了新手机」——苹果是公司。
模型需要根据上下文动态调整每个词的含义,这正是注意力机制做的事。
三、自注意力:一个查询的类比
可以把自注意力理解为:每个词向句子里的其他词「提问」,并给相关词分配不同的「关注度」。
实现上,每个词会被投影成三个向量:
- Query(查询):我想找什么信息;
- Key(键):我身上有什么信息;
- Value(值):我实际携带的内容。
用 Query 和所有 Key 计算相似度,得到权重,再对 Value 加权求和,就得到这个词「融合了上下文」的新表示。
四、多头注意力与位置编码
- 多头(Multi-Head):并行多组 Query/Key/Value,让模型从多个角度(语法、语义、指代等)同时理解。
- 位置编码:注意力本身不关心顺序,需额外加入位置信息,让模型知道词序。
五、为什么它这么强
自注意力让任意两个词都能「直接对话」,无论相隔多远;同时非常适合 GPU 并行计算。这两点让模型能在大规模数据上高效训练,是「大力出奇迹」的工程基础。
六、小结
Transformer = 自注意力 + 前馈网络 + 位置编码堆叠而成。你不需要手写它,但理解「注意力让词义随上下文变化」,是读懂大模型行为的关键。
栏目分类全部>

