Transformer革命：一篇论文改变世界

引子：Google的八个人

2017年6月，Google的八位研究人员发表了一篇论文，标题是《Attention Is All You Need》（注意力就是你所需要的一切）。他们提出了一个全新的神经网络架构，取名Transformer。

当时没有人预料到：这八个作者后来全部离开了Google，有的创办了Character.AI，有的创办了Cohere，有的加入了OpenAI。而他们提出的Transformer架构，成为了ChatGPT、GPT-4、Claude、Gemini、DeepSeek——你今天使用的每一个大语言模型——的底层基础。

5.1 在Transformer之前：RNN的困境

RNN怎么做阅读？

RNN（循环神经网络）读句子像人读盲文——一个接一个，顺序处理：

读「患」→ 理解「患」→ 读「者」→ 结合「患者」→ 读「发」→ 结合「患者发」→ ……

问题：

• 速度极慢：必须读完第1个字才能读第2个字，无法并行
• 记忆衰退：读到句

尾时，已经忘了句首说了什么 - 长文本灾难：处理一份3000字的病历，RNN基本上等于失忆LSTM试图解决但不够LSTM（长短期记忆网络）加了一个「遗忘门」机制，让网络可以选择性记住重要信息。这改善了RNN的记忆问题，但本质仍是顺序处理，速度问题无法解决。

5.2 Transformer的颠覆：注意力机制

5.2.1 什么是「注意力」？

想象你在急诊室同时面对五个病人：

你用0.5秒扫过所有人——这是「全局感知」

然后你的注意力集中到3床那位捂着胸口、面色苍白的老人——这是「注意力集中」

你暂时忽略1床那个轻微擦伤的年轻人——这是「注意力过滤」

Transformer做的事情一模一样。

对于一个句子「患者主诉持续性头痛3天」：

传统RNN：一个字一个字读，顺序处理Transformer：所有字同时被看到，但「头痛」这两个字会对「持续性」和「3天」分配更多注意力

5.2.2 Self-Attention（自注意力）

Transformer的核心机制叫Self-Attention。对于「患者发热3天伴咳嗽」这个句子：

发热 ← 关注 → 患者（谁在发热？）

发热 ← 关注 → 3天（发热多久？）

发热 ← 关注 → 咳嗽（伴随症状？）

每个词会和句子中的每一个其他词建立注意力连接。这种全连接让模型理解了「发热」和「咳嗽」之间的关系——它们是同一个患者的伴随症状——而不只是两个孤立的词。

5.2.3 Multi-Head Attention（多头注意力）

Transformer不止一组注意力，而是多组并行——就像每个字同时从多个角度被审视：

头1：关注语法关系（谁→主语，发热→谓语）

头2：关注时间关系（发热→3天）

头3：关注医学关系（发热+咳嗽→可能的上呼吸道感染）

头4-12：关注人类难以描述的复杂语义模式

5.3 为什么Transformer改变了世界？

三大优势优势 解释 后果并行处理 所有T oken同时处理，不需要顺序训练速度快了成百上千倍长距离依赖任何两个T oken之间路径长度恒为O(1) 阅读长文本不会「失忆」

可扩展性 架构简单，堆更多层+更多参数即可优势 解释 后果从GPT-1到GPT-4本质是同一个架构放大一个数据说明一切模型（RNN时代） 模型（Transformer时代） 差距训练Transformer之前最大的NLP模型参数约3亿 GPT-3：1750亿 ~580倍训练一个RNN赶上GPT-3效果需要的时间Transformer实际训练时间约2000倍Transformer让「做大模型」从不可能变成可能。

5.4 Transformer之后：从BERT到GPT的分叉

Transformer出现后，演化出两个方向：

BERT路线 GPT路线全称 Bidirectional Encoder Representations

from Transformers

Generative Pre-trained Transformer设计理念 双向理解（填空） 单向生成（续写）

训练方式 遮住一些词，让模型猜 给定上文，预测下一个词擅长 理解任务（分类、提取、问答） 生成任务（写作、对话、翻译）

BERT路线 GPT路线代表 BERT、RoBERT a GPT全系列医学

力。但2022年ChatGPT爆发后，GPT路线（自回归生成）成为绝对主流。原因很简单：能生成文字的模型，靠着足够大的规模，也学会了「理解」文字。

5.5 从Transformer到ChatGPT

Transformer架构（2017，Google论文）
→ GPT-1（2018，OpenAI实现：单向生成版本）
→ 缩放：更多层、更多参数、更多数据
→ GPT-2（2019）→ GPT-3（2020）
→ RLHF（人类反馈强化学习）
→ ChatGPT（2022）→ GPT-4（2023）

每一步都是在上一步的基础上做一件事：让它更大、让它更懂人话。

5.6 本章小结

本章初稿，待浩哥审阅。