引子:2018年,一篇不起眼的论文
2018年6月,OpenAI发布了一篇论文《Improving Language Understanding by Generative Pre-Training》,提出了一个叫GPT的模型。当时没有任何新闻媒体报道这件事,论文引用量也平平无奇。
六年后,GPT已经改变了世界。回头看这场进化,你会发现一个惊人的规律:每一代GPT的突破,都不是「把所有东西做得更好」,而是在某一个维度上发生了质变。
这一章,我们就来拆解GPT家族的进化树——每一步到底突破了什么。
9.1 GPT-1(2018):证明「预训练」这条路能走通
9.1.1 核心创新
在GPT-1之前,主流做法是为每个任务单独训练一个模型。翻译模型只会翻译,情感分析模型只会分析情感。
GPT-1的核心洞察是:先让AI在海量文本上「无目的阅读」(预训练),再针对具体任务「精调」(微调)。 这就像让一个医学生先通读所有教材,再看专科——比一开始就只看心内科教材的学生,知识结构更完整。
9.1.2 关键数据
| 指标 | GPT-1 |
|---|---|
| 参数 | 1.17亿 |
| 训练数据 | BooksCorpus(约7000本书) |
| 能力 | 文本分类、语义相似度等基础NLP任务 |
|---|---|
| 公众反应 | 基本没人关注 |
9.2 GPT-2(2019):OpenAI不敢发布
9.2.1 为什么「不敢发布」?
GPT-2的参数从1.17亿暴增到15亿,但OpenAI最初拒绝发布完整模型,理由是「太危险,可能被用于大规模生成假新闻」。这在AI史上是从未有过的事——一家公司因为自己的产品太好而不敢发布。
9.2.2 质变在哪里?
GPT-2第一次展示了零样本学习的潜力。不需要针对每个任务做微调,只需要在提示词中说明任务,模型就能直接执行。比如:
输入:「把以下句子翻译成英文:患者有发热和咳嗽。」 GPT-2输出:「The patient has a fever and cough.」
它没被专门训练过翻译,但可以翻译。这就是从「专才」到「通才」的萌芽。
9.2.3 关键数据
| 指标 | GPT-2 |
|---|---|
| 参数 | 15亿 |
| 训练数据 | WebT ext(800万网页) |
| 突破 | 零样本能力、文本生成流畅度质变 |
| 公众反应 | 争议巨大,「AI威胁论」开始升温 |
9.3 GPT-3(2020):规模就是能力
9.3.1 1750亿参数意味着什么?
GPT-3的参数是GPT-2的116倍。OpenAI没有改变底层架构,就是把它做得更大——数据更大、参数更多、训练时间更长。
然后奇迹发生了:GPT-3展示出了GPT-2完全没有的能力,包括:
撰写完整的文章和代码进行简单的数学推理回答专业知识问题模仿特定风格的写作所有这些能力,没有一项是被专门训练的。它们都是「涌现」出来的——当模型规模超过某个阈值,新的能力突然出现。
9.3.2 关键数据
| 指标 | GPT-3 |
|---|---|
| 参数 | 1750亿 |
| 训练数据 | CommonCrawl + 书籍 + 维基百科(约570GB文本) |
| 训练成本(估计) | 约460万美元 |
| 突破 | 涌现能力、Few-shot Learning |
| 公众反应 | AI圈震动,但普通公众仍然不了解 |
9.4 ChatGPT(2022.11):引爆全球的那一夜
9.4.1 ChatGPT和GPT-3.5到底是什么关系?
很多人分不清——简单说:
GPT-3.5:底层大模型,在GPT-3基础上加了RLHF(基于人类反馈的强化学习)
ChatGPT:基于GPT-3.5的对话型产品技术上的核心突破只有三个字:对齐(Alignment)。
GPT-3虽然知道很多知识,但它「不会好好说话」。你问它「发烧怎么办」,它可能给你一篇学术论文摘要,也可能给你一段小说。RLHF让AI学会了:
理解用户真正想问什么用人类习惯的方式回答拒绝回答有害或危险的问题
9.4.2 为什么是ChatGPT引爆了?
2022年11月30日ChatGPT上线,5天100万用户,2个月1亿用户——人类历史上增长最快的消费产品。
为什么?三个原因叠加:
原因 说明对话界面 不需要编程、不需要API,打字就能用通用能力 不是某个领域的工具,是什么都能聊的「通用AI」
免费 零门槛,任何人只要有网络就能用
9.5 GPT-4(2023.3):质变的开始
9.5.1 不再是「更大的GPT-3」
GPT-4的变化是结构性的。最核心的三点:
第一,多模态。GPT-4能「看」图片了。你可以把一张胸部X光片上传,问它「有没有异常」,它能给出观察描述(虽然未经医学验证,但原则上可以理解图像)。
第二,推理能力质变。GPT-4在美国医师执照考试(USMLE)中得分超过90%的考生。GPT-3.5还在及格线挣扎,GPT-4已经是顶尖水平。
USMLE 成绩对比:
- GPT-3.5:约60分位(刚过及格线)
- GPT-4:约90分位
(超越大多数人类考生) - Med-PaLM 2(Google):约86.5%(专为医学优化的模型)
第三,指令遵循。GPT-4能处理复杂、多步的指令,出错率大幅降低。
9.5.2 GPT-4o(2024.5):更快、更便宜、更多模态
GPT-4o(o=omni,全能)是多模态的全面进化:文字、图像、音频统一处理。最关键的变化是速度提升和成本下降——GPT-4o的价格仅为GPT-4的约1/2,速度却快了2倍。
9.5.3 关键数据对比
| 指标 | GPT-3.5 | GPT-4 | GPT-4o |
|---|---|---|---|
| 参数(估计) | 1750亿 | ~1.8万亿 | 未披露 |
| 上下文窗口 | 4K→16K | 8K→128K | 128K |
| 多模态 | 纯文本 | 文本+图像 | 文本+图像+音频 |
| USMLE | ~60分位 | ~90分位 | ~90分位 |
| 价格(每百万T oken) | $0.5输入 | $30输入 | $2.5输入 |
9.6 GPT进化的四条主线
回顾从2018到2024的六年,GPT的进化可以归纳为四条线:
进化维度 GPT-1→GPT-2 GPT-2→GPT-3 GPT-3→GPT-4规模 1.17亿→15亿 15亿→1750亿 1750亿→~1.8万亿数据 7千本书→800万网页→570GB全网文本 未披露(含多模态)
对齐 无 无 RLHF(GPT-3.5起)
模态 文本 文本 文本+图像+音频四条线背后是一个核心规律:每一代GPT都把上一代的「天花板」变成新征程的「地板」。GPT-3的惊艳能力在GPT-4看来只是基本操作。
9.7 对医生的启示
启示一:不要等「下一代」
GPT-3.5→GPT-4的跃迁让很多人养成了一个习惯——「等GPT-5出来再说」。这是错误的。GPT-4的能力已经远超大多数医生的「AI使用水平」。你不会因为「更好的教科书还没出版」而不读当前最好的教科书。
启示二:能力跳跃不是线性的
GPT-2到GPT-3是「涌现」,GPT-3到GPT-4是「推理质变」。AI的进化不是匀速的,下一次跳跃可能在推理深度,也可能在自主行动能力(Agent)。关注能力跃迁的类型,而不是参数数字的增长。
启示三:对齐比能力更重要
GPT-4超过GPT-3的,不光是「知道更多」,更重要的是「说人话的能力」。这对医生使用AI有直接启示:AI的输出质量不仅取决于模型有多「聪明」,也取决于你会不会「提问」(详见第59章Prompt工程实战)。
9.8 本章小结
| 时间 | 产品 | 一句话 | 对医生的意义 |
|---|---|---|---|
| 2018 | GPT-1 | 证明预训练能走通 | 技术起点,与临床无关 |
| 2019 | GPT-2 | 通才能力的萌芽 | 「不敢发布」的头条新闻 |
| 2020 | GPT-3 | 规模就是能力 | 涌现能力的开端 |
| 2022.11 | ChatGPT | 对话革命 | 每个医生都能用了 |
| 2023.3 | GPT-4 | 推理质变 | USMLE超90%考生 |
| 2024.5 | GPT-4o | 多模态+降价 | 价格/速度大幅优化 |
9.9 延伸思考
你在临床中用过哪一代GPT?从GPT-3.5到GPT-4,你感受到的变化是什么?
如果GPT-4在USMLE中超过90%的考生,你会让AI参与你的诊断决策吗?为什么?
从「参数越大越好」到「对齐才是关键」,这个理念变化对你使用AI的方式有什么影响?
本章初稿,待浩哥审阅。