8

大语言模型解剖:打开AI的黑箱

限时免费阅读中 · 已开放完整章节
写作状态:初稿字数:约4800字日期:2026-07-10

引子:「1750亿参数」到底是什么概念?

你一定在新闻里看过这类标题:「GPT-4的参数规模达到1.8万亿」「DeepSeek-V3拥有6710亿参数」。数字一次比一次大,但你心里可能在想:参数到底是什么?是越多越好吗?1.8万亿个什么东西?

如果你把大语言模型想象成一个人的大脑,那么:

人的大脑 大语言模型神经元数量(约860亿) 参数数量(十亿到万亿级)

突触连接强度 参数的值(权重)

学习 = 突触重塑 训练 = 调整参数值思考时多个脑区协作 推理时多层网络协同这章我们就来做一件事:用医生能听懂的语言,把大语言模型拆开来看——不是真拆代码,而是拆概念。

8.1 参数:模型的「脑细胞」

8.1.1 参数是什么?

先说一个残酷的事实:AI的参数和人类的神经元完全没有关系。 那只是一个比喻——但比喻很有用。

实际上,参数是一个数字。更准确地说,大语言模型本质上是一个巨大的数学函数:

输出 = f(输入, 参数₁, 参数₂, 参数₃, ..., 参数_N亿)

每一个「参数」是这个函数中的一个可调节的系数。就像一道非常复杂的菜谱:盐放多少(参数₁)、火候多大(参数₂)、煮多久(参数₃)……参数越多,菜谱能表达的烹饪复杂度越高。

训练大模型的过程,就是不断调整这N亿个参数的值,让模型的「输出」越来越接近「正确答案」。

看过一万个病例后,参数被调整到合理区间——胸痛→先排除心梗和主动脉夹层。

训练=经验积累,参数=被经验塑形的「认知权重」。

8.1.2 参数越多越好吗?

不完全是。这里有三个维度:

维度说明类比
参数规模脑容量有多大大医院vs社区诊所的诊疗范围
数据质量用什么材料训练的用教材学vs用江湖偏方学
训练方法怎么训练的系统规培vs野路子自学

一个500亿参数的模型,如果训练数据全是虚假信息,不如一个70亿参数的模型用高质量医学文献训练。但同等条件下,参数越多,模型的上限确实越高。 这解释了为什么GPT-3.5到GPT-4的跃迁如此显著——参数从1750亿跃升到约1.8万亿。

给医生的实用建议:不要迷恋参数数字。70B的Llama-3在某些医学任务上可能与GPT-4持平。关注基准测试(Benchmark)而非参数规模。

8.2 层数:思考的「深度」

8.2.1 什么是神经网络的「层」?

如果把模型想象成一条流水线,每一层就是流水线上的一个加工站。文字从输入端进来,经过第一层加工(提取基础特征),第二层加工(组合成更高层的语义),第三层、第四层……一直到最后输出。

GPT-3有96层。这意味着你输入的每一个字,在生成回答之前,都要经过96道加工工序。

8.2.2 层数决定了什么?

任务复杂度 需要的层数 例子简单分类 少量层即可 「这段文字是正面还是负面情绪?」

语义理解 中等层数 「这段话的核心观点是什么?」

逻辑推理 需要深层 「如果A导致B,B导致C,那么A是否导致C?」

多步专业推理 极深 「根据以下病史和检查结果,给出鉴别诊断并排序」

8.2.3 从医师成长看「深度」

规培第一年:能识别典型症状(浅层) 主治医生:能分辨不典型表现(中层) 主任医师:能综合病史+查体+辅查,做系统鉴别(深层)

AI的「层数」类似于医生的「认知层次」——不是多知道几个知识点,而是能把知识组织得更深、更系统。

8.3 上下文窗口:AI的「短期记忆」

8.3.1 窗口是什么?

第7章我们提到T oken是AI阅读的最小单位。上下文窗口(Context Window)就是AI一次最多能「看见」多少Token。

这个概念对医生的实际使用极其关键。我们还是用换算法来直观感受:

窗口大小 中文容纳量≈ 相当于 代表模型4K 3千字 一篇病历摘要 GPT-3.5早期8K 6千字 2份完整住院病历 GPT-3.5 T urbo 32K:

  1. 5万字 一篇硕士论文 GPT-4早期128K 10万字 一本薄书 GPT-4 T urbo 200K 16万字 《实用内科学》一个大章节 Claude
  2. 5窗口大小 中文容纳量≈ 相当于 代表模型1M 80万字 半套《黄家驷外科学》 Gemini
  3. 5 Pro

8.3.2 为什么窗口重要?

窗口决定了你一次对话能塞多少信息给AI。 对于医生来说,这直接关系到:

能不能把整套入院病历+手术记录+术后随访一起丢进去?

能不能让AI全文阅读一篇50页的临床指南然后回答你的问题?

能不能把患者过去5年的全部化验结果(整理成表格)一次性分析?

所有这些都是窗口决定的,不是AI的「智商」决定的。

8.3.3 窗口的陷阱:Lost in the Middle

有个重要陷阱必须讲清楚:信息在窗口里的位置,影响AI的注意力。

研究表明,AI对窗口开头和结尾的信息关注度最高,对中间部分的信息容易忽略。这叫「迷失在中间」(Lost in the Middle)现象。

医生实用技巧:

  1. 最重要的信息放在指令的开头或结尾,不要埋在中间。

果文件很长,可以分段提问,每段提问前提示「基于以上病历信息,请回答……」 3. 用好「请重点分析第3页到第5页的内容」这样的引导语。

8.4 温度:AI的「创造力开关」

8.4.1 一个思想实验

假设AI要补全这句话:

「患者体温38.5℃,初步诊断为___」

作为医生,你希望AI填「上呼吸道感染」——事实性的、确定的答案。

但如果你让它写一段:

「请用通俗的语言向患者解释为什么需要做MRI而不是CT:___」

你希望答案有变化、有创意、能用不同的方式说清同一个道理。

「温度」(Temperature)就是控制这种确定/创造维度的参数。

8.4.2 温度如何工作

AI生成文本时,不是直接选「最可能的那个词」,而是从候选词中按概率采样。

温度值 效果 类比0 每次都选概率最高的词,输出完全确定 标准化的临床路径,没有歧义0.3-0.5 偏保守,偶尔有小变化 经验丰富的医生写的病历,风格稳定0.7-1.0 平衡创造性和准确性 医生查房时的口头讨论,有发挥空间1.2-2.0 大量随机,天马行空 实习生凌晨写诗,偶有妙句更多是胡话

8.4.3 医学场景的温度选择

场景推荐温度原因
解读化验单0-0.2需要精确、一致
鉴别诊断0.3-0.5需要覆盖多种可能但不离谱
撰写科普文章0.7-0.9需要生动、有吸引力
头脑风暴研究思路0.8-1.0需要发散、新颖

8.5 采样策略:Top-P与Top-K

温度和两个兄弟参数——Top-P和Top-K——共同决定AI如何选择下一个词。

8.5.1 Top-K:只看前K个候选

AI在生成每个词时,内心有一个「候选词排序表」,每个候选词有一个概率分数。

Top-K = 只看概率最高的前K个。

T op-K=1 → 每次都选最高的 → 与T emperature=0效果类似T op-K=50 → 在概率前50名的候选词中随机选

8.5.2 Top-P:动态裁剪

T op-K的问题是「K是固定的」——有些时候前50已经够多了,有些时候前50还不够。Top-P(又称Nucleus Sampling,核采样)是动态裁剪:累加概率直到超过P,只在这个集合里选。

不需要记公式,记住感觉:T op-P是「我只在有把握的候选词里挑」,T emperature是「在已选的候选词里,我有多敢冒险」。

在实际使用中,大多数医生不需要手动调节这些参数——主流AI产品的默认设置已经足够好。但理解它们在做什么,可以帮助你在遇到「AI回答不稳定」时找到调试方向。

8.6 一个完整的类比:把大模型想象成一位医生

最后,让我们用一张表,把上面所有概念串起来:

模型组件 医生类比 关键洞察参数 医学知识储备量 越多越好,但不是唯一变量层数 临床思维深度 决定能做多复杂的推理上下文窗口 一次能记住的病历页数决定了你一次能「喂」多少信息温度 诊断时的保守/冒险倾向常规诊断=低温,疑难病例讨论=中温训练数据 读过的书和看过的病例决定基础知识的宽度Token 「阅读」的最小单位 相当于AI眼中的每一个药名、体征、检验值

8.7 本章小结

概念一句话医生需要记住的
参数模型的「脑细胞」数量别只看数字,看实际表现
层数思考的「深度」深层才能做复杂鉴别诊断
上下文窗口AI的「短期记忆」决定了能塞多少信息,重要信息放头尾
温度创造力的「开关」医学事实类0-0.3,科普创意类0.7-0.9
Top-P/Top-K候选词的「筛选规则」默认就好,不用手动调

8.8 延伸思考

想一想你上一次用ChatGPT的经历——如果你把提问时的「病历长度」和AI的回答质量画个关系图,会不会发现「信息越少,答案越准」的时刻?

如果把你的临床思维过程也「分层」,哪些步骤是浅层(模式识别),哪些是深层(系统性推理)?

如果你写一篇给患者的科普,你会把AI的温度调到多少?为什么?

下一章,我们走进GPT家族的进化树——看看从2018年那个不起眼的GPT-1,到2022年底引爆全球的ChatGPT,到底发生了什么。

本章初稿,待浩哥审阅。