多模态模型：AI的「五感」

引子：AI不再「又聋又瞎」

2023年之前的AI，不管你给它发X光片还是心电图，它只会说：「我无法处理图片，请用文字描述。」

2023年GPT-4发布，AI第一次睁开了眼睛。2024-2025年，它又陆续获得了耳朵（语音）和嘴巴（语音输出）。

这就是多模态——AI从「纯文本」进化到了「图文声像」全感官。

16.1 什么是多模态？

模态 输入形式 医生怎么用 代表模型文本 文字 写病历、查文献、做PPT所有大模型图像照片、截图、扫描件、X光片看影像、读化验单截图、识别皮疹GPT-4V/4o、Claude：

1. 5、Gemini模态 输入形式 医生怎么用 代表模型音频 语音、心音、呼吸音听诊记录、会议转写、语音病历 GPT-4o、Gemini视频 手术录像、超声动图手术复盘、超声引导分析Gemini
2. 5 Pro

16.2 为什么医学是多模态的天然主场？

医学本身就是一个多模态的学科。一个完整的诊疗过程涉及：

患者自述（文本）→ 体格检查（视觉+触觉）→ 化验单（文本+数字）
→ 影像检查（图像）→ 病理报告（图像+文本）→ 心电/脑电（波形）
→ 多学科会诊讨论（语音/文本）→ 手术记录（视频/文本）

传统AI只能处理其中的「文本」部分——就像只用一个感官看病的医生。多模态AI开始覆盖所有感官。

16.3 看图能力：不只是「识别」，而是「理解」

医学影像初探（注意：不是诊断！）

w 重要声明：以下所有例子均不作为诊断工具，仅用于理解AI看图能力的边界。

能力层级 能做什么 不能做什么识别 指出「这张片子上右肺下叶有一个圆形高密度影」判断它是良性还是恶性描述 描述病灶的大小、位置、边界、密度特征给出最终诊断结论能力层级 能做什么 不能做什么比较 指出「这张和上周的片子相比，病灶增大了2mm」

判断增大是否具有临床意义参考 列出「具有类似影像特征的已知疾病」 确定是哪种疾病核心认知：当前的多模态AI在医学影像上的能力=「超级实习生」

——能准确描述所见，但不能独立诊断。真正的价值在于「辅助医生更快地发现和描述异常」，而不是替代医生判断。

16.4 实用场景（安全版）

16.5 语音能力：解放医生的手

GPT-4o和Gemini的语音交互2024年，GPT-4o实现了音频的原生处理——不是「先转文字 → 处理文字 → 再转语音」，而是直接理解语音中的情绪、语气、停顿。

对医生的实用价值：

16.6 视频能力：手术复盘的新维度

Google的Gemini 1.5 Pro可以处理长达1小时的视频。对骨科来说：

「把这台全膝关节置换的手术录像分析一下，标注关键步骤和所用时间。」

AI能做的事情：

• 识别手术各个阶段（切口 → 暴露 → 截骨 → 试模 → 植入 → 闭合）
• 统计

每个阶段的耗时：

• 对比不同主刀医生的操作节奏差异
• 为教学提供关键帧截图和说明

当然不能做：实时手术导航、判断操作是否正确、替代术者决策。

16.7 不同模型的多模态能力对比

能力 GPT-4o Claude：

1. 5 Gemini
2. 5 ProDeepSeek-V3

图像理解 ❌ 强 ❌ 强 ❌❌ 最强 ⚠️ 一般医学图像 ❌ 强 ❌ 强 ❌ 强 ⚠️ 待加强语音交互 ❌❌ 最强5p 不支持 ❌ 强 5p 不支持视频处理 ⚠️ 有限5p 不支持 ❌❌ 最强 5p 不支持PDF/图表 ❌ 强 ❌❌ 最强❌ 强 ⚠️ 一般中文体验 ❌ 好 ❌❌ 很好❌ 好 ❌❌ 最好医生建议：临床影像相关任务 → GPT-4o或Claude；手术视频分析 → Gemini；中文深度任务 → DeepSeek补充。

16.8 本章小结