OpenAI产品化 · 2023→
GPT-4V → GPT-4o
2023 年 9 月 GPT-4V 让 ChatGPT 学会看图；2024 年 5 月 GPT-4o 走向原生多模态——文本、音频、图像统一处理，实时语音对话成为可能。
发布 → openai.com/index/hello-gpt-4o
微信扫码关注「大话数据分析」数据 · 分析 · AI 实战
拆解多模态
多模态的技术拼图。点击左侧零件，右侧看它的内部视角——从图像切块，到图片里藏指令。
ViT 把图像切块成 token 序列；CLIP 把图文对齐到同一向量空间——今天的看图模型几乎都站在这两块基石上。
2023 年 9 月 OpenAI 向 ChatGPT 开放看图对话，"拍照问 AI"走进日常；Qwen-VL 等开源 VLM 同期跟进。
GPT-4o、Gemini 从训练之初就混合多种模态——实时语音、视频理解成为旗舰模型标配。
代表玩家
三条路线：OpenAI 的产品化节奏、Google 的原生训练路线、中文与开源的开放权重生态。
2023 年 9 月 GPT-4V 让 ChatGPT 学会看图；2024 年 5 月 GPT-4o 走向原生多模态——文本、音频、图像统一处理，实时语音对话成为可能。
技术报告明确"原生多模态"：预训练阶段就在文本、图像、音频、视频上联合训练，而非给文本模型外挂视觉——视频理解是它的强项。
阿里 Qwen-VL（2023 年 8 月起开放权重）、智谱 GLM-4V 等撑起开放生态，中小团队可本地部署 VLM；能力以各家技术报告为准。
各家能力对比本站未复测 · 以官方论文与技术报告为准。
为什么重要
多模态把 AI 的输入带宽从"打字"扩展到"所见所闻"，也把它推向真实世界——但要注意理解 ≠ 生成（会看图的模型不一定会画图），且图像同样是攻击面（图片可以藏注入指令）。
文字、图像、音频统一切成序列，才能塞进同一个 Transformer——统一架构是这一切的前提。
会看图的模型不一定会画图，会听声音的模型不一定会克隆音色——两条能力线各自成熟，评价时别混为一谈。
深伪视频、声音诈骗、随手拍照上传的隐私、图片里藏的注入指令——带宽变大，攻击面也变大。
依据与事实
深度学习视觉时代：CNN 在 ImageNet 上大幅刷新成绩，深度学习接管计算机视觉——但视觉与语言仍是两个世界。
视觉进入 Transformer 时代：图像切块成 token 序列（ViT）；图文对齐到同一向量空间（CLIP）——多模态的两块基石。
文生图开源爆发：扩散模型 + 开放权重，"文字变图片"从实验室演示变成人人可玩的工具。
2023 年 9 月 OpenAI 开放 GPT-4V 看图对话；Qwen-VL（2023-08）等开源 VLM 同期涌现，看图对话进入产品。
2024 年 5 月发布：原生多模态、跨模态端到端，实时语音对话成为旗舰能力；Gemini 走同一原生路线。
视频理解、实时语音成为旗舰标配：视频问答、屏幕共享助手、语音助手全面落地，竞争转向模态协同与成本。
三个常见误解：① "会看图 = 会画图"——理解与生成是两条能力线，会看图的模型不一定会画图；② "图片不会骗模型"——图像理解同样存在幻觉，图片还能携带注入指令；③ "多模态是新赛道"——CLIP 早在 2021 就打好了地基，今天只是产品爆发。
接下来继续了解
它适合谁
拍照、截图、语音本来就是最自然的提问方式——从"能用图就别打字"这个习惯开始。
ViT 与 CLIP 两篇论文是多模态的必修地基，读懂它们就看懂了大半架构图。
从旗舰 API 到开放权重（Qwen-VL 等），搭一个自己的看图问答应用从未这么容易。
看图会幻觉、图片能藏注入、拍照有隐私——用之前先读"边界与幻觉"那一节。
来源与延伸阅读
01 CLIP · Learning Transferable Visual Models From Natural Language Supervision本页内容整理自以上公开资料，更新于 2026 年 10 月；各模型能力描述均来自官方论文与发布页，本站未复测。
开始动手
四件小事，亲身感受"会看图的 AI"能干什么、又会在哪里翻车。
① 拍一张含报错的截图，问它怎么修 ② 发一张手绘流程图，让它转成文字 ③ 用语音和它对话一轮，感受延迟与打断 ④ 让它读表格图片，回答一个统计问题
微信扫码关注「大话数据分析」数据 · 分析 · AI 实战