DeepSeek-VL：面向真实场景的视觉语言模型 · AI HOT
向阳乔木@vista841
2026-05-01 00:42·63天前
AI 摘要DeepSeek-VL旨在解决开源视觉模型在真实场景中应用效果不佳的问题。其核心方案是系统性地从数据、架构与训练三方面进行设计：数据构建强调从真实用户需求出发，并包含70%的纯文本以保留语言能力；模型架构创新性地采用SigLIP与SAM-B混合视觉编码器，兼顾高层语义与低层细节；训练策略则通过三阶段渐进式训练与模态平衡技术，有效缓解了视觉训练对语言能力的侵蚀，最终在同等规模下达到开源模型的顶尖水平。
向阳乔木@vista8 · X 2026-05-01 00:42·63天前
在 X 看原推· x.comAI 摘要DeepSeek-VL旨在解决开源视觉模型在真实场景中应用效果不佳的问题。其核心方案是系统性地从数据、架构与训练三方面进行设计：数据构建强调从真实用户需求出发，并包含70%的纯文本以保留语言能力；模型架构创新性地采用SigLIP与SAM-B混合视觉编码器，兼顾高层语义与低层细节；训练策略则通过三阶段渐进式训练与模态平衡技术，有效缓解了视觉训练对语言能力的侵蚀，最终在同等规模下达到开源模型的顶尖水平。
监督微调数据
团队先从网上收集了GPT-4V和Gemini的真实用户测试案例，然后把这些案例整理成一套完整的分类体系，再根据这套分类体系去选图、写提示词，构建出贴近真实使用场景的微调数据。
包括ShareGPT4V、LAION-GPTV、LVIS-Instruct4V等知名开源数据集。
沿用DeepSeek-LLM的文本对话数据，保住语言能力。
那套分类体系长什么样？
这套分类体系是整个数据构建思路的精华，值得单独说说。
识别类： 全局描述（场景、风格、食物）、局部描述（位置、人物、Logo、计数）、OCR转录（印刷体、手写体）。
转换类： 图片转代码（UI转代码、图表转代码、公式转代码）、图片转文本（生成提示词、文字摘要、图片创作）。
分析类： 数据图表分析、专业图表分析（电路图、流程图、地图、乐谱、平面图）、专业图像分析（传感器图像、医学图像）、百科知识分析（艺术文化、自然环境、衣食住行）。
常识推理类： 关系推理（人际、空间、大小）、功能推理（硬件、软件）、环境推理（具身智能）、异常推理（缺陷检测、事故判断）。
逻辑推理类： 数学推理（代数、平面几何、立体几何）、其他逻辑推理（物理、化学、生物、代码、智力题）。
这套分类体系同时用于数据构建和效果评估，保证了训练和测试的一致性。
这是"从真实用户需求倒推数据构建"的典型做法，比单纯堆学术数据集高明得多。
模型架构：三个模块协同工作
整个模型由三个模块组成：混合视觉编码器、视觉语言适配器、语言模型。
混合视觉编码器
传统的视觉语言模型通常只用一个视觉编码器，比如CLIP系列的SigLIP（一种用图文对比训练出来的视觉编码器）。
一是存在"CLIP盲点对"现象，视觉上明显不同的两张图片，经过SigLIP编码后可能得到非常相似的表示，导致模型分不清楚。
二是分辨率有限，最高只到512×512，处理不了需要精细识别的任务。
SigLIP-L 处理低分辨率（384×384）输入，负责提取高层语义特征，擅长理解图片"讲了什么"。
SAM-B 处理高分辨率（1024×1024）输入，负责提取低层细节特征。
SAM是 Meta 开发的"Segment Anything Model"（万物分割模型），其中的ViTDet图像编码器（一种专门为目标检测优化的视觉Transformer）特别擅长捕捉精细的局部信息，比如小字、边缘、纹理。
两个编码器输出的特征经过适配器处理后，最终融合成576个视觉token（可以理解为576个"视觉词"）。
这个数字很关键，它在视觉信息量和计算成本之间找到了平衡点，既能支持多轮对话，又不会让推理成本爆炸。
为了验证这个选择，团队做了对比实验，测试了CLIP、SigLIP、SigLIP+DINO、SigLIP+SAM四种组合的训练损失曲线。
结果显示SigLIP+SAM的组合训练损失下降最快、最低，证明引入视觉自监督编码器确实有效。
视觉语言适配器
这是连接视觉编码器和语言模型的桥梁，用的是两层混合MLP（多层感知机，一种基础的神经网络结构）。
具体做法：先用两个独立的单层MLP分别处理高分辨率和低分辨率特征，然后把两个特征拼接在一起，再通过一层MLP映射到语言模型的输入空间。
- 序列拼接（把视觉特征在序列维度上堆叠）：效果一般，而且计算量更大
- 共享MLP：特征融合充分，但对不同编码器的特征分布适应性差
- 独立MLP：能精准适应各自编码器的特征分布，但融合不够
- 混合MLP（先独立处理再拼接）：综合了两者优点，效果最好
语言模型
基于DeepSeek-LLM构建，架构上和LLaMA高度相似：用了RMSNorm（一种更高效的归一化方法）、SwiGLU激活函数（一种改进的门控线性单元）、旋转位置编码（RoPE，一种让模型理解token位置关系的方法）。
- DeepSeek-VL-1.3B 基于 DeepSeek-LLM-1B（用约5000亿文本token训练）
- DeepSeek-VL-7B 基于 DeepSeek-LLM-7B（用约2万亿文本token训练）
值得注意的是，团队选的是DeepSeek预训练模型的中间检查点，而不是最终版本，然后继续做多模态预训练。
训练策略：三阶段 + 模态平衡
第一阶段：热身视觉语言适配器
数据：125万张来自ShareGPT4V的图文描述对 + 250万个文档OCR渲染对。
这个阶段的目标是在视觉和语言的嵌入空间之间建立初步的概念连接，让语言模型能"认识"视觉特征。
团队做了一个重要实验：把第一阶段的数据量从2K步扩展到80K步，然后直接做微调，看效果有没有提升。
原因很清楚：适配器（两层MLP）的参数量太少，容量有限，学到一定程度就饱和了。
再多的数据也塞不进去。这也说明了为什么必须有第二阶段。
第二阶段：联合视觉语言预训练
解冻语言模型和适配器，视觉编码器保持冻结，用大规模图文混合数据继续预训练。
团队发现了一个严峻问题：如果只用多模态数据训练，语言能力会断崖式下降。
在1B模型上，用100%多模态数据训练时，MMBench（多模态理解测试）分数缓慢上升，但HellaSwag（语言理解测试）和MMLU（多学科知识测试）分数急剧崩塌。
一是多模态数据本身比纯文本数据简单得多，分布差异很大，直接用来训练会"稀释"语言知识。
二是视觉模态和语言模态之间存在竞争关系，学多了视觉就会忘记语言，这是一种"灾难性遗忘"。
解决方案是联合语言多模态训练：在训练时同时混入大量纯文本数据。
这个比例能让模型在保住语言能力的同时，获得足够的多模态预训练效果。
直接把语言数据和多模态数据混在同一个batch里，会有效率问题：纯文本处理很快，但要等多模态数据处理完才能更新参数，造成大量等待。
解决方法是把不同模态的数据分开组batch，每个训练步要么全是语言数据，要么全是多模态数据。
这一招让训练效率提升了20%，而且性能完全不受影响。
训练初期把语言数据比例设为100%，然后逐渐降到目标比例（70%）。
这样可以避免训练初期语言能力的剧烈波动，让模型更平稳地适应多模态数据的加入。
实验证明，这个策略在训练后期也能带来更好的语言和多模态双端性能。
但小模型有个问题：在标准benchmark上表现波动极大，很难准确反映改进效果。
原因是小模型虽然"知道"正确答案，但没有足够的指令跟随能力把答案"说出来"。
- 把评估方式从"让模型生成答案"改成"比较各选项的困惑度（PPL，一种衡量模型对某段文本有多困惑的指标，越低越好）"
- 同时在预训练阶段混入少量指令微调数据，让小模型也能稳定地跟随指令。这样小模型就能给出稳定的评估信号，大大加快了迭代速度。
第三阶段：监督微调
用前面构建的指令微调数据集，训练模型的对话和指令跟随能力，最终得到DeepSeek-VL-Chat。
这个阶段同时训练语言模型、适配器和SigLIP编码器。
SAM-B因为显存限制保持冻结。只对答案和特殊token计算损失，系统提示和用户输入不参与训练。
三个阶段缺一不可：只有第一阶段+第三阶段，平均分57.4；加上第二阶段后提升到62.4。
第一阶段虽然提升有限，但也有意义，去掉它性能会略微下降。
训练基础设施
使用了DeepSeek自研的HAI-LLM分布式训练框架。
DeepSeek-VL-7B用了64个节点（每个节点8块英伟达A100 GPU），训练了5天。
DeepSeek-VL-1.3B用了16个节点，训练了7天。
效果评测：数字说话
多模态benchmark
7B模型在开源模型里表现最好：
- SeedBench（综合多模态理解）：70.4，接近GPT-4V的71.6
- MMBench（多模态综合测试）：73.2，超过所有同级开源模型
- OCRBench（OCR专项测试）：456分，远超同级模型（LLaVA-1.5 13B只有331分）
- POPE（幻觉测试，测模型会不会"看到"不存在的东西）：88.1，同级最高
- MathVista（数学视觉推理）：36.1，超过所有同级开源模型，但和GPT-4V（47.8）还有差距
- CMMMU（中文多学科多模态理解）：37.9，明显优于其他开源模型
1.3B小模型更令人印象深刻：用一半不到的参数（1.3B vs 2.7B），在MMBench上超过了MobileVLM V2 2.7B（64.6 vs 63.2）。
MathVista上甚至达到31.1，和部分7B模型相当。
语言benchmark
- HellaSwag：68.4（DeepSeek-LLM-7B是68.5），几乎持平
- MMLU：52.4（DeepSeek-LLM-7B是49.4），多模态训练后反而提升了
- AGIEval：27.8（DeepSeek-LLM-7B是19.3），同样提升
- GSM8K（数学）：55.0（DeepSeek-LLM-7B是63.0），有所下降
数学能力的下降说明视觉和语言模态之间的竞争关系仍然存在，7B的模型容量在这里成了瓶颈。
人工评测
团队构建了100道题，覆盖七个类别，和InternLM-XComposer2-VL、CogVLM-17B、GPT-4V做对比。
结论：DeepSeek-VL-7B在识别、转换、常识推理三个维度接近GPT-4V，整体表现优于其他开源模型。
逻辑推理是所有开源模型的共同短板，和GPT-4V差距最大。
还做了GPT-4V裁判评测：把DeepSeek-VL和其他模型的回答都给GPT-4V看，让它判断哪个更好。
结果DeepSeek-VL在超过60%的情况下被GPT-4V判定为更好，甚至在和GPT-4V自身对比时也获得了相当不错的评价。
处理逻辑图、网页、公式识别、科学文献、自然图像、具身智能场景的综合展示
识别图片中的细小物体（骑车人在女士手提包的左侧），并给出有条理的解释
看懂儿童编程Scratch流程图并转换成Python代码（对比的开源模型1直接说"我无法处理图片"）
识别泰国10泰铢硬币；根据图片创作七言绝句；识别米哈游游戏角色
为什么这篇论文重要？
它揭示并量化了一个关键矛盾：多模态能力和语言能力之间存在竞争关系。
70%语言数据这个比例，加上模态热身策略和分组训练，提供了一套可复制的解决方案。
用分类体系指导数据收集，比随意拼凑学术数据集有效得多。
用两个互补的编码器分别处理语义和细节，比单纯堆高分辨率更高效，576个token的压缩方案在信息量和计算成本之间找到了合理平衡。
困惑度评估 + 少量指令数据混入，让1.3B模型也能给出稳定的实验信号，大幅降低了迭代成本。
论文结尾提到了后续会引入MoE（Mixture of Experts，混合专家模型）技术，这也是后来DeepSeek-VL2的方向。
让它看一张网页截图、读一份PDF、识别街拍里的小字，效果就大打折扣。
很多模型把大量算力花在了指令微调阶段，但真正的通用能力来自大规模预训练。
这就像一个人只刷题不读书，考试可能还行，解决实际问题就不够用了。
把一堆学术数据集拼在一起做微调，benchmark分数好看，但用户实际用起来体验很差。
大部分模型只能处理336×336或448×448像素的图片。
现实世界里的OCR（光学字符识别，就是让AI读懂图片里的文字）、小物体识别，这个分辨率根本不够用。
这是一个很棘手的问题，也是这篇论文花了最多篇幅去解决的事情。
数据构建：从真实场景出发
DeepSeek-VL的数据分两大块：预训练数据和监督微调数据。
预训练数据
就是图片和文字混合出现的内容，比如维基百科文章里图文穿插的格式。
用了MMC4、Wikipedia中英文、Wikihow，以及内部的PDF和电子书。
这类数据能让模型学会在上下文里理解多张图片，也就是所谓的"多模态上下文学习"能力。
高质量的图文配对数据集，包括Capsfusion、TaiSu（一个1.66亿规模的中文视觉语言数据集）和Detailed Caption。
来自十多个公开数据集，涵盖各种图表、地理题、科学题、UI截图等，让模型学会理解各种结构化视觉信息。
这部分很有意思。团队从GitHub上抓取了146万个Jupyter Notebook，提取了其中的图表和对应的生成代码，最终筛选出110万个高质量的图文代码对。
当时市面上没有大规模的中英文文档OCR数据集，团队自己造了。
两个来源：一是从140万篇arXiv论文里提取图文对；二是从86万本英文电子书和18万本中文电子书里，用HTML渲染工具生成了配对的图片和文本。
用了ArT、MLT-17、LSVT、UberText等十个公开数据集。
这个比例是整个训练策略的核心，后面会详细解释。用的是DeepSeek-LLM的2万亿token文本语料。
监督微调数据
团队先从网上收集了GPT-4V和Gemini的真实用户测试案例，然后把这些案例整理成一套完整的分类体系，再根据这套分类体系去选图、写提示词，构建出贴近真实使用场景的微调数据。
包括ShareGPT4V、LAION-GPTV、LVIS-Instruct4V等知名开源数据集。
沿用DeepSeek-LLM的文本对话数据，保住语言能力。
那套分类体系长什么样？
这套分类体系是整个数据构建思路的精华，值得单独说说。
识别类： 全局描述（场景、风格、食物）、局部描述（位置、人物、Logo、计数）、OCR转录（印刷体、手写体）。
转换类： 图片转代码（UI转代码、图表转代码、公式转代码）、图片转文本（生成提示词、文字摘要、图片创作）。
分析类： 数据图表分析、专业图表分析（电路图、流程图、地图、乐谱、平面图）、专业图像分析（传感器图像、医学图像）、百科知识分析（艺术文化、自然环境、衣食住行）。
常识推理类： 关系推理（人际、空间、大小）、功能推理（硬件、软件）、环境推理（具身智能）、异常推理（缺陷检测、事故判断）。
逻辑推理类： 数学推理（代数、平面几何、立体几何）、其他逻辑推理（物理、化学、生物、代码、智力题）。
这套分类体系同时用于数据构建和效果评估，保证了训练和测试的一致性。
这是"从真实用户需求倒推数据构建"的典型做法，比单纯堆学术数据集高明得多。
模型架构：三个模块协同工作
整个模型由三个模块组成：混合视觉编码器、视觉语言适配器、语言模型。
混合视觉编码器
传统的视觉语言模型通常只用一个视觉编码器，比如CLIP系列的SigLIP（一种用图文对比训练出来的视觉编码器）。
一是存在"CLIP盲点对"现象，视觉上明显不同的两张图片，经过SigLIP编码后可能得到非常相似的表示，导致模型分不清楚。
二是分辨率有限，最高只到512×512，处理不了需要精细识别的任务。
SigLIP-L 处理低分辨率（384×384）输入，负责提取高层语义特征，擅长理解图片"讲了什么"。
SAM-B 处理高分辨率（1024×1024）输入，负责提取低层细节特征。
SAM是 Meta 开发的"Segment Anything Model"（万物分割模型），其中的ViTDet图像编码器（一种专门为目标检测优化的视觉Transformer）特别擅长捕捉精细的局部信息，比如小字、边缘、纹理。
两个编码器输出的特征经过适配器处理后，最终融合成576个视觉token（可以理解为576个"视觉词"）。
这个数字很关键，它在视觉信息量和计算成本之间找到了平衡点，既能支持多轮对话，又不会让推理成本爆炸。
为了验证这个选择，团队做了对比实验，测试了CLIP、SigLIP、SigLIP+DINO、SigLIP+SAM四种组合的训练损失曲线。
结果显示SigLIP+SAM的组合训练损失下降最快、最低，证明引入视觉自监督编码器确实有效。
视觉语言适配器
这是连接视觉编码器和语言模型的桥梁，用的是两层混合MLP（多层感知机，一种基础的神经网络结构）。
具体做法：先用两个独立的单层MLP分别处理高分辨率和低分辨率特征，然后把两个特征拼接在一起，再通过一层MLP映射到语言模型的输入空间。
- 序列拼接（把视觉特征在序列维度上堆叠）：效果一般，而且计算量更大
- 共享MLP：特征融合充分，但对不同编码器的特征分布适应性差
- 独立MLP：能精准适应各自编码器的特征分布，但融合不够
- 混合MLP（先独立处理再拼接）：综合了两者优点，效果最好
语言模型
基于DeepSeek-LLM构建，架构上和LLaMA高度相似：用了RMSNorm（一种更高效的归一化方法）、SwiGLU激活函数（一种改进的门控线性单元）、旋转位置编码（RoPE，一种让模型理解token位置关系的方法）。
- DeepSeek-VL-1.3B 基于 DeepSeek-LLM-1B（用约5000亿文本token训练）
- DeepSeek-VL-7B 基于 DeepSeek-LLM-7B（用约2万亿文本token训练）
值得注意的是，团队选的是DeepSeek预训练模型的中间检查点，而不是最终版本，然后继续做多模态预训练。
训练策略：三阶段 + 模态平衡
第一阶段：热身视觉语言适配器
数据：125万张来自ShareGPT4V的图文描述对 + 250万个文档OCR渲染对。
这个阶段的目标是在视觉和语言的嵌入空间之间建立初步的概念连接，让语言模型能"认识"视觉特征。
团队做了一个重要实验：把第一阶段的数据量从2K步扩展到80K步，然后直接做微调，看效果有没有提升。
原因很清楚：适配器（两层MLP）的参数量太少，容量有限，学到一定程度就饱和了。
再多的数据也塞不进去。这也说明了为什么必须有第二阶段。
第二阶段：联合视觉语言预训练
解冻语言模型和适配器，视觉编码器保持冻结，用大规模图文混合数据继续预训练。
团队发现了一个严峻问题：如果只用多模态数据训练，语言能力会断崖式下降。
在1B模型上，用100%多模态数据训练时，MMBench（多模态理解测试）分数缓慢上升，但HellaSwag（语言理解测试）和MMLU（多学科知识测试）分数急剧崩塌。
一是多模态数据本身比纯文本数据简单得多，分布差异很大，直接用来训练会"稀释"语言知识。
二是视觉模态和语言模态之间存在竞争关系，学多了视觉就会忘记语言，这是一种"灾难性遗忘"。
解决方案是联合语言多模态训练：在训练时同时混入大量纯文本数据。
这个比例能让模型在保住语言能力的同时，获得足够的多模态预训练效果。
直接把语言数据和多模态数据混在同一个batch里，会有效率问题：纯文本处理很快，但要等多模态数据处理完才能更新参数，造成大量等待。
解决方法是把不同模态的数据分开组batch，每个训练步要么全是语言数据，要么全是多模态数据。
这一招让训练效率提升了20%，而且性能完全不受影响。
训练初期把语言数据比例设为100%，然后逐渐降到目标比例（70%）。
这样可以避免训练初期语言能力的剧烈波动，让模型更平稳地适应多模态数据的加入。
实验证明，这个策略在训练后期也能带来更好的语言和多模态双端性能。
但小模型有个问题：在标准benchmark上表现波动极大，很难准确反映改进效果。
原因是小模型虽然"知道"正确答案，但没有足够的指令跟随能力把答案"说出来"。
- 把评估方式从"让模型生成答案"改成"比较各选项的困惑度（PPL，一种衡量模型对某段文本有多困惑的指标，越低越好）"
- 同时在预训练阶段混入少量指令微调数据，让小模型也能稳定地跟随指令。这样小模型就能给出稳定的评估信号，大大加快了迭代速度。
第三阶段：监督微调
用前面构建的指令微调数据集，训练模型的对话和指令跟随能力，最终得到DeepSeek-VL-Chat。
这个阶段同时训练语言模型、适配器和SigLIP编码器。
SAM-B因为显存限制保持冻结。只对答案和特殊token计算损失，系统提示和用户输入不参与训练。
三个阶段缺一不可：只有第一阶段+第三阶段，平均分57.4；加上第二阶段后提升到62.4。
第一阶段虽然提升有限，但也有意义，去掉它性能会略微下降。
训练基础设施
使用了DeepSeek自研的HAI-LLM分布式训练框架。
DeepSeek-VL-7B用了64个节点（每个节点8块英伟达A100 GPU），训练了5天。
DeepSeek-VL-1.3B用了16个节点，训练了7天。
效果评测：数字说话
多模态benchmark
7B模型在开源模型里表现最好：
- SeedBench（综合多模态理解）：70.4，接近GPT-4V的71.6
- MMBench（多模态综合测试）：73.2，超过所有同级开源模型
- OCRBench（OCR专项测试）：456分，远超同级模型（LLaVA-1.5 13B只有331分）
- POPE（幻觉测试，测模型会不会"看到"不存在的东西）：88.1，同级最高
- MathVista（数学视觉推理）：36.1，超过所有同级开源模型，但和GPT-4V（47.8）还有差距
- CMMMU（中文多学科多模态理解）：37.9，明显优于其他开源模型
1.3B小模型更令人印象深刻：用一半不到的参数（1.3B vs 2.7B），在MMBench上超过了MobileVLM V2 2.7B（64.6 vs 63.2）。
MathVista上甚至达到31.1，和部分7B模型相当。
语言benchmark
- HellaSwag：68.4（DeepSeek-LLM-7B是68.5），几乎持平
- MMLU：52.4（DeepSeek-LLM-7B是49.4），多模态训练后反而提升了
- AGIEval：27.8（DeepSeek-LLM-7B是19.3），同样提升
- GSM8K（数学）：55.0（DeepSeek-LLM-7B是63.0），有所下降
数学能力的下降说明视觉和语言模态之间的竞争关系仍然存在，7B的模型容量在这里成了瓶颈。
人工评测
团队构建了100道题，覆盖七个类别，和InternLM-XComposer2-VL、CogVLM-17B、GPT-4V做对比。
结论：DeepSeek-VL-7B在识别、转换、常识推理三个维度接近GPT-4V，整体表现优于其他开源模型。
逻辑推理是所有开源模型的共同短板，和GPT-4V差距最大。
还做了GPT-4V裁判评测：把DeepSeek-VL和其他模型的回答都给GPT-4V看，让它判断哪个更好。
结果DeepSeek-VL在超过60%的情况下被GPT-4V判定为更好，甚至在和GPT-4V自身对比时也获得了相当不错的评价。
处理逻辑图、网页、公式识别、科学文献、自然图像、具身智能场景的综合展示
识别图片中的细小物体（骑车人在女士手提包的左侧），并给出有条理的解释
看懂儿童编程Scratch流程图并转换成Python代码（对比的开源模型1直接说"我无法处理图片"）
识别泰国10泰铢硬币；根据图片创作七言绝句；识别米哈游游戏角色
为什么这篇论文重要？
它揭示并量化了一个关键矛盾：多模态能力和语言能力之间存在竞争关系。
70%语言数据这个比例，加上模态热身策略和分组训练，提供了一套可复制的解决方案。
用分类体系指导数据收集，比随意拼凑学术数据集有效得多。
用两个互补的编码器分别处理语义和细节，比单纯堆高分辨率更高效，576个token的压缩方案在信息量和计算成本之间找到了合理平衡。
困惑度评估 + 少量指令数据混入，让1.3B模型也能给出稳定的实验信号，大幅降低了迭代成本。
论文结尾提到了后续会引入MoE（Mixture of Experts，混合专家模型）技术，这也是后来DeepSeek-VL2的方向。