今天，我们激动地宣布推出 Granite 4.0 3B Vision，这是一款专为企业文档理解而设计的紧凑型视觉语言模型（VLM）。它专为从复杂文档、表单和结构化视觉内容中可靠提取信息而构建。Granite 4.0 3B Vision 在以下能力上表现出色：

• 表格提取：从文档图像中精确解析复杂的表格结构（例如，多行、多列等）
• 图表理解：将图表和图形转换为结构化的机器可读格式、摘要或可执行代码
• 语义键值对（KVP）提取：在多种文档布局中识别并定位具有语义意义的键值字段对

该模型以 LoRA 适配器的形式部署在 Granite 4.0 Micro（我们的密集语言模型）之上，保持视觉和语言模块的独立性，以便支持纯文本回退并无缝集成到混合流水线中。它继续支持视觉语言任务，例如根据图像生成详细的自然语言描述（例如，“详细描述这张图片”）。该模型可以独立使用，也可以与 Docling 协同使用，通过深度视觉理解能力增强文档处理流水线。

Granite 4.0 3B Vision 的构建方式

Granite 4.0 3B Vision 的性能源于三项关键投入：一个通过新颖的代码引导数据增强方法构建的专用图表理解数据集、一种能够注入高细节视觉特征的新型 DeepStack 架构变体，以及一种使模型在企业部署中保持实用性的模块化设计。

ChartNet：教会模型真正理解图表

图表对视觉语言模型（VLM）构成了挑战，因为理解图表需要同时对视觉模式、数值数据和自然语言进行联合推理——这种组合大多数 VLM 都难以妥善处理，尤其是在空间精度至关重要的情况下，例如从折线图中读取精确数值。为了弥补这一差距，我们开发了 ChartNet：一个百万级的多模态数据集，专为图表解读和推理而构建，详细信息将在我们即将发表的 CVPR 2026 论文中阐述。

ChartNet 采用代码引导的合成流程，生成了 170 万个多样化的图表样本，涵盖 24 种图表类型和 6 个绘图库（见图 1）。其独特之处在于，每个样本由五个对齐的组件组成——绘图代码、渲染图像、数据表格、自然语言摘要和问答对——这为模型提供了对图表含义的深度跨模态理解，而不仅仅是图表的外观。该数据集还包含了人工标注和真实世界的子集，并经过视觉保真度、语义准确性和多样性的筛选。

其成果是一个训练资源，它使视觉语言模型从仅仅描述图表，转变为真正理解图表所编码的结构化信息——在不同模型规模、架构和任务上均取得了一致的性能提升。

图 1：ChartNet 的合成数据生成流程。

DeepStack：更智能的视觉特征注入

大多数视觉语言模型在单一节点将视觉信息注入其语言模型，这迫使模型同时处理高层语义和细粒度空间细节。Granite 4.0 3B Vision 采用了一种不同的方法，即 DeepStack 注入：抽象的视觉特征被路由到较早的层以进行语义理解，而高分辨率空间特征则被馈送到较晚的层以保留细节。其结果是，模型既能理解文档中的内容，也能理解其位置——这对于表格提取、图表理解和键值对解析等布局与内容同等重要的任务至关重要。有关完整的技术细节，请参阅模型卡片中的模型架构部分。

模块化：一个模型，两种模式

Granite 4.0 3B Vision 被打包为 Granite 4.0 Micro 之上的一个 LoRA 适配器，而非一个独立的模型。在实践中，这意味着同一个部署可以同时处理多模态和纯文本工作负载，并在不需要视觉功能时自动回退到基础模型。这使得企业集成变得简单直接，同时不牺牲性能。

性能表现如何

图表：在基于 LLM 作为评判者的人工验证 ChartNet 基准测试上，Granite 4.0 3B Vision 在所有评估模型中（包括参数量显著更大的模型）取得了最高的 Chart2Summary 分数（86.4%）[见图 2]。其 Chart2CSV 分数（62.1%）也排名第二，仅次于参数量是其两倍以上的 Qwen3.5-9B（63.4%）。

图 2：Granite 4.0 3B Vision 在 chart2csv 和 chart2summary 任务上的性能，与同类视觉语言模型在 LLM 作为评判者的方法下进行对比。

表格：我们在两种设置下评估表格提取能力：裁剪表格（孤立区域）和整页文档（表格嵌入在复杂布局中）[见图 3]。基准测试套件包括 TableVQA-extract（裁剪表格图像）、OmniDocBench-tables（整页文档）以及 PubTables-v2（同时包含裁剪和整页设置）。模型的任务是以 HTML 格式提取表格，并使用 TEDS 指标进行评分，该指标同时衡量结构准确性和内容准确性。Granite 4.0 3B Vision 在所有评估模型中表现最强，在 PubTablesV2 的裁剪（92.1）和整页（79.3）设置、OmniDocBench（64.0）以及 TableVQA（88.1）分数上均领先。

图 3：Granite 4.0 3B Vision 在裁剪和整页基准测试（TableVQA-extract、PubTables-v2、OmniDocBench-tables）上的表格提取性能，以 TEDS 指标衡量。

语义 KVP：VAREX 是一个专门为区分小型提取模型而设计的基准测试，包含 1,777 份美国政府表格，涵盖从简单的平面布局到复杂的嵌套和表格结构。模型使用精确匹配（EM）进行评估，这是一个严格的指标，要求模型提取的键值对与真实标注完全一致。Granite 4.0 3B Vision 在零样本情况下达到了 85.5% 的 EM 准确率。

如何使用

Granite 4.0 3B Vision 既可以作为独立的视觉信息提取引擎运行，也可以作为 Docling 全自动文档处理流程的一部分。该模型旨在支持跨多种文档类型和视觉格式的可扩展、高精度提取。

1. 独立图像理解 Granite 4.0 3B Vision 可直接在单张图像上运行，这一特性使其适用于那些已有工作流程、只需在不修改上游系统的情况下进行针对性视觉提取的应用场景。该功能可轻松集成到现有自动化工作流中，适合轻量级、任务特定的工具（例如表单解析器、图表分析器等）。

2. 集成文档理解流水线（配合 Docling） Granite 4.0 3B Vision 还可与 Docling 无缝集成，支持完整的端到端文档理解。该模式可提供：

• 多页 PDF 的大规模处理
• 利用 Docling 自动检测、分割并裁剪图表、表格及其他视觉元素，并将干净的裁剪结果重定向至 Granite Vision 模型进行细粒度提取
• 高效工作流，整体计算成本更低，吞吐量更快
• 更高的准确率、更可靠的提取效果，以及在大规模文档集合上显著提升的效率

示例用例

• 表单处理：利用键值对（KVP）能力从发票、表单和收据中提取结构化字段，或使用图像转文本（image2text）功能生成图像的自然语言描述（例如“详细描述这张图像”）。
• 财务报告分析：使用 Docling 解析报告、检测图表并裁剪视觉元素。利用 Granite Vision 的 chart2csv、chart2code 能力处理图表，并使用 tables_json 能力处理表格，将其转换为结构化、机器可读的数据，从而获得可操作的洞察。
• 研究文档智能：利用 Docling 处理密集学术 PDF 中的 OCR 和版面解析，并将提取出的图表传递给 chart2summary、将表格裁剪结果传递给 tables_html，使视觉内容与自由文本在同一流水线中均可被发现。

立即体验

Granite 4.0 3B Vision 现已通过 HuggingFace 发布，采用 Apache 2.0 许可证。完整的技术细节、训练方法和基准测试结果均可在模型卡片中查看。我们期待您用它构建的应用——欢迎在社区标签页中分享您的反馈。