推理市场是全球增长最快的市场，并且正在分化。每一种模态都在发展自己的推理技术栈。

英伟达的数据中心收入在整个 2022 年都持平。随后 ChatGPT 上线。三年后：增长了 17 倍。

数据库也经历过同样的过程。最初的一个市场，后来分化成了关系型、文档型、键值型、图数据库、时序数据库、向量数据库以及其他类型。每个类别都反映了不同的工作负载需求：实时事务处理 vs. 批量分析，ACID 合规 vs. 最终一致性。

推理市场正在分化的原因相同：工作负载不同。图像和视频是计算密集型的。更长的上下文窗口需要更多内存来存储 KV cache。边缘设备有功耗限制。单一架构无法同时优化所有这些场景。

模型生态系统也反映了这一点。少数几个半衰期较长的主流大语言模型，与 Hugging Face 上超过 9 万个图像生成模型并存，每天都有新的变体出现。每种模型类型都有不同的服务需求，这进一步分化了基础设施。如今，我们看到以下几个细分领域：

延迟层级：实时、近实时与批量

延迟定义了三个不同的细分领域。实时（低于 100 毫秒）服务于语音助手、实时翻译和自动驾驶汽车。用户不愿等待，因此基础设施必须在地理上分布，并配备专用容量。

近实时（100 毫秒至 2 秒）涵盖聊天机器人、代码补全和搜索增强。目前大多数大语言模型应用都在这个范围内运行，通过批处理和队列优化吞吐量，同时不损害用户体验。

批量（数秒至数小时）处理大规模文档处理和内容生成。成本效率比速度更重要，因此工作负载会在非高峰时段使用竞价实例运行。

多模态（图像、视频、音频）

瓶颈发生了转移。对于聊天机器人，问题在于内存。模型需要将整个对话内容保存在其“脑海”中，并且随着每一轮对话，这个记忆会增长。对于图像和视频生成，问题在于原始算力。生成一张图像需要模型进行 50 次顺序传递。不同的架构，不同的约束，不同的基础设施。

边缘（设备端与本地部署）

隐私要求、连接限制和延迟敏感性将推理推向边缘设备。手机、工业传感器、医疗设备。苹果在设备端运行一个30亿参数的模型用于Apple Intelligence。特斯拉在功耗72瓦的FSD芯片上运行视觉模型。量化模型、专用芯片和有限内存带来了与云端推理不同的优化挑战。

数据库市场孕育了Oracle、MongoDB、Databricks和Snowflake。一个价值1000亿美元的推理市场以同样的方式分化，为类似的赢家创造了空间。

---

1. 英伟达季度报告——数据中心收入从36亿美元（2022年第四季度）增长到623亿美元（2025年第四季度）。↩︎

2. Hugging Face 文生图模型——截至2026年4月，托管了超过90,000个文生图模型。↩︎

3. Grand View Research：2024年AI推理市场规模——2024年估计为972.4亿美元。↩︎