NVIDIA 英伟达

NVIDIA Cosmos Predict 2.5 是一个 2B 参数的世界模型，可根据文本、图像或视频片段生成物理合理的视频。通过 LoRA 或 DoRA 在 DiT 的注意力层（to_q, to_k, to_v, to_out.0）和前馈层注入可训练适配器，冻结全部基座权重，在单个 80GB GPU 上即可完成参数高效微调，避免了全量微调的高成本与灾难性遗忘。该流程使用 diffusers 和 accelerate 库，利用 92 个机器人操作视频训练集与 50 个 (prompt， image) 测试对进行微调，并展示如何用微调模型生成合成机器人轨迹以支持下游机器人学习任务。支持单 GPU 与多 GPU 训练，切换不同领域适配器无需重训。

NVIDIA 发布了 Nemotron 3 Nano Omni 模型，这是一个专为处理长上下文多模态任务设计的轻量级模型。该模型能够同时理解并处理文档、音频和视频数据，旨在赋能新一代多模态智能体。其核心变化在于将长上下文能力与多模态理解结合到一个小型化模型中，提升了在复杂跨模态场景下的处理效率与应用灵活性。

黄仁勋表示，Nvidia 已具备支撑未来数年万亿美元级业务规模的供应链体系。这一表态印证了公司在 AI 芯片领域的供应链护城河优势，回应了市场对其产能扩张能力的关切。访谈同时涉及应对 Google TPU 竞争及向中国出售芯片的策略考量，凸显 Nvidia 在复杂市场环境下的长期布局信心。

Nemotron 3 Super是1200亿参数（120亿激活）的Mamba-Attention混合专家模型，首创NVFP4预训练，集成LatentMoE架构与MTP推测解码层优化推理。模型基于25万亿token预训练，经监督微调和强化学习后训练，支持100万token长上下文。相比GPT-OSS-120B和Qwen3.5-122B，推理吞吐量分别提升2.2倍和7.5倍，同时保持相当精度。全系列数据集与模型检查点已在HuggingFace开源。

AI算力稀缺时代正式开启。Nvidia Blackwell芯片GPU租赁价格涨至每小时4.08美元，两月内涨幅达48%；云服务商CoreWeave涨价20%并将最低合同期从一年延长至三年。Anthropic已将最新模型限制给约40个组织使用，OpenAI因算力不足被迫放弃部分项目。这标志着AI充足时代结束，"价高者得"、关系型销售、被迫多元化成为行业新常态，初创公司面临更严峻挑战。

cuLA是一套面向GLA、KDA等线性注意力变体的高性能CUDA内核库。它通过手工优化的CuTe DSL与CUTLASS C++实现，深度适配NVIDIA Hopper和Blackwell等新一代GPU架构，旨在将复杂算法转化为可直接调用的高性能算子。其接口与flash-linear-attention保持一致，开发者仅需修改一行import即可低成本接入。性能测试显示，其内核在Blackwell和Hopper GPU上相比Triton基线实现，平均加速比最高达1.52倍。该项目已开源，并计划未来集成至FLA的统一调度机制中。

Interconnects 第17期访谈中，Nvidia 副总裁 Bryan Catanzaro 系统回顾了 Nemotron 开源模型项目的技术演进与战略定位。访谈涵盖该系列模型从研发初期到当前版本的迭代历程，剖析了英伟达在开源 AI 领域的布局逻辑，并披露了 Nemotron 在合成数据生成与模型训练效率方面的最新进展及未来规划。

NVIDIA在Hugging Face上发布了Cosmos Reason 2模型，旨在提升物理AI系统的推理能力。该模型通过改进的推理架构，使AI能更准确地理解和预测物理世界的动态与交互，核心升级包括对复杂场景的多步推理、不确定性量化及时间序列数据的深度理解。这一进展将推动机器人、自动驾驶等领域的发展，使AI在现实环境中的决策更可靠、更符合物理规律。

介绍如何利用 NeMo Data Designer 构建许可安全的合成数据工作流，用于模型特化（model specialization）。该管道支持生成可蒸馏模型所需的高质量合成数据，确保数据来源合规，适用于下游微调与领域适配场景。