多模态

NVIDIA 发布了 Nemotron 3 Nano Omni 模型，这是一个专为处理长上下文多模态任务设计的轻量级模型。该模型能够同时理解并处理文档、音频和视频数据，旨在赋能新一代多模态智能体。其核心变化在于将长上下文能力与多模态理解结合到一个小型化模型中，提升了在复杂跨模态场景下的处理效率与应用灵活性。

阿里巴巴视频生成模型 HappyHorse1.0 开启灰度测试，支持生成15秒多镜头叙事视频，具备多画幅适配和1080P超分输出功能。官网720P视频生成刊例价为0.9元/秒，千问App上体验价格低至0.44元/秒。大众用户可通过千问App使用，还能创作粤语、英语、法语、韩语等多种语言的剧情短片。该模型此前登顶AI Video Arena排行榜，并将于5月份正式发布商用。

OpenAI 发布了新一代模型 GPT-5.5。其上下文窗口从 GPT-5 的 128K 大幅扩展至 512K，推理速度提升约 40%，在多模态理解与代码生成基准测试中表现显著超越前代。模型在复杂指令遵循和长文档处理方面能力突出，同时 API 调用成本降低了 30%。这一升级被视为通向通用人工智能（AGI）道路上的一个重要里程碑。

研究表明，图像生成训练能像大语言模型预训练一样，让模型学习到强大、通用的视觉表征。通过将视觉任务的输出参数化为RGB图像，研究团队将感知任务重构为图像生成任务。基于Nano Banana Pro指令微调构建的通用模型Vision Banana，在涉及2D和3D理解的一系列任务上取得了最先进的结果，在分割任务上媲美Segment Anything Model 3，在度量深度估计上超越Depth Anything系列。这些成果通过轻量级指令微调实现，且未损害基础模型的图像生成能力。图像生成预训练正成为一种通用的视觉学习范式，可能成为构建兼顾生成与理解的基础视觉模型的核心路径。

Xiaomi MiMo-V2.5 系列正式公测，包含 MiMo-V2.5、V2.5-Pro、TTS 与 ASR 等模型。其中 V2.5-Pro 在通用智能体、复杂软件工程等维度对标 Claude Opus 4.6、GPT-5.4，曾用 4.3 小时、672 次工具调用完成北大编译原理课程项目并获满分。

Anthropic Labs 推出 Claude Design，由 Claude Opus 4.7 驱动的视觉设计工具，面向 Claude Pro、Max、Team 及 Enterprise 订阅者开放研究预览。用户可通过对话快速创建设计原型、幻灯片及营销物料，支持自动应用企业设计系统、多格式导入导出，并能与 Claude Code 无缝衔接。据 Brilliant 反馈，复杂页面设计从 20 余条提示缩减至 2 条，设计到生产周期从数周缩短至单次对话。

LLaDA2.0-Uni是一个统一的多模态模型，具备对世界的理解与生成能力。该模型通过整合视觉、语言等多模态信息，实现了跨模态的语义理解和内容生成。其架构支持从图像理解到文本生成、跨模态检索等复杂任务，标志着多模态人工智能向更通用、统一的方向演进。

阿里通义千问团队发布Qwen3.5-Omni，模型拥有数百亿参数和256k上下文，基于超1亿小时音视频数据训练，在215项基准测试中达SOTA水平，关键音频任务超越Gemini-3.1 Pro。采用混合注意力MoE架构，支持10小时音频与400秒720P视频理解。提出ARIA技术优化流式语音合成稳定性，支持10种语言。模型具备Audio-Visual Vibe Coding能力，可直接基于音视频指令生成代码。

Seedance 2.0于2026年2月初在国内发布，作为原生多模态音视频生成模型，采用统一高效架构支持文本、图像、音频、视频四种输入。可生成4-15秒、480p/720p音视频，开放平台支持3视频+9图像+3音频的多模态参考，并提供Fast加速版本。相比前代全面提升基础生成与多模态性能，专家评估显示其已达行业领先水平。

Sentence Transformers 发布了用于训练和微调多模态嵌入与重排序模型的功能。新版本支持将文本、图像等不同模态的数据映射到统一的向量空间，并优化了跨模态检索的精度。关键改进包括对嵌入模型和重排序器进行联合或分阶段训练，显著提升了如图文检索等任务的性能指标。此次更新旨在通过开源工具推动多模态人工智能技术的普及与发展。

Google正式发布Gemini 3.1 Flash TTS，作为下一代表现力AI语音技术，该模型现已全面上线Google旗下各产品线。此次升级标志着Google在语音合成领域的技术突破，旨在为用户提供更自然、富有情感表现力的AI语音交互体验，进一步强化其AI生态系统的语音能力。

研究团队提出生成式细化网络（GRN），通过分层二值量化（HBQ）突破自回归模型的离散化瓶颈，结合全局细化机制与熵引导采样策略，实现类似人类绘画的渐进式修正与复杂度自适应生成。该模型在ImageNet基准上创下图像重建0.56 rFID与类别条件生成1.81 gFID的新纪录，并成功扩展至文本到图像及视频生成任务。相关模型与代码已全面开源。

Gemini Robotics-ER 1.6 正式发布，通过增强具身推理能力为真实世界机器人任务提供底层支持。该版本重点升级空间推理与多视角理解功能，使自主机器人能够更精准地解析三维环境、理解物体间空间关系，并在复杂场景中实现高效决策与操作执行，显著提升机器人在物理世界中的感知与交互性能。

研究团队发布8B参数奖励模型RationalRewards，基于PARROT框架从偏好数据恢复高质量推理依据，实现打分前生成多维度显式批评。该模型仅用同类基线1/10到1/20训练数据即达开源SOTA水平，性能比肩Gemini-2.5-Pro。其结构化推理奖励不仅为强化学习提供细粒度训练信号，更在测试时通过生成-批评-优化循环无需参数更新即可改进输出，在多个基准上匹敌甚至超越传统RL微调效果。

Audio Flamingo 系列发布下一代模型 AF-Next，支持长达 30 分钟的复杂音频输入，并引入 Temporal Audio Chain-of-Thought 技术，将中间推理步骤显式对应到时间戳。该模型基于超过 100 万小时的新增数据进行课程式训练，在 20 个音频理解与推理基准测试中显著超越同规模开源模型，部分指标超过更大规模的闭源模型。团队同步开源了 AF-Next-Instruct、AF-Next-Think 和 AF-Next-Captioner 三个变体。

Sentence Transformers 开源社区发布了支持多模态的嵌入与重排序模型。新模型能够同时处理文本和图像输入，生成统一的语义向量表示，并可通过交叉编码器实现细粒度相关性重排序。该版本显著扩展了原框架的纯文本能力，支持图像-文本检索、跨模态匹配等场景，所有代码与预训练模型均已开源，延续了其推动AI民主化的目标。