Gemma 4 12B 是 Google DeepMind 发布的无需编码器的多模态模型，直接将视觉和音频输入大语言模型骨干，支持原生音频，可在 16 GB 笔记本电脑上本地运行，采用 Apache 2.0 开源许可。

AYi@AYi_AInotes

65

Google 推出 Gemma 4 12B（Apache 2.0），采用无独立视觉编码器的统一多模态架构。仅用 35M 参数的轻量嵌入器，将图像切为 48×48 块、音频（16kHz 原始波形）切为 40ms 帧，直接作为 token 输入 Transformer。M4 Max 上 4-bit 量化识图延迟 1.2-1.5 秒，官方称 16GB 内存可用，但社区指出高分辨率多图会压线。该设计暗示：当基座模型足够大，专用子模块不再是必需，未来一个微调好的统一模型可能取代传统拼装 Whisper、LLaVa 等多模态 pipeline。

Google Gemma: Meet Gemma 4 12B! A unified, encoder-free multimodal model designed to bring high-performance intelligence directly to y...

郭明錤｜Ming-Chi Kuo@mingchikuo

65

苹果分析师郭明錤更新预测：此前规划的XR头戴装置路线图已作废，目前仅两款智能眼镜设备有能见度。路线图大改由下一任CEO John Ternus拍板，Vision Pro系列被移除，资源转向智能眼镜。最新供应链调查显示，具有显示功能的AR/XR智能眼镜（光波导）推迟至2029年，无显示功能的AI眼镜（类似Ray-Ban Meta）仍预计2027年推出。郭明錤认为智能眼镜将带动下一波消费电子趋势。

郭明錤|Ming-Chi Kuo: Apple Vision系列與智慧眼鏡產品規劃預測 (2025-2028):智慧眼鏡可望帶動下一個消費電子趨勢 全文連結:https://mingchikuo.craft.me/FgF89wv0af9Bpw

🚨 AI News | TestingCatalog@testingcatalog

65

Google Gemma: Meet Gemma 4 12B! A unified, encoder-free multimodal model designed to bring high-performance intelligence directly to y...

Google AI Developers@googleaidevs

77

Google发布Gemma 4 12B，一款无编码器的统一多模态模型，可直接将视觉和音频输入送入LLM主干，无需传统多模态编码器。该模型填补了移动端E4B模型与26B MoE模型之间的空白，封装前沿推理与原生音频能力，采用Apache 2.0许可。在16GB VRAM下即可本地运行复杂多步骤智能体工作流，性能接近26B模型。

elvis@omarsar0

66

DAIR.AI的Elvis Saravia将微软SkillOpt论文集成到智能体编排器中后，所有智能体技能获得测试框架与自我演化机制。应用于多模态论文图表提取技能时，质量评分从0.73提升至0.93（+20点），提取结果显著改善。Saravia认为这是自我改进AI的早期范例，该思路可扩展至智能体模式优化、工具使用、上下文工程、智能体搜索及工作流评估等环节。他已基于SkillOpt启动多项后续实验。

Google DeepMind 的 Gemma 4 12B 模型可在 16GB RAM 的普通笔记本上运行，支持本地数据处理与视觉洞察生成。macOS 用户可通过 Google AI Edge Gallery 执行动态 Python 代码与可视化，通过 Google AI Edge Eloquent 实现完全离线的语音听写和文本编辑。另外，LiteRT-LM CLI 新增 serve 命令，可创建行业兼容的本地端点，驱动完全本地的 AI 工具和智能体。

京东发布并开源 JoyAI-Echo 长音视频生成框架。其内置记忆库可在长达 5 分钟的视频中保持角色身份、视觉形象和声音音色高度一致。框架采用记忆驱动后训练流程，结合 SFT、跨模态 RLHF 与 Distribution Matching Distillation（DMD）技术，DMD 带来约 7.5 倍推理速度提升。JoyAI-Echo 还引入 Director Agent，支持自然语言需求自动拆分为剧本、角色、场景和镜头，实现对话式编辑。配套实时超分模块支持 736×1280 → 1152×1920 及 736×1280 → 1472×2560 两档分辨率提升。京东称该项目标志着其在长视频生成领域进入全球第一梯队。

Google Search 和 Google Shopping 中的 AI 工具帮助用户在二手和复古购物中发现好物。

MiniMax M3发布，后续将开源。在SWE-Bench Pro上得59.0分，超越GPT-5.5和Gemini 3.1 Pro，接近Opus 4.7；终端编程与Opus 4.7持平；多模态OmniDocBench超Gemini 3.1 Pro；自主Agent框架Claw-Eval最高分。新架构MSA将每token计算量压至1/20，百万token上下文预填充快9倍、解码快15倍。支持Dynamic Workflows动态工作流，可调用MiniMax全家桶API。价格：Plus 6亿token 49元/月，Max 18亿token 119元/月，Ultra 55亿token 469元/月。自主运行近12小时产出18次commit、23张实验图表并跑通核心实验。

NVIDIA发布Cosmos 3，这是一款开放的全模态世界模型。该模型采用双塔混合Transformer架构，统一了物理推理、世界生成与动作生成能力，结合了自回归VLM推理器与扩散生成器，旨在赋能物理AI。

向阳乔木@vista8

65

xAI前视频多模态负责人Ethan He在离职转向语言模型研究时表示，视频模型最大的瓶颈是语言模型。他曾在NVIDIA参与Cosmos模型开发，并在加入xAI后三个月内从零搭建出Grok Imagine 0.9。他指出训练视频模型成本高昂，例如存储10亿个视频需5PB，仅AWS月费就达数百万人民币。视频模型需先预训练图像模型，再通过VLM生成合成字幕以解决数据对齐问题。当前模型在生成长视频时上下文容易爆炸，而他认为扩散模型对文本的理解过于字面化，对语言意图的深层理解才是突破关键。

向阳乔木@vista8

54

本文转述了Laten Space对Ethan He的访谈。他分享了AI开发的核心经验：模型进步取决于团队迭代速度；质量提升常源于修复数据与训练流程的BUG而非新算法；视频模型需要极详尽的文本标注。他还指出，图像生成耗时主要在“思考”重写提示词，且语言模型描述音乐细节非常困难。在脑机接口普及前，最自然的人机交互将是用户说话，AI用生成式画面回应。

向阳乔木: http://x.com/i/article/2062080260586283008

荣耀发布视频前瞻其新形态手机 Robot Phone，定位为视频影像设备，其核心特征为可翻转的电动三轴云台相机。该相机配备2亿像素传感器，支持 AI 物体追踪与视频剪辑。官方确认，初代产品的抗跌落性能已达旗舰水平，但防水仍有提升空间，将持续迭代优化三防特性。研发过程中，该机前后改了5版，历时一年才打磨出雏形，并计划在2026年第三季度上市。

PaddleOCR-VL-1.6是一个升级的紧凑型文档解析模型，基于0.9B参数规模的PaddleOCR-VL-1.5构建。针对前一版本中模型行为不稳定、数据稀疏或监督不可靠的欠优化区域，该模型引入了区域感知数据优化框架进行定向增强，并采用基于精选数据选择和强化学习的渐进式后训练方案。PaddleOCR-VL-1.6在OmniDocBench v1.6上取得了96.33%的新SOTA成绩，展现出与顶尖VLMs的竞争力。

消息称荣耀 Robot Phone 将于今年第三季度上市，定位为“全球首款机器人手机”，主打影音创作。其核心功能包括利用 AI 实现自动追踪主体与全自动运镜，提供大量预设模板。同时支持 C-Log、LUTs 等专业格式，并具备锁焦、锁白平衡、锁 AE 及锁运镜数据等能力。该机此前已宣布与电影摄影机厂商 ARRI 阿莱达成战略合作，其抗跌落性能已达旗舰水平，但防水能力仍有提升空间。

为解决检索增强生成（RAG）系统处理图像时的挑战，Kapa.ai提出了一种方法。他们使用GPT-4 Vision模型为每张图像生成文本描述。处理流程包括将图片压缩至512×512像素并批量生成描述。最终，这些图像描述与元数据一同存入向量数据库。该方法使RAG能够检索图像内容，实现约70%的检索准确率，且成本极低，每张图片处理成本约0.01美元。

Saining Xie@sainingxie

67

Sihyun Yu: Can MLLMs actually track what's happening in a video? Introducing VSTAT 🎯, our new benchmark for visual state tracking....

研究者提出了视觉状态追踪基准VSTAT，用于诊断多模态大语言模型在视频理解中持续追踪实体与状态的能力。该基准包含834个来自合成与真实视频的片段，并配有1500个必须通过连续感知才能回答的问题。测试发现，现有顶尖多模态大语言模型在VSTAT上的表现远低于人类，仅略高于随机答案基线。分析表明，模型的文本推理能力尚可，但视觉感知所必需的事件追踪能力存在不足。初步评估也显示，包括智能体在内的现有方法也未能有效解决这一问题。

MiniMax (official)@MiniMax_AI

71

SiliconFlow: Coding like Opus4.7 / 1M context window / Native multimodal @MiniMax_AI M3 is now on SiliconFlow with day-0 support 🔥 �...

SenseTime@SenseTime_AI

34

商汤联合创始人兼首席科学家在2026 AI创新论坛指出，模型架构优化能显著降低单位智能所需的算力。其新发布的多模态模型SenseNova U1基于自研Neo-Unify架构，实践了这一理念，在生成信息图时实现了显著更低的计算成本，并已适配多款中国芯片。商汤强调持续通过应用与模型创新推动芯片发展，以创造商业价值与长期竞争力。

多模态语言模型在无法直接观测空间信息时推理能力不足。Imaginative Perception Tokens (IPT) 是一种中间感知表征，使模型能在保持与输入观测一致的前提下，外推出替代空间配置下的感知结果。研究基于统一 VLM 模型 BAGEL，构建了 Perspective Taking、Path Tracing 和 Multiview Counting 三个任务共约 2 万样本的基准。IPT 监督训练持续提升空间推理性能，在 MVC 上准确率提升 3.4%，在 PT 上与强闭源模型相当，且常优于文本思维链训练。IPT 为不可观测空间结构提供了原则性监督信号，同时生成可解释的中间表征。

BRepCLIP是首个通过对比预训练将CAD边界表示（BRep）几何与语言和图像嵌入对齐的框架。每个CAD对象被建模为面与边token序列，使用表面（如圆柱面、环面、NURBS）和曲线（如直线、圆弧、B样条）的离散词汇表，并补充空间与语义描述符。Transformer编码器将这些token汇聚为全局BRep嵌入，通过联合对比目标与CLIP的文本、图像编码器对齐。相比基于点云的OpenShape，BRepCLIP在ABC、CADParser、Automate数据集上Top-1检索分别提升40.4%、22.0%和23.9%，在FabWave上零样本分类Top-1提升15%。该框架还可作为CAD感知相似度度量用于评估文本和图像条件CAD生成。

研究个人相机胶卷视觉问答场景，AI助手可访问用户相机胶卷并检索相关照片回答事实性或开放性问题。构建camroll数据集，包含50名用户、31,476张图像和2,500个问答对。设计camroll-agent对话式智能体，配备层次化记忆和最小工具集以高效导航大规模个性化视觉记忆。实验表明其优于多种基线方法，揭示个性化视觉记忆需要不同于标准长上下文文本记忆的方法，尤其在一致性、视觉细节和用户特定上下文方面。

VideoKR是首个专为强化知识与推理密集型视频理解设计的大规模训练语料，包含315K个视频推理示例，覆盖145K个新收集的CC许可专家领域视频。研究开发了一种人机协同、面向技能的示例生成管道，并构建了专家标注基准VideoKR-Eval。实验表明，在标准SFT→GRPO流水线下，基于VideoKR后训练的模型在知识密集型视频推理上超越先前方法，同时在通用视频推理上保持竞争力。消融实验进一步证实了数据设计的驱动作用。

Video2LoRA通过感知器超网络读取冻结视觉语言模型编码视频时的逐层中间表示，单次前向传播生成LoRA适配器，无需迭代梯度更新。在SmolVLM2 500M和2.2B上训练后，同一冻结VLM仅从适配器回答查询，上下文中零视觉token。在五个字幕基准和八个视频问答基准配对中，Video2LoRA非劣效且等价于直接视频上下文推理。虽仅用12帧384px训练，但稳定支持1024帧和1024px，将回答时视觉token负载减少最高1500倍，查询TTFT减少6–80倍。非重叠视频段独立生成的适配器可在秩空间中组合。

MiniMax (official)@MiniMax_AI

74

MiniMax M3模型通过Live Session分享了核心信息。其MSA技术采用块级Top-K选择，保持真实、未压缩的KV缓存，使1M token上下文窗口高效运行。该技术将长上下文生成的注意力内核解码时间从约30%降至约5%，效率提升显著。M3是原生多模态模型，支持图像视频输入，可处理长程智能体任务及桌面操作，并具备视觉自评估迭代能力。模型在金融任务中展现出初级分析师水平。未来版本将聚焦更复杂的长程任务，并扩展金融、法律与生物领域。Together AI为其提供推理服务。

Together AI: MiniMax M3 is live and Together AI is powering its inference 🚀 Tomorrow at 6pm PT we're going live on X Spaces with the...

fofr@fofrAI

57

David Maliglowka: Gemini Omni 🏕️ prompt in 🧵

研究提出“语义运动锚点”方法，用于解决协同语音手势生成与检索中语义理解不足的问题。该方法将3D手势离散化为身体-手部运动原语，并转化为结构化的自然语言描述，作为辅助监督信号锚定于语音文本。在BEAT2数据集上，该方法将文本到手势检索的R@1指标提升了8.2%，并优于现有方法。检索增强的手势生成用户研究显示，该方法检索到的手势在传达交流意图方面明显优于基线。