DoorDash 推出名为 Ask DoorDash 的 AI 聊天机器人，用户可以用自己的话搜索应用，或通过提示词和照片直接下单，无需逐页浏览餐厅和商店来构建购物车。

ART（Art-based Reinforcement Training）是一种参数高效微调方法，通过仅优化冻结多模态大语言模型的原始视觉输入（像素阵列）来注入信息，无需修改预编译计算图，从而可在 vLLM 等高性能推理引擎上以软提示方式运行。ART 支持任意微调目标，优化后的视觉输入可被风格化为计算艺术作品。在开源 Qwen 架构的不同规模模型上，ART 在数学和结构化工具使用基准测试中达到了与 LoRA 相当的准确率。

6月5日，金山办公发布AI原生多模态笔记产品WPS笔记，摒弃传统文件夹，采用多级AI自动标签组织内容。支持语音、图片、文字、网页等录入；语音转写具备AI实时纠正和声纹区分发言人功能，图片可提取公式并支持LaTeX编辑及梯形校正。全域多模态检索可同时搜索文字、图片、音频。内置WPS灵犀助手，能完成整理、摘要、润色、创建任务清单等操作，支持自定义Skill和记忆设置。开放外部MCP接入，允许Cursor、Claude等第三方AI应用直接读取笔记。

针对第一人称视频空间推理中观测证据受限的问题，现有单次推理方法依赖语义先验无法解决几何歧义。论文提出无训练推理时框架ReRe：推理阶段MLLM从原始视频形成空间假设；重推理阶段通过观察合成的新视角视频验证或修正假设。采用Geometry-to-Video流水线，从预测3D几何渲染抬高斜视的全景新视角，保留MLLM原生视频接口。在VSI-Bench和STI-Bench上，ReRe显著提升开源MLLM性能，匹敌专有模型最优水平。

World Pilot 是一种视觉-语言-动作（VLA）框架，通过世界动作模型（WAM）提供场景演进隐变量与预期轨迹两种先验，分别经 Latent Steering 和 Action Steering 注入决策链。在 LIBERO-Plus 零样本 OOD 基准上，总成功率达 84.7%，并在四个真实机器人操作任务中取得最高成功率，在视角、几何、变形状态和位姿变化场景下优势最显著。

提出结合自蒸馏与强化学习的可扩展框架，激发预训练视频扩散模型（Demonstrator）的任务解决能力。给定未标注场景图像，视觉语言模型（VLM）生成候选任务及详细步骤，条件化Demonstrator生成视频；通过蒸馏将执行知识迁移至仅以图像和简短任务提示为条件的Executor，无需配对任务-视频数据。进一步利用VLM反馈的强化学习优化Executor。在WorldTasks-Benchmark和DreamGen机器人基准上，Executor在VLM评估协议下超越Demonstrator，并有效迁移至机器人任务。

InternVideo3框架通过多模态上下文推理（MCR）提升基础模型的长时序多模态任务能力。MCR将理解视为包含观察、指令、推理、工具行动和记忆的闭环过程，将长视频理解为证据积累与验证。为提升效率，引入多模态多头潜在注意力（M²LA），一种保留完整token流同时压缩KV-cache状态的token保持重参数化。训练阶段包括继续预训练、短到长监督微调、基于规则的强化学习和在线蒸馏。InternVideo3在Video-MME、MLVU、EgoSchema等基准上取得强性能，并实例化为带有检索工具的视频智能体，展现基于证据的鲁棒行为。

苹果 iOS 27 版备忘录新增分割线格式工具，用户可在编辑菜单中插入。深度整合 Siri AI，支持将回答保存为新笔记或添加到已有笔记，并可整理格式混乱的列表。Markdown 粘贴后自动转换为富文本显示，编辑菜单新增“复制为 Markdown”选项。图乐园底层 AI 模型升级，支持照片级真实风格，生成图像自动嵌入 SynthID 水印；Beta 版尚未完全开放新版能力。应用图标采用 Liquid Glass 设计，共享文件夹列表新增蓝色图标标识。

视觉语言模型通常训练为被动回答者，主动提出多样化、视觉中心问题的能力未被充分探索。本文提出无需外部监督的自我进化框架：VLM自身作为提议者和过滤器，生成更难、信息更丰富、更视觉中心的问题，同时维持探索多样性防止训练崩溃。自产问题用于同时训练VLM的提问者与回答者模式。引入智能体评估协议，从感知、推理与多样性三维度衡量提问质量。实验表明该方法显著提升自主问题生成的质量与难度边界，且自我进化的提问者仍保持甚至增强回答性能。

World Tracing 是一种生成式像素对齐几何表示，为每个输入像素预测有序的相机空间3D点栈，第一层对应可见表面，后续层表示从前到后的遮挡表面交点。该表示通过世界追踪扩散Transformer（WT-DiT）实例化，将多个几何层视为独立去噪token，经分解注意力和全局注意力耦合。采用像素空间流匹配和混合噪声调度训练，平衡可见表面重建与遮挡几何生成。在目标、场景和动态基准上，World Tracing在可见表面重建和完整几何生成方面均优于深度预测器和图像转3D生成器，并保持2D-3D对应，支持文本驱动的3D场景编辑、几何条件新视角视频合成及与纹理网格生成器的无缝集成。

针对现有视频RAG基准中查询无需视频即可回答、且采用单一模态-粒度配置的局限，研究者提出V-RAGBench基准，包含(query, evidence chunk, answer)三元组，支持检索与生成的解耦评估；同时提出CARVE方法，通过并行运行多配置检索器并对每个chunk进行自适应重排序，为每个chunk选择最优配置，使生成阶段交织不同配置的证据块。在长视频场景下，CARVE在八个近期VideoRAG基线方法中取得最优结果。

从参考视频克隆相机运动是视频生成的重要任务。现有方法依赖参数化表示或合成交叉配对数据，难以处理多镜头生成且数据稀缺。OmniDirector将相机参数编码为网格运动视频作为通用表示，支持多镜头轨迹整合。框架在百万级相机网格-视频对上训练，采用多模态扩散Transformer，协调角色、动作和相机。同时设计层级提示扩展智能体，通过理解信号关系系统描述相机运动和视觉内容，集成不同控制信号。实验证明其在复杂相机运动克隆上性能优越、可控性强。

Avatar V 是一个生产级框架，通过视频参考条件建模替代静态图像驱动。模型直接对参考视频的完整 token 序列进行注意力计算，同时重现静态身份和动态行为（如说话节奏、微表情）。核心技术包括线性复杂度的稀疏参考注意力、支持闭环风格迁移的运动表示流、继承全参考条件的身份感知超分精炼器。数据引擎从 5000 万原始视频中筛选出 1 亿以上训练片段，经 flow matching 预训练、个性微调、两阶段蒸馏（>10 倍加速）和 RLHF 对齐等五阶段训练，部署于数千 GPU。可生成无限时长 1080p 视频，在跨场景基准上保持最优的身份保留、唇同步和生成质量，全面超越 Seedance 2.0、Kling O3 Pro、Veo 3.1 和 OmniHuman 1.5。

Google 将去年 5 月短暂发布的 Gemini Diffusion 研究成果转化为开放权重的 Gemma 模型，模型名为 google/diffusiongemma-26B-A4B-it，采用 Apache 2 许可证开源。NVIDIA 正通过其 NIM 云 API 免费托管该模型。实测生成 2,409 个模型 token 仅需 4.4 秒，速度至少达到 500 token/s。

Google 发布 260 亿参数的 DiffusionGemma 模型，文本生成方式不再逐 token 预测，而是通过扩散过程从噪声直接生成，类似图像 AI 将噪声转化为图片。Nvidia 测试显示，该模型在单块 H100 GPU 上可达约每秒 1,000 tokens，速度约为可比自回归模型的四倍。代价是输出质量较低，因此 Google 目前将其定位为面向开发者的实验性工具。模型已开源。

Apple 在 WWDC 2026 上正式推出 Siri AI，其内部集成了 Google 技术。然而，该 AI 服务的可用性受到严格限制，大部分地区的用户无法使用。Apple 操作系统项目管理副总裁 Stacey Ford 在介绍 Spotlight 时提及了搜索体验的痛点，这一发布标志着 Apple 在 AI 领域的重要进展，但全球覆盖的缺失成为显著争议点。

Lip Forcing提出了自回归扩散方法用于视频到视频唇同步，从14B参数的音频条件双向视频扩散教师模型蒸馏出因果学生模型。推理时每个块仅需两步去噪，无需CFG，实现实时流式处理。技术分析揭示CFG的保真度-同步权衡，进而衍生出Sync-Window DMD、两步推理调度和基于SyncNet的奖励三项组件。1.3B学生模型在31 FPS下实时输出，比同规模双向模型快17.6倍；14B学生模型是目前最大的V2V唇同步扩散模型，比教师快39.8倍，保真度接近。首帧时延均小于1毫秒。

WorldOlympiad 将视频世界模型评估分解为物理、几何和交互三个维度。物理轨道用物体分割和 MLLM-as-judge 检验视频对力学、热现象、材料属性等规则的遵循；几何轨道以高斯泼溅重建评估结构一致性、跨视角连贯性与相机轨迹对齐；交互轨道评测模型能否按复杂动作提示生成连贯长程视频。基准覆盖游戏、机器人和通用真实视频三大场景。实验表明，当前最先进模型在物理推理、3D 一致性和长程交互上存在显著差距。

Data2Story是一个多智能体框架，将数据记者工作流中的多种专业角色编排成虚拟新闻编辑室。其两项创新是：每个声明通过Inspector链接到数据、代码或外部参考，实现基于证据的归因；文章可多模态生成，如为地理内容生成交互式地图、为音乐生成音频。在18篇文章上的评估从四个维度进行：人与智能体的角度覆盖、53名参与者的评分、计算机使用智能体作为读者导航代理、以及可验证性（代码验证器重新执行语句并与参考对照）。Data2Story产出有竞争力且证据可追溯的多媒体故事，在透明度和可审计性上表现突出，但人类文章在编辑角度、创意设计和呈现上仍具优势。框架定位为记者协作者，代码和演示已公开。

Latent Memory提出一种潜在空间记忆范式，由小型压缩器LLM/VLM将每个原始文本或图像证据压缩为单个高维潜在token。查询时，将查询嵌入同一空间检索相关token并直接输入预训练LLM/VLM生成答案。通过统一端到端训练，结合重建、对比和蒸馏目标，使单个token同时携带重建、检索和生成信息。在HotpotQA等七个纯文本QA基准和多项多模态QA基准上，Latent Memory取得与先进RAG基线相当的问答性能，同时生成器token消耗减少3至10倍，并在WebQA上达到图像问答最强性能。代码已公开。

ARM是一种基于离散表示的自回归模型，将图像理解、生成与编辑统一在下一个token预测框架中。首先训练离散语义视觉tokenizer，通过多目标监督实现语义判别、语言对齐与忠实重建；然后在文本与图像token序列上训练7B自回归模型，自然融合视觉语言感知与生成能力；最后用强化学习优化文本到图像生成与指令引导编辑的偏好对齐，使WISE整体得分从0.50提升至0.56，GEdit-Bench-EN的G_O评分从5.75提升至6.68，并观察到跨任务协同效果。

iOS 27 相机应用更新幅度不大，主要对 iOS 26 重构后的界面进行补充修饰。核心元素位置不变，当前模式居中，默认突出“照片”，左右提示“视频”和“人像”。设置抽屉移至右下角，面板统一从底部弹出；视频设置从顶部移到底部；照片模式新增景深、格式、水平仪、网格线等入口。真正新功能是相机内整合 Siri Mode，基于 Visual Intelligence，用户拍下目标后直接提问，Siri 按画面内容回答，官方用例包括分摊账单和记录饮食摄入。

iOS 27 版 Apple 地图升级“飞行俯瞰”功能，结合 AI 与航拍图像优化植被 3D 显示效果，树木枝干层次更丰富，目前仅纽约、伦敦等部分城市可用。同时引入“本地榜单”（Local Lists）功能，基于地图交互数据统计区域内最受欢迎餐厅，展示列表、营业时间、价格区间和菜品图片，用户可添加标记，基于隐私数据不关联个人，功能先在美国落地。

视觉-语言-动作（VLA）模型将预训练VLM与连续动作专家结合，但在分布外语言指令上泛化差——原因是数据中语言多样性低且动作专家随机初始化导致梯度噪声削弱VLM。APT从贝叶斯视角将策略分解为语言无关的视觉-动作（VA）先验和语言条件VLA似然，采用两阶段训练：阶段1冻结VLM，在视觉-动作对上预训练动作专家作为VA先验；阶段2通过门控融合注入语言token，保留已学习的视觉运动先验。APT适用于π和GR00T风格架构，在未见指令和组合任务上实现一致提升。

Orchestra-o1是一种全模态智能体编排框架，支持文本、图像、音频和视频等多模态输入的统一理解与协调。其引入统一编排机制，实现模态感知的任务分解、在线子智能体专化及并行子任务执行。在OmniGAIA基准上，Orchestra-o1超越第二名10.3%的准确率。研究还提出决策对齐的组相对策略优化（DA-GRPO），一种高效智能体强化学习方法，用于训练Orchestra-o1-8B，该模型在所有现有开源全模态智能体中达到最优性能。

多模态图像融合现有方法基于2D特征网格，局部建模强但全局外观控制有限。本文引入紧凑1D token接口，基于冻结预训练图像tokenizer作为全局载体，同时保留2D空间路径恢复局部结构。提出选择性token编辑（STE），稀疏更新或替换关键token，在不改变融合主干、不引入额外损失下引导全局一致性。在四个基准上取得最佳整体性能，全局一致性和局部保真度均提升。

PianoKontext 是一种流匹配渲染模型，专为古典钢琴音乐设计，在预训练 Music2Latent 模型的潜在空间中生成可变长度的富有表现力演奏。该方法将 MIDI 乐谱合成为平淡音频，利用动态时间规整（DTW）在潜在空间中对齐乐谱与演奏数据，并将对齐的嵌入拼接至 DiT 块中，以简单有效的方式学习乐谱与演奏之间的依赖关系。演示音频见项目页面。

Anthropic 于 6 月 9 日推出 Claude Fable 5 和 Mythos 5。Fable 5 面向普通用户，是目前公开最强的 Claude 模型，在软件工程、知识工作、视觉、科学研究等领域优于 Opus，自主运行时间更长。Mythos 5 通过 Project Glasswing 向网络安全防御方和基础设施提供商开放，具备全球最强网络安全能力，并在药物设计、分子生物学和基因组学中表现突出。两款模型本质相同，仅安全护栏不同。Fable 5 采用新分类器拦截网络安全、生物化学和蒸馏请求，命中后转由 Claude Opus 4.8 响应。定价均为每百万输入 10 美元、每百万输出 50 美元。Fable 5 已全面上线，Mythos 5 暂限 Glasswing 合作伙伴及少量生物研究者。

Gemini 3.5 Live Translate 提供即时语音到语音翻译，能够保留说话者的语调、节奏和音高，并通过 SynthID 水印确保安全性。

苹果在 WWDC 2026 上重点展示了其长期以来的 Siri 助手改进体验，并宣布了 iOS 27 和 Apple Intelligence 等多项更新，所有 announcement 均大量融入 AI 技术。

Gemini 3.5 Live Translate 是一款流式语音到语音翻译模型，支持 70 多种语言。它会持续生成音频，仅落后说话人几秒。该模型通过 Gemini Live API、Google Meet 和翻译应用向开发者开放。

Anthropic 发布 Claude Fable 5，称其为迄今广泛可用的最强模型。该模型在软件工程、知识工作与视觉任务中表现突出，且随着任务变长、变复杂，领先优势进一步扩大。Fable 5 是 Anthropic 首次大规模发布的 Mythos 类 AI 模型，此前该公司因该类模型在网络安全任务中能力过强、风险过高而未公开。此次发布得益于新增的安全措施，可在特定高风险领域阻止模型生成响应。

谷歌发布实时语音互译音频模型 Gemini 3.5 Live Translate，可自动识别 70 多种语言并保留说话者的语调、语速和音高。该模型连续生成语音，在提升翻译质量与跟上说话者节奏间取得平衡，全程仅慢几秒。开发者即日起可通过 Gemini Live API 和 Google AI Studio 使用公开预览版；企业客户本月起可在 Google Meet 中使用私有预览版；普通用户通过 Android 和 iOS 版谷歌翻译即可使用。Android 用户还将获得“聆听模式”，可将手机贴耳通过听筒收听翻译音频。