Artificial Analysis@ArtificialAnlysArtificial Analysis推出语音智能体基准测试𝜏-Voice，用于评估客服场景中的工具调用与多轮对话能力。测试显示，当前最强语音到语音模型仅能端到端解决约一半的真实任务，与文本智能体存在明显差距。语音通道因口音、噪音、网络问题及需快速响应、保持对话一致性而更具挑战。在模拟航空、零售、电信领域的真实音频条件下，xAI的Grok Voice Think Fast 1.0以52.1%的成功率领先，平均对话时长5.6分钟；OpenAI与Google的模型紧随其后。该基准补充了现有的大规模音频智能测试与对话自然度评估体系。
🚨 AI News | TestingCatalog@testingcatalog谷歌在网页版中新增了Gemini Omni横幅，预示其将成为一个能整合文本、图像和视频的多模态AI代理。关键功能是允许用户将自身形象添加到不同场景中，这与即将登陆Gemini的AI数字形象功能高度关联。该“Likeness”功能很可能深度集成于移动应用，其运作方式曾应用于Sora。外界猜测它可能在今日的Android活动中亮相。
由Mira Murati创立的Thinking Machines Lab发布了其首个人工智能模型，旨在突破传统语音AI的问答模式。该模型以200毫秒为数据块，并行处理音频、视频和文本信息，专注于提升实时交互的流畅性与自然度。公司宣称，这一设计在交互质量上超越了OpenAI的GPT Realtime 2和Google的Gemini Live，致力于推动语音助手向更自然、非问答式的对话体验演进，从而重新定义人机交互方式。
AK@_akhaliq美国移民及海关执法局计划自主开发智能眼镜，以补充其现有的人脸识别应用程序。此举旨在通过可穿戴设备扩展生物识别监控能力，提升现场执法人员的身份核查效率。该智能眼镜项目预计将强化ICE在边境和执法行动中的实时人脸识别与数据访问功能，标志着其监控技术正从移动应用向更集成、更便捷的硬件形态延伸。
Kling AI@Kling_aiMade with GPT image 2 + Kling AI Prompt: Ultra-realistic F1 live TV broadcast screenshot, identity preserved exactly fro...
AK@_akhaliq京东平台正式上线AI试穿功能。用户上传个人照片后，可在数秒内生成高清试穿效果图，实现一键切换同款不同色服饰进行对比，并可根据系统推荐搭配上下装。该功能基于京东自研算法，能分析消费者身材维度，使服装在试穿中自然垂坠贴合，并对棉质、丝绸、牛仔等多种材质进行高精度渲染，模拟真实质感。目前该功能已接入商品详情主图、“逛”和“AI购”等频道，初期支持男女装及运动服饰，商家仅需配置白底图等素材即可使用。
Berryxia.AI@berryxia大家说Google 最近疯狂降智的时候，是不是要有大的要来了。 依稀记得Gemini3.1 发布前海外疯狂吹捧，但过后似乎没多少人真正使用。 这一波我觉得也该搞点东西出来了吧~~~ [引用 @testingcatalog]：Google keeps preparing its upcoming Gemini Omni models for the release. > Gemini Omni model will be available on APIs as well > The model will be considered as Agent, similarly to Deep Research on AI Studio Soon? 👀 P. S. Just a reminder that Nano Banana 1 wasn’t better than Imagen v4
Google keeps preparing its upcoming Gemini Omni models for the release. > Gemini Omni model will be available on APIs as...
针对多模态大语言模型在长尾目标分布下数值回归表现不佳的问题，本研究提出一种基于分布感知的强化学习框架。该方法通过群组相对策略优化，引入基于一致性相关系数的奖励机制，在批次层面提供基于比较的监督，使模型预测分布与真实分布在相关性、尺度和均值上对齐。该即插即用框架无需修改模型架构。在统一的长尾回归基准测试中，该方法相比监督微调和现有回归方法取得了持续改进，尤其在中等样本和少样本场景下提升显著。
研究团队发布WorldReasonBench基准，旨在直接评估视频生成模型作为“世界模拟器”的推理能力。该基准包含436个测试案例，涵盖物理、社会、逻辑和信息四大维度及22个子类，要求模型根据初始状态与动作生成状态演化一致的未来视频。评估采用人类对齐的双部分方法：过程感知推理验证通过结构化问答检测时序与因果错误；多维质量评估则对推理质量、时序一致性和视觉美学进行评分。测试发现，当前先进模型在视觉合理性与世界推理能力间存在显著差距，生成的视频可能看似逼真却违反动态、因果或信息守恒规律。相关资源已开源。
Qwen-Image-2.0是一个统一高保真生成与精确编辑的全能图像生成基础模型。它采用Qwen3-VL作为条件编码器，结合多模态扩散变换器进行联合建模，并通过大规模数据整理与多阶段训练实现强化。该模型支持长达1K令牌的指令输入，能生成幻灯片、海报等富文本内容，显著提升多语言文本渲染与排版质量。在生成方面，它增强了细节、纹理真实感与光照一致性，并更可靠遵循复杂指令。人工评估表明，其在生成和编辑任务上均大幅超越前代模型。
SenseTime@SenseTime_AIImagine a single AI that can read text, generate images, edit photos, and even handle interleaved text+image tasks. Sens...
作者利用人工智能开发了一款工具，用于监测和分析夜间可能吵醒他的声音。该工具通过记录和分析环境音频，识别并分类噪音来源，帮助作者找出睡眠中断的具体原因。这一实践展示了AI在解决个人生活问题上的实际应用潜力。
Rohan Paul@rohanpaul_aiThinking Machines公司发布了TML-Interaction-Small模型，旨在以“始终在场”的AI取代传统的轮替式对话AI。该模型采用混合专家架构，将音频、视频和文本流切分为200毫秒的微轮次，使其能在交互过程中并行执行聆听、观看、说话、绘图、搜索及调用工具等操作。其核心设计理念是让人工智能像人类一样实时并行处理多任务。模型在保持低延迟（0.40秒）的同时，保留了强大的推理与指令遵循能力，且交互性直接内建于模型架构，而非依赖外部组件拼凑实现。
People talk, listen, watch, think, and collaborate at the same time, in real time. We've designed an AI that works with ...
研究团队推出首个全面的全模态个性化基准测试框架Omni-Persona，涵盖文本、图像和音频三大模态，包含4个任务组和18个细粒度任务。该研究将任务形式化为在“人物模态图”上进行跨模态路由，并提出了同时奖励正确基础定位与恰当弃答能力的校准准确率作为核心评估指标。诊断实验揭示了开源模型存在持续的音频与视觉基础定位差距，同时发现可回答召回率和参数规模不能完全诊断模型表现，而基于结果的强化学习虽泛化更一致，但在当前奖励设计下会趋于保守。该基准为后续训练和奖励设计提供了关键指导。
针对现有图像到3D生成中像素级保真度不足的问题，研究团队提出Pixal3D新范式。该方法摒弃在规范空间中生成的常规做法，通过像素回投影条件方案，将多尺度图像特征直接提升为3D特征体积，从而建立明确无歧义的像素到3D对应关系。此举显著提升了生成资产相对于输入图像的保真度，使其接近重建水平。该框架可扩展生成高质量3D资产，并能自然支持多视图生成与高保真、对象分离的3D场景合成。
SiliconFlow@SiliconFlowAIThis works really well btw, at the end of your query ask your LLM to "structure your response as HTML", then view the ge...
歸藏(guizang.ai)@op7418前OpenAI CTO Mira创立的Thinking Machines公司发布了一种创新的“交互模型”。该模型能原生、持续地接收音频、视频和文本等多模态输入，并实时思考与响应，而非通过Agent串联多个独立模型。其架构分为两部分：前台交互模型以200毫秒为节点处理输入并维持用户“在场感”，支持随时打断；后台推理模型则处理长程规划、工具调用等复杂任务。两者协同工作，最终呈现为一个既能实时交互又能处理重度任务的统一界面。
People talk, listen, watch, think, and collaborate at the same time, in real time. We've designed an AI that works with ...
elvis@omarsar0People talk, listen, watch, think, and collaborate at the same time, in real time. We've designed an AI that works with ...
Berryxia.AI@berryxia推文指出Apple的统一内存架构是端侧AI的理想平台。同时，OpenBMB发布了专为消费级硬件优化的1.3B多模态模型MiniCPM-V 4.6。该模型采用LLaVA-UHD v4技术，将视觉编码成本降低55%，实现了高效的边缘原生部署。其在多项关键基准测试中超越了更大的模型，且token消耗仅为对比模型的2.5%。在RTX 4090上处理高分辨率图像时，首token延迟仅75.7ms，速度快2.2倍。模型技术亮点包括Intra-ViT早期压缩和混合视觉压缩，有效平衡了分辨率与延迟。其部署友好，支持iOS、Android、HarmonyOS及多种主流推理框架与量化格式，相关资源已在各大平台开源。
1/5 MiniCPM-V 4.6 (1.3B) is now live 🚀🚀 High-res visual processing, optimized for consumer-grade and mobile hardware. ...
苹果近期发布三项人工智能研究，直接回应了其搁置Vision Pro研发的传闻。研究包括：提出SFI-Bench基准，通过134段视频和1555道问题测试多模态大模型的空间功能智能；利用AI自动生成美国手语标注，将人工成本降低数百小时；以及提出HeadsUp方法，基于超万人数据集进行高质量3D头部重建，可能用于优化Vision Pro的Persona等功能。这些进展印证了苹果对空间计算方向的持续投入。
DocAtlas是一个多语言文档理解框架，覆盖82种语言。它通过差异渲染与合成生成双流程，构建高保真OCR数据集与基准测试，产出统一结构化标注。研究评估16个模型，发现低资源语言存在性能差距。利用渲染生成的真值作为正向信号，通过直接偏好优化实现了稳定的多语言适配，在域内和域外准确性上均实现提升，且未损害基础语言性能。最佳模型变体DocAtlas-DeepSeek较最强基线提升1.7%。
本文提出了一种新的可控图像生成原理，其核心是通过更换“参考集”来引导预训练模型，无需参数更新。该方法基于流匹配框架，通过调整条件端点均值来改变生成流程。具体实现了两种方式：免训练的“参考均值引导”，将参考库的校正量应用于冻结模型，实现对颜色、身份、风格与结构的控制；以及“半参数引导”，通过显式均值锚点和学习残差优化器，达到高质量并支持推理时更换参考集。这一工作指向了生成模型可通过数据而非参数更新来适应新任务的更广泛方向。
本文提出AI CFD Scientist，一个开源的计算流体动力学AI科学家框架。它首次在单一可检视工作流中整合了文献驱动的构思、验证执行、基于视觉的物理验证及图文写作。其核心是一个视觉-语言物理验证门，能在接受结果前检查流场渲染图。实验表明，该框架自主发现了能降低壁面摩擦系数误差的湍流模型修正；在同等成本下，其性能优于通用AI科学家基线，因其具备关键的领域专用验证能力；对照实验证实，视觉验证门能有效检测出求解器日志遗漏的多数静默故障。
TrackCraft3R首次将预训练的视频扩散Transformer改造为前馈式密集3D跟踪器。该方法通过双潜在表征（几何潜在与跟踪潜在）和时序RoPE对齐两项核心设计，将视频DiT的逐帧生成范式转换为以参考帧为锚点的跟踪范式，仅需LoRA微调。给定单目视频及其逐帧重建点云图，模型能单次前向传播预测出以首帧为锚点的跟踪点云图及其可见性。该方法在标准3D跟踪基准上实现了最优性能，同时以1.3倍的速度和仅需1/4.6的峰值内存运行，并对大幅运动和长视频保持鲁棒性。
ShapeCodeBench是一个用于感知到程序重建的合成基准测试。给定一张渲染的光栅图像，模型必须输出一个可执行的绘图程序，由确定性评估器重新渲染并与目标图像比对。其v1版本在512x512黑白画布上定义了四种基本图形，每个实例均由随机数生成器生成，可创建全新的测试集以减少数据污染。基准发布了一个包含150个样本的固定评估集，涵盖简单、中等和困难三个级别，评估指标包括精确匹配、像素精度、前景IoU等。测试结果显示，传统计算机视觉启发式方法在简单场景中表现尚可，但在图形重叠时失效；最强的多模态配置能保留大部分前景结构，但因细微参数误差仍无法达到精确匹配。目前最佳精确匹配率仍然很低，表明该基准远未饱和。相关代码、数据集及论文资源均已开源。
PresentAgent-2 是一个从用户查询生成端到端演示视频的智能体框架。它首先将开放式查询总结为聚焦主题，并从演示友好型来源进行深度研究，收集文本、图像、GIF和视频等多模态资源。随后构建演示幻灯片，生成特定模式的脚本，并将幻灯片、音频和动态媒体合成为完整视频。该框架统一支持三种独立演示模式：单人演示（单解说员）、讨论式演示（多演讲者结构化角色）和交互式演示（基于生成内容回答观众问题）。研究团队构建了涵盖三种场景的多模态演示基准，并制定了内容质量、媒体相关性、动态媒体使用等评估标准，从而将演示生成从文档依赖的幻灯片创建扩展到查询驱动、研究基础的多模态视频生成。
针对现有美学评估常简化为单图像打分的问题，研究提出了视觉美学基准（VAB），将其定义为在主题匹配的候选图像集中进行对比选择。该基准包含400项任务和1,195张图像，每项任务由10位专家达成共识标注。评估20个前沿多模态大模型和6个专用视觉质量奖励模型后发现，最强模型仅在26.5%的任务中准确识别最佳和最差图像，远低于人类专家68.9%的准确率。在少量专家示例上微调较小模型，其性能可接近大得多的开源模型，表明VAB中的对比信号具有可迁移性。这些结果揭示了当前模型与专家美学判断之间存在显著且可量化的差距。
研究指出，GPT-4等计算机使用智能体在复杂、低频的屏幕交互中可靠性不足，失败案例呈长尾分布。为解决复杂交互数据稀缺问题，团队提出了新基准CUActSpot，用于评估模型在GUI、文本、表格、画布和自然图像五种模态及点击、拖拽等多种操作上的能力，其覆盖的交互类型远超以往以点击为中心的基准。同时，团队设计了一个基于渲染器的数据合成流程，可自动生成多模态场景并由大语言模型生成指令与操作轨迹。在此合成数据上训练的Phi-Ground-Any-4B模型，性能超越了参数量小于320亿的开源模型。相关资源已在GitHub开源。
Ethan Mollick@emollickPeople talk, listen, watch, think, and collaborate at the same time, in real time. We've designed an AI that works with ...
研究团队针对多模态大语言模型图像描述任务提出BalCapRL平衡框架。该框架通过设计多维度奖励函数，系统解决了现有强化学习方法在追求描述效用时引发的幻觉、噪声和冗长等问题。实验表明，BalCapRL在保持描述准确性的同时，显著提升了信息密度与可读性，在多个基准测试中实现了更均衡的性能表现，有效突破了传统方法在核心维度间的权衡局限。
Nathan Lambert@natolambertWith the model's simultaneous speech capability, Horace has gotten a lot easier to work with recently.
Artificial Analysis@ArtificialAnlys清华大学与ModelBest合作的OpenBMB发布了MiniCPM-V 4.6 1.3B Instruct模型。这款仅13亿参数的多模态小模型在Artificial Analysis智能指数上获得13分，成为2B参数以下开源模型中得分最高的，刷新了该规模模型的帕累托前沿。它在MMMU-Pro视觉推理基准上也达到38%，领先同类小模型。模型支持文本、图像和视频输入，并具有极高的令牌效率，运行测试仅需540万输出令牌，远低于对比模型。其权重已在Hugging Face以Apache 2.0许可证开源。知识回忆能力与其他2B以下模型相当，处于较低水平。
Berryxia.AI@berryxiaThinking Machines公司突破传统AI轮流对话模式，提出并实现了一种模拟人类实时协作的交互模型。该模型允许AI在对话中自然插话、跟踪对方思考、自我纠错并邀请回应，同时能并行执行听、说、搜索、绘图等多任务。演示显示，AI能在陪伴讲故事、团队知识竞赛等场景中进行实时且隐蔽的协作。其核心在于还原人类协作“混乱”并发的本质，推动AI从被动助手转向真正的工作伙伴，标志着交互方式的重大进步。
People talk, listen, watch, think, and collaborate at the same time, in real time. We've designed an AI that works with ...
swyx 🌉@swyxlowkey the funniest videos of the batch. thinky has some comedians!! congrats to @thinkymachines on reviving the omnimod...
swyx 🌉@swyxToday we're sharing our work on interaction models. A new class of model trained from scratch to handle real-time intera...
Chubby♨️@kimmonismusThinking Machines公司发布的新型交互模型，旨在从根本上改变人机协作模式。该模型能够原生地同时实现聆听、观看、说话、打断、反应、后台思考和使用工具，而非依赖语音转文本等拼接技术。其目标是将AI从被动的“一问一答”工具，转变为能感知用户犹豫、主动介入、预测下一步并维持流畅对话的实时协作伙伴。这标志着AI交互范式从提供最终答案，转向在协作过程中保持“在场”的根本性转变。
People talk, listen, watch, think, and collaborate at the same time, in real time. We've designed an AI that works with ...