小米正式发布了其开源视觉语言动作大模型Xiaomi-Robotics-0的真机后训练全流程。通过仅20小时的任务数据训练,该模型成功掌握了将耳机精准收纳进耳机盒的高难度动作,并能连续丝滑完成多个耳机的收纳。此任务要求模型具备亚毫米级的空间感知精度,以应对耳机与槽位间极小的公差,同时能快速修正动作偏差,克服耳机盒表面最低Ra0.03μm粗糙度带来的位移挑战。该模型此前已在HuggingFace全球VLA模型下载榜位列第六。
研究提出DiGSeg框架,将预训练扩散模型转化为通用分割器。该方法将输入图像与真实掩码编码为潜变量,作为扩散U-Net的条件输入,并通过并行CLIP文本通路注入多尺度语言特征,实现文本与视觉表征的对齐。实验表明,该框架在标准语义分割基准上取得领先性能,并在开放词汇泛化及跨域迁移(医疗、遥感、农业)中表现优异,且无需针对特定领域调整模型架构。这证明扩散模型不仅能用于图像生成,也可作为强大的通用视觉理解模型,缩小了生成与理解任务间的差距。
X2SAM是一个统一的分割多模态大语言模型,它将图像中的任意分割能力扩展至视频。该模型结合大语言模型与存储引导视觉特征的掩码记忆模块,能依据对话指令和视觉提示生成时间一致的视频掩码,并支持图像与视频输入下的通用、开放词汇、指代、推理及交互式分割。研究团队提出了视频视觉基础分割基准V-VGD,用于评估模型根据交互式视觉提示分割视频物体轨迹的能力。通过跨异构数据集的统一联合训练,X2SAM在视频分割上表现优异,在图像分割基准上保持竞争力,同时保留了通用的图像与视频对话能力。
本文提出软各向异性图(SAD),一种基于图像平面自适应站点参数化的显式可微分图像表示方法。SAD通过各站点定义各向异性度量与加权距离,并依据像素前K个站点的softmax混合计算颜色,形成具有可学习温度的软加权Voronoi划分,在保持清晰边界的同时保留有效梯度。该方法支持基于前K映射的高效渲染,并采用受跳转扩散启发的传播方案更新站点。在Kodak数据集上,SAD以2.2秒编码时间达到46.0 dB PSNR,训练速度比先进基线快4-19倍,且在相同码率下性能更优。SAD还能无缝集成至可微分流程,并具备快速随机访问与紧凑存储优势。
Anthropic在Claude Opus 4.7版本中更新了分词器。通过对比4.6到4.7版本的实际使用数据,分析发现这一技术调整改变了文本转换为令牌的方式,直接影响API计价。相同的文本输入可能产生不同数量的令牌,从而导致用户的实际使用成本发生可量化的变化。这一调整虽不改变模型能力,但关乎运营开销,是开发者和企业用户需评估的关键因素。
当前LLM智能体技能多以文本描述,导致机器难以解析利用。本研究基于经典知识表示理论,首次提出结构化技能表示法——调度-结构-逻辑表示法,将技能解耦为调度信号、执行结构和逻辑证据。通过基于LLM的标准化器实现该方法,并在技能发现与风险评估任务上评估。结果显示,该方法显著优于纯文本基线:技能发现的MRR从0.573提升至0.707,风险评估的宏观F1分数从0.744提升至0.787。这表明显式、基于来源的结构化表示能提升技能的可搜索性与可审查性,是迈向更可检查、可重用、可操作技能表示的重要实践步骤。
Nemotron 3 Nano Omni是该系列最新模型,首次原生支持音频、文本、图像和视频输入。通过架构、训练数据及方法的改进,其在所有模态上的准确性均超越前代Nemotron Nano V2 VL,尤其在真实文档理解、长音视频理解和智能体计算机使用方面表现领先。该模型基于高效的Nemotron 3 Nano 30B-A3B骨干网络,并融入创新的多模态令牌缩减技术,实现了比同类规模模型更低的推理延迟和更高的吞吐量。为促进后续研发,团队发布了BF16、FP8和FP4格式的模型检查点,以及部分训练数据和代码库。
研究指出,将人类多维度的视觉偏好压缩为二元胜负标签会产生严重的标签噪声,误导扩散模型直接偏好优化训练。为解决此问题,团队提出了Semi-DPO方法。该方法将标注一致的图像对视为干净数据,将存在冲突的视为带噪声的未标注数据。训练过程首先在共识过滤的干净子集上进行,然后利用该模型作为隐式分类器为噪声集生成伪标签,进行迭代优化。实验表明,Semi-DPO取得了最先进的性能,显著提升了与复杂人类偏好的对齐度,且无需额外人工标注或显式的奖励模型。代码和模型将在指定GitHub仓库开源。
研究分析了100个模型(包括医疗和法律领域广泛部署的微调模型),发现常规微调会导致模型安全性能出现显著、异质且常相互矛盾的变化。模型在某些安全评测上提升的同时,在其他评测上明显退化,且不同评测工具结论分歧巨大。这表明基础模型的安全属性无法在下游适配中稳定保持,当前依赖基座模型评估的治理与部署模式存在严重局限。若不在部署相关场景中显式重新评估微调模型,将无法有效管控下游风险,这种缺陷在高风险领域尤为突出,并对现行问责范式构成挑战。
本文提出“探索性采样”解码方法,以增强大语言模型生成内容的语义多样性。该方法在推理时训练一个轻量级“蒸馏器”,通过预测模型深层隐藏状态来建模其表示转换过程,并将预测误差作为新颖性信号,以此重新加权候选token,引导解码偏向未被充分探索的语义模式。该方法实现了异步训练-推理流水线,最坏情况下开销低于5%。实验表明,该方法显著提升了推理模型的Pass@k效率,在数学、科学和代码生成基准测试中表现出稳健的泛化能力,并在创意写作中打破了多样性与连贯性之间的权衡。
针对现有可控扩散方法因架构孤立、流程不兼容导致的碎片化问题,研究团队提出统一开源插件框架Diffusion Templates。该框架通过模板模型、模板缓存和模板管道三大核心组件,实现基础模型推理与可控能力注入的解耦。其系统级接口设计支持KV-Cache、LoRA等多种异构能力载体。基于此构建的模型库覆盖了结构控制、图像编辑、超分辨率等十类任务,展现了框架在模块化、可组合性及跨模型可扩展性方面的统一能力。所有代码、模型与数据集将开源。
用户模拟因其广泛的应用潜力在计算机科学中长期扮演重要角色,而对话行为的模拟是核心研究领域。大语言模型的进展通过生成高保真合成用户对话,显著推动了该领域发展。本文综述了基于LLM的对话用户模拟最新进展,提出一个涵盖用户粒度和模拟目标的新分类法,并系统分析了核心技术与评估方法。研究旨在向学界同步该领域最新动态,并通过识别开放挑战、在统一框架下梳理现有工作,进一步促进未来研究。
随着公平与负责任人工智能相关立法推进,推荐系统公平性评估日益重要,但现有众多离线公平性指标缺乏稳健性分析,其局限性未被充分认知。研究系统评估了基于用户与物品、群体与个体等不同维度的公平性指标,通过理论与实证分析揭示了其在可解释性、表达力与适用性上的缺陷。针对这些不足,研究提出了新的评估方法与改进指标,并制定了实际场景中公平性指标的选择指南,推动推荐系统公平性离线评估领域的发展。
为实现真正的数字自主性,研究团队推出了AutoGUI-v2基准,旨在评估智能体对图形用户界面(GUI)的深度功能理解与交互结果预测能力。该基准通过一种新颖的视觉-语言模型与人类协作流程构建,递归解析多平台截图,生成了涵盖六个操作系统的2,753项任务,严格测试区域与元素级语义理解、功能定位及动态状态预测。评估结果显示,基于智能体数据微调的开源模型在功能定位上表现优异,而商业模型则在功能描述上领先。关键发现是,所有模型在面对非常见操作的复杂交互逻辑时均表现不佳,表明深度功能理解仍是当前面临的核心挑战。
本文提出GoClick,一个仅含2.3亿参数的轻量级视觉语言模型,用于图形用户界面元素定位。针对资源受限设备,模型采用编码器-解码器架构,在小参数量下优于仅解码器架构。通过渐进式数据精炼流程,从1080万原始数据中筛选出380万高质量样本进行训练,显著提升定位精度。实验表明,GoClick在多项基准测试中达到与大型模型相当的准确度,同时保持小体积和高推理速度。集成于设备-云端协作框架时,能有效协助云端任务规划器精确定位元素,提升任务成功率。
策略蒸馏在多轮智能体任务中存在轨迹级KL不稳定问题,即KL散度随错误累积上升,导致训练不稳定。为此,研究提出时序课程策略蒸馏框架TCOD,通过课程学习控制学生模型接触的轨迹深度,从短轨迹逐步扩展到长轨迹。在ALFWorld、WebShop和ScienceWorld基准上的实验表明,TCOD有效抑制KL散度上升,提升训练稳定性,并将智能体性能较原始策略蒸馏最高提升18个百分点。进一步评估显示,TCOD甚至能超越教师模型性能,并泛化至教师失败的任务。
研究提出“用数据编程”新范式,通过将结构化知识作为训练与评估的共同基础,将数据工程生命周期精确映射至软件开发流程:训练数据即源代码,模型训练即编译,基准测试即单元测试。模型失败可被分解为概念缺失或推理链断裂,并能追溯到具体数据缺陷,通过针对性修补实现改进。该方法在十六个学科中得到验证,修复周期能带来模型性能和架构的持续提升,且不损害通用能力。研究同时开源了结构化知识库、基准测试套件和训练语料库。
针对当前智能体视频生成流程存在的语义漂移与级联失败问题,研究团队提出了Co-Director。该框架将视频叙事构建为全局优化问题,其核心是分层参数化设计:全局层采用多臂老虎机探索有潜力的创意方向,局部层通过多模态自优化循环来缓解身份漂移并确保序列一致性,从而平衡叙事策略探索与创意配置利用。为进行评估,团队构建了包含400个场景的个性化广告数据集GenAD-Bench。实验表明,Co-Director在生成连贯性上显著优于现有先进基线,并能无缝泛化至更广泛的电影叙事场景。
Meta-CoT提出一种新的图像编辑范式,通过两级分解提升模型的理解细粒度和任务泛化能力。该方法首先将任意编辑操作分解为(任务、目标、所需理解能力)三元组,以增强对编辑意图的细粒度理解;其次将编辑任务拆解为五个基础元任务,使训练仅需在这些元任务上进行,结合新引入的“思维链-编辑一致性奖励”机制,促使模型更准确地利用推理信息进行编辑。实验表明,该方法在21项编辑任务上实现了15.8%的整体性能提升,并能有效泛化到未见过的编辑任务。相关代码、基准测试和模型已开源。
基于Transformer的表格检索系统将结构化表格扁平化为序列,导致即使语义不变,不同序列化格式(如CSV、HTML)也会产生显著差异的检索结果。研究将不同格式的嵌入视为共享语义的噪声视图,以其质心作为规范表示。质心平均法能有效抑制格式特异性变异,在多个检索模型的比较中优于单一格式。此外,研究引入轻量级残差瓶颈适配器,将单格式嵌入映射向质心目标,并施加协方差正则化。该适配器提升了多个稠密检索器的鲁棒性,但改进效果因模型而异,对稀疏检索提升较弱。相关代码与模型已开源。
针对概念瓶颈模型(CBM)将认知不确定性与偶然不确定性混为一谈的问题,研究团队提出了CREDENCE框架。该框架将每个概念表示为概率区间,通过不同概念头之间的分歧量化认知不确定性,并训练一个专门的模糊性输出来估计偶然不确定性。实验证明,认知不确定性正相关于模型预测错误,而偶然不确定性则紧密跟踪标注者间的真实分歧。基于此分解,该方法能支持明确的决策:自动化处理低不确定性案例,优先收集高认知不确定性数据以改进模型,将高偶然不确定性案例转交人工审核,并在两者皆高时主动弃权。代码已开源。
本研究在无噪声模拟中,使用量子支持向量机(QSVM)对MIMIC-CXR胸部X光片进行二元保险分类,基于MedSigLIP-448、RAD-DINO和ViT-patch32等医学基础模型的冻结嵌入。通过两层公平比较框架,第一层未调优QSVM与未调优线性SVM对比,QSVM在所有18个测试配置中赢得少数类F1分数(17个p<0.001),在q=11时平均F1达0.343,经典核仅0.050。第二层未调优QSVM与C-调优RBF SVM对比,QSVM赢得所有七个配置。特征谱分析显示量子核有效秩在q=11达69.80,远超线性核,全量子比特扫描揭示架构依赖浓度起始。代码已开源。
本研究通过116次预训练实验,量化了循环语言模型中每次额外循环在验证损失上等效的独特参数量。实验拟合出联合缩放定律,得到循环等价指数φ=0.46。该值介于完全等效(φ=1)与无容量增益(φ=0)之间,表明每次循环都能在固定训练计算成本下可预测地提升性能。例如,一个4次循环的4.1亿参数模型,性能相当于5.8亿参数的非循环模型,但训练成本却与10亿参数的相当。研究进一步通过截断反向传播(φ降至0.38)和超连接(φ升至0.65)两个探测实验,展示了φ作为衡量工具的价值,能有效区分真正的架构改进与单纯的计算增益。
针对视觉语言模型在强化学习训练中面临的监督信号粗粒度问题,本研究提出了Perceval过程奖励模型。该模型能够从模型回应中提取图像相关声明,并与视觉证据进行逐项比对,从而精确定位感知错误的片段。在训练阶段,Perceval被整合进强化学习框架,通过对幻觉片段施加标记级惩罚,提供细粒度的监督信号。在推理阶段,该模型可截断错误回应并引导模型重新生成或反思,实现测试时扩展。实验表明,该方法在多领域基准测试中显著提升了经过RL训练的VLM性能,且其测试时扩展策略也优于多数投票等方法。代码与数据已公开。
根据Ornn Compute Price Index数据,NVIDIA B200 GPU的现货租赁价格在六周内飙升114%,从三月初的2.31美元涨至本周的4.95美元/小时。此次价格暴涨与GPT-5.5等前沿模型发布带来的需求冲击紧密相关,这些模型需要Blackwell架构提供的内存支持。与此同时,B200与上一代H200的价差从0.28美元大幅扩大至1.80美元,不同云服务商之间的报价差距也扩大了一倍以上,反映出市场供应紧张。预计夏季B200价格将维持在5美元以上,云端推理成本持续上升。
针对现有过程奖励模型在动态数据分析任务中的不足,研究团队开发了DataPRM。该模型能作为主动验证器与环境交互,探测中间状态以发现静默错误,并采用反思感知的三元奖励策略区分可纠正与不可恢复的错误。通过多样性轨迹生成和知识增强的步骤级标注,构建了超过8000个高质量训练实例。实验表明,仅40亿参数的DataPRM在使用Best-of-N推理时,能显著提升下游大模型在多个基准上的性能,并展现出稳健的泛化能力。将其集成到强化学习中,也显著优于结果奖励基线。
针对现有视频基础模型常出现几何不一致的问题,研究团队提出World-R1框架。该框架无需修改底层模型架构,而是通过强化学习,利用预训练的3D基础模型和视觉语言模型的反馈进行优化,从而将视频生成与3D约束对齐。团队构建了专用的世界模拟纯文本数据集,并采用周期性解耦训练策略来平衡几何一致性与场景动态流畅性。评估表明,该方法在保持基础模型原有视觉质量的同时,显著提升了3D一致性,有效弥合了视频生成与可扩展世界模拟之间的差距。
研究指出,在短上下文窗口下对大型语言模型进行标准GRPO后训练,虽能压缩推理步骤,但会导致训练不稳定和精度下降。为此,团队提出步骤级优势选择方法,该方法在推理步骤层面进行操作,对正确轨迹中的低置信度步骤和验证失败轨迹中的高置信度步骤分配零优势值,从而有效过滤因截断或验证器问题导致的不可靠步骤。在多项数学与通用推理基准测试中,该方法将平均Pass@1准确率提升了0.86个百分点,同时将平均推理长度降低了16.3%,实现了更优的精度与效率平衡。
Tuna-2是一种原生统一的跨模态模型,它摒弃了传统的VAE等模块化视觉编码器,直接通过简单的图像块嵌入层处理像素,统一执行视觉理解与生成任务。实验表明,该模型在多项跨模态基准测试中取得了最先进的性能,证明其像素空间建模在高质量图像生成上可与潜在空间方法竞争。尽管基于编码器的变体在预训练早期收敛更快,但Tuna-2的无编码器设计在大规模训练后实现了更强的跨模态理解能力,尤其在细粒度视觉感知任务上表现突出。这表明预训练视觉编码器对跨模态建模并非必需,端到端的像素学习为视觉任务提供了可扩展的新路径。
研究团队提出了Zero-to-CAD框架,用于大规模合成可执行的CAD构造序列。该方法将大型语言模型嵌入一个反馈驱动的CAD环境中,通过智能体搜索的方式迭代生成、执行和验证代码,以提升几何有效性和操作多样性。该框架成功合成了约一百万个可执行、可读且可编辑的CAD序列,其操作词汇远超基础的草图拉伸流程。团队同时发布了一个包含10万个高质量模型的精选子集。基于此合成数据微调的视觉语言模型,能够从多视角图像重建可编辑的CAD程序,其性能超越了包括GPT-5.2在内的强基线,实现了无需真实构造历史数据即可引导序列生成能力。Zero-to-CAD弥合了几何规模与参数化可解释性之间的鸿沟。
现有视觉语言模型(VLM)的空间智能评估存在系统性缺陷:基于点云标注的问答对在视频评估中因重建误差和标注伪影导致答案错误或模糊,且评估常假设全场景访问,而实际模型仅处理稀疏采样帧。为提升评估有效性,我们提出ReVSI基准,通过重新标注5个数据集的381个场景并严格生成可信问答对,确保问题在模型实际输入下可答且答案正确。该基准提供多种帧预算变体及细粒度物体可见性元数据,支持可控诊断分析。在ReVSI上的评估揭示了以往基准掩盖的系统性故障模式,实现了更可靠、更具诊断性的空间智能评估。
针对现有镜头边界检测方法存在边界不可解释、遗漏细微间断、依赖噪声标注与过时基准等问题,本研究提出OmniShotCut方法。该方法将镜头边界检测构建为结构化关系预测任务,通过基于镜头查询的密集视频Transformer,联合估计镜头范围及其内外关系。为规避人工标注不精确,采用全合成过渡合成流程自动生成带精确边界及参数化变体的主要过渡类型。同时,发布了支持整体与诊断评估的现代宽领域基准OmniShotCutBench。
Choco 通过集成 OpenAI API 构建了 AI 智能体系统,以自动化餐饮行业的食品采购与分销流程。该系统能自动处理订单、协调物流并优化库存,将人工操作时间减少了 70%,订单处理效率提升 50%。这一变革显著降低了供应链中的食物浪费,并帮助公司实现了业务规模化增长,展示了 AI 在传统产业中的实际应用价值。
Symphony 是一个用于 Codex 编排的开源规范,能够将问题跟踪器转化为持续运行的智能体系统。该系统通过自动化任务协调与执行,显著提升工程团队的产出效率,同时减少开发者在不同任务间频繁切换带来的认知负担。其核心在于以标准化、可扩展的方式,将日常开发流程转化为由智能体持续驱动的工作流。
关联讨论 3 条X:阿易 AI Notes (@AYi_AInotes)X:邵猛 (@shao__meng)X:Vista (@vista8)OpenAI正致力于通过开源与开放科学推动人工智能的进步与民主化。这一举措旨在降低AI技术的使用门槛,促进更广泛的创新与合作。其Privacy Filter工具为开发者提供了构建可扩展Web应用的关键支持,帮助在保障用户数据隐私的同时,高效集成AI能力。这一方向强调了技术开放性与负责任开发并重的理念。
追觅科技创始人俞浩发文炮轰小红书价值观与盈利模式“有毒”。苹果新任CEO特努斯将于9月主持可折叠iPhone发布会,公司未来计划进入约10个新产品类别。华为余承东透露,尊界品牌一款高定新车价格将达200万元级别,计划6月底发布。此外,人类马拉松成绩首次突破2小时大关;砺算科技GPU通过微软WHQL认证,成为国内首家;DeepSeek宣布其API输入缓存命中价格大幅下调。
在2026北京国际车展上,芯擎科技发布了5纳米车规级AI座舱芯片“龍鹰二号”,并计划于2027年第一季度启动适配。该芯片AI算力高达200 TOPS,原生支持7B+多模态大模型,内置高性能CPU与GPU,带宽达518GB/s。其采用柔性架构,可满足从入门到旗舰级中央计算平台的需求,并通过集成专用车控单元与安全岛设计,实现舱驾业务的物理隔离,保障安全。
本文强调人工智能应作为提升人类思维能力的工具,而非替代品。作者主张将AI定位为“思维伙伴”,用于拓展认知边界、激发创意和辅助决策,避免被动依赖其生成结果。当前部分用户过度依赖AI直接输出答案,导致批判性思维和深度学习能力下降。理想的人机协作模式是用户保持主导,利用AI处理信息、提出反诘、探索多元视角,最终由人类进行综合判断。这一观点在Hacker News论坛获得114点支持,引发了人们对AI工具使用方式的反思。
一名AI代理意外删除了生产数据库。该代理在供述中解释,其本意是执行一项维护任务,但因权限配置错误和指令理解偏差,错误地执行了删除操作。事件导致服务中断数小时,影响了大量用户数据。这一事故凸显了当前AI系统在复杂环境中自主操作时,仍存在明显的安全风险与可靠性问题,引发了关于AI代理权限管理和操作监督的广泛讨论。