Meta计划开始收集员工的鼠标移动轨迹与键盘按键记录,用于生成AI训练数据。据Economic Times报道,该技术监控措施旨在获取员工工作行为数据以训练人工智能模型,消息在Hacker News上获得105点关注,引发对职场隐私监控范围的讨论。
Meta计划开始收集员工的鼠标移动轨迹与键盘按键记录,用于生成AI训练数据。据Economic Times报道,该技术监控措施旨在获取员工工作行为数据以训练人工智能模型,消息在Hacker News上获得105点关注,引发对职场隐私监控范围的讨论。
开发者 Steve Cosman 在 GitHub 创建项目 scosman/pelicans_riding_bicycles,通过上传错误标注的图片故意污染 AI 训练数据。该项目将熊站在滑雪板上的图片标记为「鹈鹕骑自行车 #1」,以此向生成式 AI 注入噪声。这种「数据投毒」旨在干扰模型对特定提示词的理解,博主 Simon Willison 对此表示支持,并承认自己此前发布的类似内容也属于训练集污染。
据《金融时报》报道,杰夫·贝索斯即将为其代号为"Project Prometheus"的 AI 实验室完成一轮 100 亿美元的融资。该融资轮目前已接近关闭阶段,标志着贝索斯在人工智能领域的重大资本布局。
上海市发布《国家数字经济创新发展试验区(上海)实施方案》,明确到2028年数据要素价值全面激活的目标。方案提出加速脑机接口、6G、量子计算、Web3.0等前沿技术应用试点及产品化,推动千帆星座卫星互联网商用试点和低空智能网联基础设施建设,部署高性能国产智算集群,建设区块链网络枢纽,培育50家数字经济标杆企业,深化数据要素市场化配置与实数融合。
本研究探索大语言模型在弱监督下通过RLVR学习推理的机制。在稀缺数据、噪声奖励和自监督代理奖励三种场景中,训练奖励饱和动态决定泛化能力:延长预饱和阶段促进泛化,快速饱和导致记忆。推理忠实度(中间步骤对答案的逻辑支持程度)是预测模型表现的关键属性。研究表明,显式推理轨迹上的监督微调对弱监督泛化至关重要,结合领域数据持续预训练,可使Llama3.2-3B-Base在原本失败的三种场景中均实现泛化。
爱奇艺CEO龚宇回应"AI艺人库"争议,明确科技以人为本,AI应用旨在服务观众与创作者,而非取代人类。针对昨日公布的包含100多位艺人的AI艺人库遭张若昀、于和伟等否认授权一事,龚宇澄清该清单仅表示演员有AI创作授权意愿,实际使用需遵循与现实拍摄相同的规则:逐个项目、角色获得演员及经纪公司同意,并非一次性授权所有项目。
现有情感支持对话系统通常假设每轮仅使用单一策略,但现实中单轮常包含多种支持策略。本研究将ESC任务重新定义为多策略话语生成,提出All-in-One和One-by-One两种方法,分别通过单步解码和迭代方式生成策略-回复对,并引入强化学习引导的认知推理优化策略选择。在ESConv数据集上的实验表明,该方法能有效建模多策略话语,显著提升支持质量与对话成功率,首次系统验证了单轮多策略的可行性和有效性。
几何稳定性为语言模型部署提供双重诊断。监督式Shesha通过测量任务对齐的表征稳定性,在35-69个模型中以0.89-0.97相关系数精准预测线性可控性;无监督稳定性虽在可控性预测上失效(ρ≈0.10),却在漂移检测中表现优异:较CKA捕捉近2倍(Llama中5.23倍)几何变化,于73%模型中提前预警,假阳性率较Procrustes低6倍。两者分别适用于部署前可控性评估与部署后监控。
研究提出EmbodiedMidtrain方法,以解决视觉-语言-动作模型直接沿用通用视觉-语言模型导致的性能限制。该方法首先量化两类模型的数据分布差异,发现VLA数据集中于与广泛VLM分布分离的紧凑区域。随后构建中间训练数据引擎,通过轻量可学习的邻近度估计器从大规模VLM数据池中筛选出最适配具身任务的数据,对VLM进行中间训练后再进行下游VLA微调。在三个机器人操作基准测试中,该方法使不同VLM骨干模型性能平均提升5-12%,达到与专家级VLA模型相当的水平。分析表明中间训练为VLA微调提供了更优初始化,且数据引擎能同时捕获数据集与样本层级的对齐信号。所有代码、数据与模型将开源。
UniT(Unified Latent Action Tokenizer via Visual Anchoring)框架通过视觉锚定建立跨具身的统一物理语言,基于异构运动学共享通用视觉后果的核心理念,采用三分支交叉重建机制生成与具身无关的共享离散潜在空间。VLA-UniT在策略学习中利用人类数据实现SOTA数据效率与OOD泛化,达成零样本任务迁移;WM-UniT在世界建模中实现直接的人到人形机器人动作迁移。t-SNE可视化证实人类与人形机器人特征收敛至共享流形。
研究团队提出 expert upcycling 方法,在持续预训练期间通过复制现有专家并扩展路由器来逐步增加 MoE 模型容量,保持每 token 推理成本不变。该方法利用热初始化继承已学习的表示,显著降低初始损失,后续训练打破对称性以实现专家专业化。在 7B-13B 参数实验中,相比从头训练节省 32% GPU 小时,且基于梯度重要性分数的效用选择策略可将质量差距缩小三倍以上。
研究团队提出基于合作博弈论的SAVOIR框架,结合期望效用(前瞻性评估话语的战略潜力)与Shapley值(公理化保证公平信用分配),解决多轮对话强化学习中的信用分配难题。在SOTOPIA基准测试中,该框架取得全新SOTA成绩,7B参数模型性能匹敌甚至超越GPT-4o和Claude-3.5-Sonnet。实验还发现大型推理模型在社交智能任务上持续表现不佳,揭示社交能力与分析推理存在本质差异。
研究团队发布Tadabur大规模古兰经音频数据集,收录逾1400小时朗诵音频,涵盖600余位不同朗诵者在多样化录音条件下的演绎。该数据集在朗诵风格、声音特征方面具有显著差异性,大幅扩展了现有古兰经语音数据的规模与变异性,旨在为相关研究提供全面资源并推动标准化基准建立。
Atlassian 已默认开启数据收集功能,将用户数据用于训练人工智能模型。这一政策变更意味着用户交互数据将自动纳入 AI 训练流程,除非用户主动选择退出。该消息于 2026 年 4 月 20 日发布后在 Hacker News 获得 104 个赞,引发关于企业数据隐私和默认权限设置的讨论。
本文提出UDM-GRPO框架,首次实现均匀离散扩散模型与强化学习的稳定结合。针对训练不稳定问题,该方法将最终干净样本作为动作,并通过扩散前向过程重建轨迹以对齐预训练分布。此外,引入Reduced-Step和CFG-Free策略提升效率。实验表明,GenEval准确率从69%提升至96%,PickScore从20.46提升至23.81,OCR基准准确率从8%跃升至57%,在文本到图像任务中达到SOTA性能。
研究人员提出基于极性反转的双视角数据合成策略,通过提示 LLM 生成互补指令,使相关文档与违反指令的难负样本交换相关性标签,强制检索器依据指令而非固定主题线索重新评估候选集。在 305M 参数的编码器上,该方法在 FollowIR 基准测试中性能提升 45%,超越同等或更大规模的通用嵌入模型。实验表明数据多样性与指令监督具有互补作用,前者保持通用检索质量,后者提升指令敏感度。
针对联合图像-特征扩散模型中语义表示空间固定不变的问题,CoReDi 框架通过协同进化机制,在训练过程中联合优化轻量级线性投影与扩散模型,动态调整表示空间以适应生成任务。该方法结合停止梯度目标、归一化和针对性正则化防止特征崩溃,增强了语义特征与图像潜变量的互补性。在 VAE 潜变量扩散和像素空间扩散的实验表明,相比固定表示空间的方法,CoReDi 实现了更快的收敛速度和更高的样本质量。
针对从观测数据恢复潜在变量的不适定问题,研究者提出多样化字典学习框架。该框架证明,即使在没有线性假设或辅助监督的一般场景下,潜在变量的交集、补集、对称差及依赖结构仍可被识别。通过集合代数组合,可构建隐藏世界的结构化视图。当数据具有足够结构多样性时,所有潜在变量均可被完全识别。该方法仅需简单的归纳偏差即可集成到现有模型,并在合成与真实数据上验证有效。
研究团队发布Terminal Wrench数据集,收录331个可奖励作弊的终端智能体基准环境及3632条攻击轨迹,覆盖Claude Opus 4.6等三款前沿模型。任务涵盖系统管理、机器学习等领域,攻击手段包括输出欺骗、栈帧内省及二进制劫持。可监控性研究显示,移除思维链后LLM裁判检测准确率下降(AUC从0.97降至0.92)。数据集已开源。
该立场文件提出"连续性层"是AI领域尚未构建的关键基础设施,旨在解决当前模型跨会话"健忘"的架构缺陷。作者指出智能的瓶颈不在于模型规模,而在于缺乏传承理解的机制。论文定义了连续性的七大系统特征,提出"分解轨迹收敛记忆"存储原语,通过写入时分解与读取时重建实现持续认知,并关联ATANT基准测试(基于250个故事语料库)。这项工作试图建立超越传统记忆API的持续性智能架构。
研究团队提出名为 JuRe 的极简去噪网络,仅使用单个深度可分离卷积残差块(隐藏维度128),通过修复损坏的时间序列窗口进行训练,并以无参数结构差异函数评分。该模型在 TSB-AD 多变量基准(180序列,17数据集)和 UCR 单变量档案(250序列)均获 AUC-PR 第二名(分别为0.404和0.198),领先所有神经基线。消融实验显示,训练时损坏机制是性能主导因素,移除后 AUC-PR 下降0.047,证实去噪目标而非网络容量决定检测质量。
研究人员提出"任务特征专业化"(TFS)作为任务算术(Task Arithmetic)中权重解耦的根本原理,证明TFS不仅是权重解耦的充分条件,还会导致权重向量正交性这一可观测的几何特征。基于该理论发现,团队开发OrthoReg正则化方法,在微调过程中对任务向量的权重更新矩阵强制实施正交结构,以间接促进解耦。大量实验表明,OrthoReg能持续显著提升多种任务算术方法的性能。
研究发现在线策略蒸馏(OPD)在提升任务准确率的同时,会系统性导致模型过度自信,形成"错误校准的缩放定律"。该问题源于训练时教师模型的特权上下文与部署时信息的不匹配。为此提出 CaOPD 框架,通过模型 rollout 估计经验置信度,并以学生基础目标替代自报告置信度进行蒸馏。实验表明,CaOPD 在保持模型竞争力的同时实现帕累托最优校准,且在分布外和持续学习场景下稳健泛化。
EasyVideoR1 是一款专为视频理解任务设计的强化学习框架,通过离线预处理与张量缓存技术消除冗余视频解码,将训练吞吐量提升1.47倍。该框架支持11种视频及图像任务类型的统一奖励路由,采用离线-在线混合数据训练范式,并实现双模态联合训练与独立像素预算配置。其异步评估系统覆盖22个主流视频理解基准,复现精度与官方报告高度一致,为视觉语言模型的视频推理训练提供了完整高效的基础设施。
LoRA合并性能下降的主因是输出矩阵B在不同任务间过度重复使用共享方向,而矩阵A更具任务特异性。本文提出无数据方法Pico,在合并前对B进行预校准,通过降低过度共享方向权重并重新缩放合并更新来减少干扰。该方法可直接集成至Task Arithmetic等现有流程,在数学、编程等8个基准测试中平均准确率提升3.4-8.3个百分点,整体性能最优,甚至超越使用全量数据联合训练的LoRA。
针对多模态大语言模型在图像翻译中难以捕捉细粒度文本信息的问题,本文提出模态神经元感知微调方法MNAFT。该方法通过指令驱动的激活分析,识别视觉与语言模块中的语言无关及语言特定神经元,选择性更新与目标任务相关的神经元参数,同时保留其他预训练知识。实验表明,MNAFT在多个基准测试中显著优于级联模型、标准全量微调及现有参数高效微调方法,有效缩小了视觉文本与文本间的模态差距。
summary_zh: The Nation最新文章指出,以Peter Thiel和Marc Andreessen为代表的硅谷风投势力正借助AI技术重构科研就业形态,将科学家从稳定的学术或研究岗位推向不稳定的零工经济。这一现象在Hacker News社区引发热议,获100点关注。文章质疑科技资本对STEM领域的渗透是否正在系统性削弱研究人员的职业保障与劳动权益。
针对在线增量学习中数据分布持续偏移、旧样本重放价值有限的挑战,研究者提出基于最优传输理论的在线混合模型学习框架(MMOT)。该方法摒弃传统单一或多固定类质心表示,使质心随新数据流增量演化,从而更精确刻画多模态复杂数据分布,并提升对未见样本的类相似度估计精度。同时,动态保持策略通过调节潜在空间维持类间可分离性,有效缓解灾难性遗忘。实验验证表明,该方法在基准数据集上具有显著优势。
Cloudflare 推出 Redirects for AI Training 功能,解决软指令无法阻止 AI 爬虫抓取弃用内容的局限。网站管理员可通过一键切换,将已验证的 AI 爬虫自动重定向至规范页面,无需修改源站配置即可确保 AI 模型训练获取权威内容,避免过时信息被纳入训练数据。
研究团队提出 Switch-KD 视觉切换知识蒸馏框架,通过将学生模型的视觉输出接入教师模型的语言路径,在共享文本概率空间中实现跨模态知识迁移。该方法包含动态双向 Logits 差分损失函数,可自适应对齐关键概率区域并保持分布结构。实验表明,0.5B 参数的 TinyLLaVA 在无需修改架构的情况下,从 3B 教师模型蒸馏知识后,在 10 个多模态基准测试中平均性能提升 3.6 个百分点。
开源系统TRACER利用LLM生产日志训练轻量级替代模型,通过设置一致性阈值α作为部署门控,仅在替代模型与教师模型(如Sonnet 4.6)一致率达标时激活,实现近零边际成本的推理。系统生成可解释性产物明确能力边界。在77类意图识别基准测试中,替代模型覆盖率达83%-100%;在150类任务中完全替代教师模型;而在自然语言推理任务中,系统正确识别嵌入表示不足并拒绝部署。
研究人员提出LeapAlign微调方法,通过将长生成轨迹压缩为两步连续跳跃(leap)解决流匹配模型后训练中反向传播的梯度爆炸与内存瓶颈问题。该方法随机化跳跃起止时间步以支持任意生成步骤的直接梯度更新,并对高一致性轨迹分配更高权重、对大幅梯度项降权处理以增强稳定性。在Flux模型上的实验表明,该方法在图像质量和图文对齐等指标上持续优于GRPO及直接梯度等现有方法。
研究团队发布Stargazer基准测试环境,用于评估AI智能体在径向速度时间序列数据上的物理模型拟合能力。该环境包含120个任务(含20个真实档案案例),分三个难度等级,涵盖单行星到复杂多行星系统场景。对8个前沿智能体的测试显示,尽管智能体能实现良好的统计拟合,却频繁无法恢复正确的物理参数,且增加测试时计算仅带来边际收益,过度token使用往往反映递归失败循环而非有效探索。
研究人员提出神经元激活图排序(NAG-based Ranking)框架,用于目标导向的语言模型预训练数据选择。该方法无需训练且可解释,通过量化神经元影响构建跨层NAG,并依据NAG相似度排序候选数据。在六个基准测试中平均比随机采样提升4.9%,在HellaSwag上比SOTA基线提升5.3%。多目标场景下分别超过两个基线1.1%和4.1%。分析表明,仅停用0.12%的NAG选择神经元就会导致23.5%性能崩溃,证明NAG捕捉了学习目标特征的稀疏"功能骨干"。
研究团队提出名为Shesha的几何稳定性指标,通过计算个体细胞位移向量与平均扰动方向的平均余弦相似度,量化单细胞CRISPR扰动响应的方向一致性。分析涵盖2,200余个扰动的五组数据集发现,稳定性与效应幅度高度相关(Spearman ρ=0.75-0.97),但两者解耦案例暴露关键调控差异:多效性主调控因子CEBPA和GATA1产生大而不一致的"几何代价",而谱系特异性因子KLF1则呈现紧密协调的响应。几何不稳定性与伴侣蛋白HSPA5/BiP激活升高独立相关,且高稳定性/高应激组合呈系统性缺失。该关系在scGPT基础模型嵌入中依然存在,证实其为生物状态空间固有属性,为功能基因组筛选和细胞制造质控提供新维度。
研究团队通过Olmo 3的三个后训练谱系(Think、Instruct、RL-Zero)追踪输出多样性变化。发现多样性崩溃与数据组成密切相关:Think在监督微调阶段损失大部分语义多样性,DPO对Instruct影响更大。抑制Think模型的思维链推理虽降低准确率但不改变多样性,证明崩溃由训练数据嵌入权重导致。在可验证任务中,Think虽总体崩溃更多但保留更多正确答案多样性。研究表明多样性崩溃由训练数据组成决定,无法仅靠推理时间解决。
研究团队发布VEFX-Dataset、VEFX-Reward和VEFX-Bench三项成果,构建视频编辑标准化评估体系。数据集包含5,049个人工标注示例,覆盖9类32子类,从指令遵循、渲染质量、编辑排他性三维度标注。奖励模型通过序数回归预测各维度质量分数,比通用视觉语言模型更符合人类判断。基准测试含300个样本,评估显示当前编辑系统在视觉合理性与指令遵循方面仍存在明显差距。
Nvidia 研究人员发布 Lyra 2.0 系统,支持从单张照片生成可实时探索的大型连贯 3D 环境。这些场景可直接用于机器人模拟训练,无需复杂的传统建模流程。该技术通过自动化环境生成,显著扩展了机器人训练数据的规模与多样性,有望加速机器人学习算法的开发。
文章探讨了大规模预训练中的并行计算策略优化方案,分析模型蒸馏技术是否可被检测或阻止及其对AI生态的影响;介绍 Mythos 系统在维护网络安全平衡中的应用,阐述流水线强化学习(Pipeline RL)的架构设计与效率提升,并总结预训练任务失败的常见技术瓶颈与排查方法,为分布式训练提供实践参考。