5月14日
08:00
HuggingFace Daily Papers(社区热门论文)
50
视频模型可通过可验证奖励进行推理

研究人员提出VideoRLVR方法,利用基于规则的反馈优化视频扩散模型,使其具备可验证的推理能力。该方法将视频推理建模为生成可验证的视觉轨迹,核心包括SDE-GRPO优化骨干、密集分解奖励以及Early-Step Focus策略。其中,Early-Step Focus策略通过将优化集中在早期去噪阶段,减少约40%训练延迟并保持性能。在Maze、FlowFree和Sokoban三个程序化生成任务中,VideoRLVR显著优于监督微调基线,尤其在成功率较低时效果突出。该模型在可验证推理基准和域外测试中也优于多个商用及开源模型,表明可验证强化学习能推动视频模型实现更可靠的规则一致视觉推理。

推理视频论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
61
TopoPrimer:预测模型缺失的拓扑上下文

TopoPrimer是一个将时间序列群体的全局拓扑结构作为显式输入来提升预测模型性能的框架。它通过持久同调与谱束坐标进行一次性的预计算,可作为全训练模型的输入或预训练骨干的轻量化适配器。在多个基准测试中,TopoPrimer显著提升了预测精度,在ECL数据集上最高实现7.3%的MSE改善;它在季节性需求高峰期将模型误差控制在10%以内(传统模型误差增幅达50%),并在无历史数据的冷启动场景中,较无拓扑基线降低了27%的MAE。研究表明,拓扑信号与单序列训练具有互补性,能持续稳定地带来精度增益。

数据/训练论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
58
FINESSE-Bench:面向大语言模型的金融领域知识与技术分析层级基准测试套件

针对现有金融基准测试在评估大语言模型(LLM)专业能力上的局限性,研究团队发布了FINESSE-Bench。这是一个包含八个专业基准测试、共计3993个问题的综合评估套件。它创新性地结合了CFA(特许金融分析师)等专业认证考试数据集、实际交易任务以及一个俄语奥赛基准。该套件旨在系统评估模型的金融知识广度、随难度提升的性能衰减、计算解决能力及在专业领域的表现,并提出了基于LLM-as-Judge范式的自动化评分方案,为实质性评估LLM的金融专业能力提供了新工具。

Hugging Face数据/训练论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
61
EndPrompt:通过末端锚定高效扩展长上下文

传统扩展大语言模型上下文窗口的方法需要在目标长度的序列上训练,计算成本高昂。EndPrompt方法仅通过短序列训练即可有效扩展上下文,其核心是将原始短上下文作为第一段,附加一个简短的末端提示作为第二段,并为其分配接近目标上下文长度的位置索引。这种两段式构造在短序列内引入局部和长程相对距离,同时保持文本语义连续性。理论分析基于旋转位置嵌入和伯恩斯坦不等式,表明位置插值能约束注意力函数。在LLaMA模型上将上下文从8K扩展到64K时,EndPrompt在LongBench上平均得分最高(76.03),超越LCEG、LongLoRA等方法,且计算量更少,证明长上下文泛化可从稀疏位置监督诱导,挑战了密集训练的必要假设。

arXiv开源/仓库推理数据/训练
08:00
HuggingFace Daily Papers(社区热门论文)
54
几何引导的隐状态替换:扩散应从何处进入语言模型?

针对扩散语言模型效果不及自回归模型的问题,本文提出DiHAL混合架构。其核心在于利用几何度量评估Transformer各层,确定最适合进行扩散干预的隐藏状态接口。该方法在选中层以下用扩散桥替换前缀,同时保留上层结构,通过重建隐藏状态而非直接处理离散token,避免了连续到离散转换的困难。实验表明,几何分数能有效预测浅层插入点,且隐状态恢复在匹配训练预算下优于连续扩散基线,为在预训练模型中定位可行的扩散替换位置提供了依据。

数据/训练论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
55
KVPO: 基于KV语义探索的ODE原生自回归视频对齐GRPO方法

针对流式自回归视频生成器与人类偏好对齐的挑战,现有方法依赖噪声探索和SDE策略,与蒸馏模型的ODE动态不匹配。本文提出KVPO框架,引入因果语义探索范式,将变异源从随机噪声转移至历史键值缓存,构建语义多样的生成分支;同时提出基于轨迹速度能量的速度场代理策略,在流匹配速度空间量化分支可能性,形成与ODE一致的奖励加权对比目标。实验表明KVPO在视觉质量、运动质量和文本-视频对齐方面均有提升。

arXiv视频论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
65
审计代理运行框架的安全性

当前对大语言模型代理的安全评估大多仅关注最终输出,忽略了执行过程中可能发生的权限越界或信息泄露。为解决这一盲区,研究者提出了HarnessAudit框架,从边界合规、执行保真度和系统稳定性三个维度,对代理的完整执行轨迹进行审计。同时建立了涵盖8个真实领域、210项任务的基准测试。评估发现,任务完成并不等于安全执行,违规行为会随轨迹增长而累积;风险在多智能体协作中被放大,且主要集中在资源访问与信息传递环节。框架的设计本身决定了其安全能力的上限。

智能体arXiv安全/对齐论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
59
MetaAgent-X:通过端到端强化学习突破自动多智能体系统性能瓶颈

现有自动多智能体系统存在局限,要么依赖测试时搜索,要么仅优化设计者而固定执行者,无法实现端到端联合优化。为此,研究团队提出MetaAgent-X框架,通过强化学习同时优化系统设计与执行。该框架支持脚本化生成、轨迹收集和信用分配,并引入"分层滚动"和"分阶段协同进化"技术确保训练稳定。实验显示MetaAgent-X最高提升性能达21.7%,消融分析表明设计者与执行者协同进化,验证了端到端可训练范式的有效性。

智能体论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
58
可持久化的遗忘:基于电路归因的量化不变机器卸载

研究指出了机器遗忘评估与部署现实的关键脱节:标准评估在全精度模型上进行,而部署模型必须量化。研究发现,4位后训练量化系统性逆转了遗忘效果,其根源在于参数更新量远小于量化区间宽度,无法跨越量化边界。为此,研究提出MANSU方法,通过因果电路归因定位最小子图,结合受约束的零空间投影与参数幅度下限,确保遗忘持久且能通过量化。新引入的电路归因散度指标可区分结构擦除与行为抑制。MANSU是首个在有意义遗忘、保持保留、无量化损失及结构擦除四个属性上均达到良好效果的方法。

安全/对齐论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
66
基于操作指纹:通过UI痕迹识别LLM浏览器智能体

本研究揭示,代表用户浏览网页的LLM智能体,其操作模式与交互时间特征可被网站通过被动JavaScript追踪器捕获,从而精准识别底层大模型,构成显著安全风险。实验涵盖14个前沿大模型与4种网络任务环境,表明基于操作日志的分类器可达到96%的F1分数,且具备跨模型泛化能力。即使仅需少量交互痕迹,或在任务早期阶段,仍可有效推断智能体身份。研究发现,虽向操作间注入随机延迟会暂时干扰识别,但通过在延迟痕迹上重新训练分类器,其性能可基本恢复,因此无法提供稳健防护。团队已公开其实验框架与标注的智能体痕迹数据集。

智能体安全/对齐
08:00
HuggingFace Daily Papers(社区热门论文)
54
AuralSAM2:通过金字塔音视频特征提示赋能SAM2倾听

针对SAM2在音频模态整合上的不足,本文提出AuralSAM2。其核心模块AuralFuser融合音频与视觉特征,生成稀疏和密集提示,并基于SAM2的特征金字塔在视觉层间传播音频线索,以强化跨模态影响。同时,引入音频引导对比损失函数,进一步对齐音频与视觉特征。实验表明,该方法在公开基准上显著提升了准确率,同时将对SAM2可提示分割交互效率的影响降至最低。

arXivGitHub多模态论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
50
ChangeFlow -- 用于遥感变化检测的潜空间校正流模型

现有遥感变化检测方法在生成式模型上往往因像素空间生成计算成本高、条件机制复杂而性能落后于判别式模型。本文提出ChangeFlow,一种将变化检测重新定义为潜空间中变化掩膜合成的生成式框架,采用结构轻量的条件信号引导,并利用随机采样实现预测集成。通过聚合多个预测掩膜提升鲁棒性,并基于样本一致性提供置信度估计,突出模糊区域。该方法在四个基准测试中平均F1值达80.4%,较此前最佳方法平均提升1.3个百分点,同时保持与近期强基线模型相当的推理速度。

图像生成论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
63
GQLA:面向硬件自适应的大语言模型解码的分组查询潜在注意力

本研究提出分组查询潜在注意力(GQLA),对DeepSeek-V2/V3中的多头潜在注意力(MLA)进行最小修改,使其在一套权重上暴露两种等效解码路径:与MLA相同的MQA吸收路径,以及带有每组扩展缓存的GQA路径。运行时可根据硬件自动选择路径,无需重新训练。单一的GQLA权重能同时适配H100(采用MQA吸收)与H20(采用GQA及多令牌预测)的硬件性能上限,并在GQA路径上支持高达8路的零冗余张量并行。通过扩展TransMLA为TransGQLA,可将预训练的GQA模型转换为GQLA模型。在LLaMA-3-8B上的实验表明,其MQA吸收路径将每令牌的KV缓存压缩至GQA基线的28.125%,同时在分组路径上结构性保留了GQA级别的流量效率。

DeepSeek推理论文/研究部署/工程
08:00
HuggingFace Daily Papers(社区热门论文)
58
PhysBrain 1.0 技术报告

针对机器人轨迹数据在构建物理常识上的局限性,PhysBrain 1.0 提出了一种互补方案。该研究构建了一个数据引擎,从大规模人类第一视角视频中提取结构化的物理常识,用于训练视觉语言模型。随后,通过一种保持能力且语言敏感的适配设计,将这些物理先验知识迁移到视觉语言-动作策略中。实验表明,在多项具身控制基准测试上,PhysBrain 1.0 均达到当前最优水平,尤其在跨域任务中展现出强大性能。

具身智能多模态数据/训练论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
53
从计划到像素:学习规划与协调的开放式图像编辑

现有图像编辑模型在处理抽象、多步骤指令时存在不足。本研究提出一种长周期编辑框架,包含生成原子分解的规划器与选择工具、区域执行步骤的调度器。视觉语言评判器根据指令遵循度与视觉质量提供奖励信号,调度器通过最大化奖励进行训练,成功轨迹则用于优化规划器。该方法通过紧密耦合规划与奖励驱动执行,生成了比单步或规则基线更连贯可靠的编辑结果。

智能体图像生成多模态论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
56
Learning from Failures: 基于可验证奖励的纠错导向策略优化

研究提出了一种名为纠错导向策略优化的新方法,用于增强大型语言模型的推理能力。该方法将训练中产生的失败轨迹自动转化为纠错样本,并与标准的可验证奖励强化学习目标联合优化。在涵盖数学推理和代码生成的11个基准测试中,该方法在推理和纠错性能上均显著超越现有基线。实验表明,该方法能提升模型的内在推理能力,而不仅仅是重新分配已有正确答案的概率质量,具体体现在更强的pass@K增益上。

推理数据/训练论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
54
InsightTok:提升自回归图像生成中文本与人脸保真度的离散标记化框架

针对自回归图像生成中文本与人脸保真度不足的核心瓶颈,InsightTok提出了一种改进的离散视觉标记化框架。该框架通过引入局部化、内容感知的感知损失,专门强化文本可读性与面部特征保真度。在保持16k小型码本和16倍下采样率的紧凑设计下,InsightTok在文本和面部重建质量上显著超越先前方法,且未损害通用图像重建性能。其优势在自回归模型InsightAR中得到延续,生成的图像文本更清晰、面部细节更精准。这项工作凸显了在标记化训练中引入针对性监督对推进离散图像生成的重要性。

arXiv图像生成多模态论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
63
Solvita:通过智能体演化增强大语言模型的竞技编程能力

Solvita 是一个无需更新底层大语言模型权重的智能体演化框架,旨在提升模型在竞技编程中的推理能力。它将解题过程重组为由 Planner、Solver、Oracle、Hacker 四个专用智能体执行的闭环系统。每个智能体配备一个可训练的图结构知识网络,系统运行时产生的通过/失败结果、测试质量与对抗漏洞等信号,会转化为对这些网络的强化学习更新,使智能体能基于历史经验动态路由后续查询,持续积累可迁移的推理经验。在多个基准测试及实时编程比赛中,Solvita 在代码生成智能体中取得了新的最优性能,显著超越了现有方法。

智能体推理编码论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
61
FFAvatar:少样本、前馈式、可泛化的虚拟形象重建

FFAvatar提出一种通用前馈框架,仅需数秒即可从少量无姿态人像重建高质量、可动画化的3D高斯头部虚拟形象。它通过多视图查询融合器将多源图像信息统一到规范表示,并端到端预测FLAME参数驱动动画。采用三阶段训练策略:在超百万身份的单目视频数据上预训练;利用少量高质量360度数据微调;支持500步内快速个性化适配。在NeRSemble基准上,其PSNR显著优于现有最优方法5.5分,无需个性化时重建仅需2秒,个性化需10秒,并在单A100 GPU上实现49 FPS实时动画。

arXiv图像生成论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
65
MMSkills:面向通用视觉智能体的多模态技能框架

MMSkills框架旨在为视觉智能体提供可复用的多模态程序性知识。它将每个技能封装为包含文本程序、运行时状态卡片和多视角关键帧的紧凑技能包。该框架通过轨迹到技能的生成器,将公开交互轨迹转化为技能,过程包括工作流分组、程序归纳与视觉定位。使用时,采用分支加载架构:在临时分支中检视选定的状态卡片与关键帧,将其与实时环境对齐并提炼为结构化指导,供主智能体决策。在GUI和游戏基准测试中,该框架能持续提升不同规模多模态智能体的性能,证明外部多模态知识能有效补充模型内部先验。

智能体多模态论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
56
ReactiveGWM:在反应式游戏世界模型中引导非玩家角色

现有游戏世界模型多从主观玩家视角模拟环境,将非玩家角色(NPC)视为背景像素,难以建模玩家与NPC的动态交互。本文提出ReactiveGWM,该反应式游戏世界模型通过显式解耦玩家控制与NPC行为来解决此问题:玩家动作通过轻量级加性偏置注入扩散主干,而高级NPC响应则通过交叉注意力模块实现。这些模块学习的是与游戏无关的交互逻辑表示,支持零样本策略迁移——学习到的模块可直接插入不同游戏的现成世界模型中,无需针对特定领域重新训练即可实现可引导的NPC交互。在《街头霸王》系列游戏上的评估表明,ReactiveGWM在保持精细玩家可控性的同时,实现了稳健且与提示对齐的NPC策略遵循。

智能体arXiv论文/研究
04:44
HuggingFace Daily Papers(社区热门论文)
44
EgoForce:基于前臂引导的单目头戴相机三维手部姿态重建

本文提出EgoForce框架,通过单个头戴式摄像头从用户视角重建手部的绝对三维姿态与形状。该框架解决了单目RGB方法的深度尺度模糊问题,并能泛化应用于鱼眼、透视等多种摄像头模型。其核心创新在于结合了可微分前臂表征以稳定手部姿态、统一的臂-手Transformer模型从单视图预测几何信息,以及一个光线空间闭式求解器来实现跨设备的绝对三维姿态恢复。在三个第一人称基准测试上的实验表明,EgoForce实现了最先进的三维精度,在HOT3D数据集上将相机空间MPJPE误差降低了最高28%,并在不同摄像头配置下保持了一致的性能。

端侧论文/研究
04:42
Berkeley RDI:Blog(AI 安全与评测)
精选78
ExploitGym:AI智能体能否将安全漏洞转化为真实攻击?

由伯克利RDI、马克斯·普朗克安全与隐私研究所、Anthropic、OpenAI及谷歌等机构研究人员组成的团队,发布了名为ExploitGym的新基准测试。该测试包含898个真实漏洞,要求AI智能体根据漏洞描述生成完整的漏洞利用程序。结果显示,前沿AI模型已能成功利用相当数量的漏洞,即使在启用ASLR等标准防御措施后,部分攻击仍能成功。这证明AI已具备自主将漏洞转化为实际攻击的能力,该技术具有双重用途:既可帮助防御者评估漏洞严重性,也可能降低攻击者的技术门槛。

智能体AnthropicOpenAI安全/对齐

推荐理由:顶级 AI 模型已能自己把已知软件漏洞变成可运行攻击代码,连 ASLR 等标准防御都挡不住部分攻击,研究更发现模型会主动寻找更危险的意外漏洞。安全行业不能再把这当成假设性问题了。
02:44
HuggingFace Daily Papers(社区热门论文)
精选70
解决循环:语言和推理的吸引子模型

吸引子模型解决了循环Transformer训练不稳定、成本高和深度固定的问题。它通过主干模块生成初始输出嵌入,吸引子模块迭代优化固定点,并利用隐式微分计算梯度,使训练内存与有效深度无关,迭代次数自适应收敛。在语言建模中,相比标准Transformer,困惑度最高降低46.6%,下游任务准确率最高提升19.7%,训练成本更低;一个770M参数的模型性能优于1.3B参数Transformer。在推理任务中,仅2700万参数模型在约1000个示例下,于Sudoku-Extreme和Maze-Hard上准确率分别达91.4%和93.1%,优于Claude、GPT o3等前沿模型。模型还展现出均衡内化现象,训练后初始输出嵌入接近均衡态,推理时可移除求解器而性能几乎无损,实现了迭代优化的可扩展性。

推理数据/训练论文/研究

推荐理由:这可能是要改写语言模型训练范式的架构,把迭代推理变成可学习的固定点,770M 性能超 1.3B Transformer,27M 小模型解数独秒杀 Claude、GPT o3。最反直觉的是,训练后模型能内化迭代过程,推理时直接一步到位。
01:44
HuggingFace Daily Papers(社区热门论文)
64
快与慢的学习:面向持续适应的大语言模型

研究团队提出一种面向大语言模型的快慢学习框架,将模型参数视为“慢”权重,优化的上下文视为“快”权重。该框架结合了参数更新与上下文学习的优势:快权重通过文本反馈快速吸收任务特定信息,而慢权重则保持接近基础模型以维护通用推理能力。在推理任务中,该方法比仅使用慢学习(如强化学习)的样本效率高出3倍,且达到更高性能上限。同时,训练后的模型更接近基础模型(KL散度降低达70%),显著缓解了灾难性遗忘,并保持了模型的可塑性,使其在持续学习场景中能更有效地适应后续新任务。

推理数据/训练论文/研究
5月13日
23:44
HuggingFace Daily Papers(社区热门论文)
59
ORBIT:通过原点调控的权重合并,在生成式检索中保留大语言模型的基础能力

研究指出,为大语言模型微调生成式检索任务会迅速导致其通用语言推理能力的灾难性遗忘,且遗忘程度与微调后和原始模型参数的偏离距离相关。为此,研究者提出了ORBIT方法。该方法主动追踪微调权重与初始权重之间的距离,一旦超过预设阈值,便采用权重平均策略来约束模型在微调过程中的漂移。实验表明,ORBIT在文本和检索性能上均优于常见的持续学习基线及同样采用权重平均的正则化方法,有效缓解了基础能力的遗忘问题。

arXiv检索增强数据/训练论文/研究
23:44
HuggingFace Daily Papers(社区热门论文)
59
Agent-BRACE:通过语言化状态不确定性在长程任务中解耦信念与行动

针对部分可观测长程任务中LLM智能体面临的历史信息膨胀与状态不确定性问题,研究提出了Agent-BRACE方法。该方法将智能体解耦为信念状态模型与策略模型,通过强化学习联合优化。信念模型以带有序语言化确定性标签(从“确定”到“未知”)的原子化自然语言声明集合,结构化近似表示环境状态的后验分布;策略模型则基于这一紧凑的信念表示而非完整历史进行决策。在部分可观测的具身语言环境中,该方法使Qwen2.5-3B-Instruct和Qwen3-4B-Instruct模型分别实现平均绝对性能提升14.5%与5.3%,且上下文窗口长度几乎不随任务步数增长。分析表明,随着证据积累,学习得到的信念在任务过程中校准度逐渐提升。

智能体arXiv论文/研究
21:44
HuggingFace Daily Papers(社区热门论文)
55
UniPath:面向统一多模态推理的理解与生成自适应协调框架

针对统一多模态模型中理解与生成能力的协调问题,研究团队提出UniPath框架。该框架的核心是识别并利用“协调路径多样性”,即针对不同输入动态选择最优推理路径,而非采用固定模式。路径选项包括直接回答、文本推理、视觉思维构建及假设探索。UniPath通过角色对齐轨迹训练路径条件执行器,并引入轻量级规划器实现输入依赖的路径选择。实验表明,该方法在性能上超越了固定协调策略,同时提供了可解释的中间行为。代码已开源。

多模态推理论文/研究
20:39
IT之家(RSS)
58
我国科研人员探索脑机接口神经探针技术,为慢性疼痛治疗提供新路径

中国科学院长春应用化学研究所张强团队开发出一款植入式水凝胶神经探针,为慢性疼痛治疗提供了新路径。该成果于5月13日发表于《先进材料》期刊。探针采用α螺旋多肽交联剂的超分子水凝胶材料,在模量匹配性、电导率和透光性之间取得平衡,能更好适配脑组织。动物实验显示,植入大脑前边缘皮层的探针可实现长达1年的稳定神经信号记录,并在慢性疼痛模型中有效增强相关脑区活动、提高疼痛阈值、缓解疼痛症状。

具身智能论文/研究
18:44
HuggingFace Daily Papers(社区热门论文)
61
Multi-Stream LLMs:通过并行思维、输入与输出流解锁语言模型

研究提出将语言模型从单一顺序消息处理转向多并行计算流架构。模型在每个前向传播中同时从多个输入流读取,并向多个输出流生成令牌,所有流均因果依赖于先前时间步。这一数据驱动的变革解决了现有智能体无法在阅读时行动、在行动时响应新信息等阻塞问题,同时通过并行化提升了模型效率,通过更好的关注点分离增强了安全性,并改善了模型的可监控性。

智能体推理论文/研究
17:44
HuggingFace Daily Papers(社区热门论文)
51
用于样本高效连续控制的去偏基于模型表示

DR.Q 算法被提出,以解决基于模型表示方法在连续控制中因信息捕获不足和过拟合早期经验而导致的偏差问题。该算法显式最大化当前状态-动作对与下一状态表示之间的互信息,并最小化偏差,同时结合衰减优先经验回放进行过渡采样。在多个连续控制基准测试中,使用单一超参数集进行评估,DR.Q 的表现匹配或超越了近期强基线,有时性能大幅领先。代码已开源。

具身智能论文/研究
17:44
HuggingFace Daily Papers(社区热门论文)
52
Pion:一种基于正交等价变换的谱保持优化器

研究团队推出用于大语言模型训练的优化器Pion,其基于正交等价变换实现谱保持特性。与Adam、Muon等加法型优化器不同,Pion通过左右正交变换更新权重矩阵,使奇异值在整个训练过程中保持不变。该机制能在固定谱范数的前提下调节权重矩阵的几何结构。实验表明,Pion在LLM预训练和微调任务中均能提供稳定且具有竞争力的性能,为传统优化器提供了新替代方案。

arXiv数据/训练论文/研究
17:43
The Decoder:AI News(RSS)
42
From Prompt to Pointer Engineering: Deepmind 尝试为 AI 时代重塑鼠标光标

Deepmind 提出“指针工程”概念,旨在将鼠标光标转变为上下文工程中的关键变量。这一设想试图超越传统的提示词工程,通过光标在界面上的物理位置和移动轨迹来影响和引导 AI 模型的行为与输出。其目标是为人机交互开辟新范式,使光标成为与 AI 系统进行精细、动态交互的核心工具。

DeepMind论文/研究
16:44
HuggingFace Daily Papers(社区热门论文)
66
因果语言建模迂回策略提升编码器领域适应效果

研究提出,在编码器适应新领域时,先短暂切换至因果语言建模(CLM),再进行掩码语言建模(MLM)衰减训练,可有效提升下游任务性能。在生物医学文本上使用ModernBERT的实验表明,该策略在相同数据和算力下,于多项法语和英语生物医学任务中均稳定优于纯MLM基线。分析发现,CLM的密集监督主要影响Transformer低层,其带来的表征变化在后续MLM阶段得以持续并随模型容量扩展。基于此方法发布的ModernCamemBERT-bio与ModernBERT-bio模型,成为当前先进的生物医学编码器。

数据/训练论文/研究
16:44
HuggingFace Daily Papers(社区热门论文)
56
WildRelight:面向单图像重光照的真实世界基准与物理引导自适应方法

本文介绍了首个专为单图像重光照评估设计的真实世界数据集WildRelight,包含多样化高分辨率户外场景,在严格对齐的时序自然光照下采集并配有环境贴图。基准测试揭示了当前基于合成数据训练的先进模型存在严重域偏移。利用该数据集严格对齐的时间结构,研究提出一种物理引导推理框架,将捕获的自然光演变作为自监督约束,通过结合扩散后验采样与时序感知的测试时自适应,成功将棘手的模拟到真实挑战转化为可处理的自监督任务。数据集与代码将公开以推动鲁棒且基于物理的重光照研究。

arXiv图像生成数据/训练论文/研究
15:44
HuggingFace Daily Papers(社区热门论文)
57
异步智能体强化学习中旧Logits缺失:离策略修正的语义不匹配与修复方法

异步强化学习提升语言模型智能体数据吞吐,但引发PPO离策略修正失效。重要性比率本应分解为训练-推理差异项和策略陈旧性项,但异步流水线常丢失旧Logits,导致修正语义混淆与阈值不良交互。研究提出精确修正方法,如快照版本追踪、专用模型和同步中断,并探讨近似修正路径。采用改进的PPO-EWMA方法,在训练速度和优化性能上均取得显著提升。

智能体arXiv论文/研究
15:44
HuggingFace Daily Papers(社区热门论文)
64
One Turn Too Late: 针对多轮对话中隐藏恶意意图的响应感知防御

针对多轮对话中隐藏的恶意意图威胁,研究提出了一种新的防御方法,旨在检测并干预最早可能促成有害行为的关键对话轮次。该方法通过构建包含分支攻击推演、良性困难负例及最早危害促成轮次标注的多轮意图数据集(MTID)进行训练与评估。基于此训练的轮级监控器TurnGate在恶意意图检测上显著优于现有基线,同时保持较低的误拒率,并能跨领域、攻击流程和目标模型实现泛化。相关代码已开源。

安全/对齐论文/研究
14:44
HuggingFace Daily Papers(社区热门论文)
60
FATE:基于失败轨迹的智能体安全对齐在线自我进化框架

工具调用型LLM智能体的失败体现在整个轨迹中,而非仅最终响应。现有安全对齐方法常导致安全与效用权衡。研究提出FATE框架,通过在线策略自我进化,将验证器评分的失败轨迹转化为修复监督信号,无需专家示范。该方法引入帕累托前沿策略优化(PFPO),结合监督预热与帕累托优化以平衡安全与效用。在AgentDojo、AgentHarm和ATBench上的实验表明,FATE能显著提升多模型、多规模下的安全性,同时维持任务效用。具体而言,攻击成功率降低33.5%,有害指令遵从减少82.6%,外部轨迹安全诊断能力提升6.5%。这表明失败轨迹可为智能体安全进化提供有效监督。

智能体安全/对齐数据/训练论文/研究
13:44
HuggingFace Daily Papers(社区热门论文)
65
L2P:解锁潜在扩散模型在像素生成中的潜力

本文提出了一种高效的潜在到像素(L2P)迁移范式,能够直接利用预训练潜在扩散模型(LDM)的知识构建像素空间模型。该方法摒弃了VAE,采用大块标记化技术,并冻结源LDM的中间层,仅训练浅层来学习从潜在到像素的转换。通过仅使用LDM生成的合成图像进行训练,L2P能以极低开销(仅需8个GPU)将海量潜在先验迁移至像素空间。实验表明,该方法在DPG-Bench上与源LDM性能相当,在GenEval上达到其93%的性能,同时消除了VAE的内存瓶颈,实现了原生的4K超高清图像生成。

图像生成论文/研究
13:44
HuggingFace Daily Papers(社区热门论文)
54
世界动作模型:具身AI的新前沿

视觉-语言-动作模型虽在语义泛化上表现良好,但缺乏对物理动态的显式建模。为此,研究界正整合预测环境变化的世界模型,形成“世界动作模型”新范式。WAMs将状态预测与动作生成相统一,以未来状态与动作的联合分布为目标。现有方法可分为级联式与联合式两大类,其发展依托于机器人遥操作、人类演示、仿真及互联网规模第一人称视频等多元数据。评估聚焦于视觉保真度、物理常识与动作合理性。当前领域面临架构与目标碎片化的挑战,亟需建立统一框架。

具身智能论文/研究