AIHOT
内容
精选全部 AI 动态AI 日报主题收藏
接入
Agent 接入
更多
关于更新日志反馈
内部员工登录
精选全部日报更多
内部员工登录
全部动态
全部一手资讯X论文
标签「数据/训练」清除
5月7日周四
12:16IT之家(RSS)61OpenAI 携手英伟达等 5 大巨头发布 MRC 协议,重塑大规模 AI 训练网络架构
11:22HuggingFace Daily Papers(社区热门论文)56PhysForge:为交互式虚拟世界生成基于物理的3D资产
10:22HuggingFace Daily Papers(社区热门论文)65D-OPSD:基于在线策略自蒸馏的步数蒸馏扩散模型持续微调方法
09:36宝玉76Anthropic创始人解释Claude限速原因:需求增速远超预期,年化高达80倍
08:04Hacker News 热门(buzzing.cc 中文翻译)65《深度学习理论》
08:04Hacker News 热门(buzzing.cc 中文翻译)52Show HN: 《幻觉百科》
08:00HuggingFace Daily Papers(社区热门论文)48MobileEgo Anywhere:基于通用硬件的长时程自我中心数据开放基础设施
08:00HuggingFace Daily Papers(社区热门论文)44使用灯塔注意力进行长上下文预训练
08:00HuggingFace Daily Papers(社区热门论文)59高效预训练:令牌叠加训练法
08:00HuggingFace Daily Papers(社区热门论文)49信念空间动力学中可容许学习率步长的闭形式上界
08:00HuggingFace Daily Papers(社区热门论文)75精选反思强化学习对大语言模型推理的作用:是稀疏策略选择,而非能力学习
08:00HuggingFace Daily Papers(社区热门论文)56门控QKAN-FWP:一种可扩展的量子启发的序列学习框架
08:00HuggingFace Daily Papers(社区热门论文)65均值模式尖叫:用于千层扩散变换器的均值-方差分割残差方法
08:00HuggingFace Daily Papers(社区热门论文)51UniSD:面向大型语言模型的统一自蒸馏框架
08:00HuggingFace Daily Papers(社区热门论文)51CPCANet:基于深度展开通用主成分分析的领域泛化方法
08:00HuggingFace Daily Papers(社区热门论文)57HumanNet:将人类中心视频学习扩展到百万小时
08:00HuggingFace Daily Papers(社区热门论文)49MDN:面向Delta线性注意力的步进动量并行化
08:00HuggingFace Daily Papers(社区热门论文)65IntentGrasp:意图理解综合基准
08:00HuggingFace Daily Papers(社区热门论文)54列表式策略优化:基于分组的RLVR作为大语言模型响应单纯形上的目标投影
04:34Rohan Paul57NVIDIA、微软和OpenAI联合推出多路径可靠连接(MRC)协议
04:34Rohan Paul48OpenClaw-RL:通过日常对话持续训练语言模型
02:10TestingCatalog News 🗞72马斯克认可Anthropic团队,SpaceX出租超算集群
00:37向阳乔木60AI分析X平台数据揭示发帖效率与涨粉规律
5月6日周三
23:04OpenAI66OpenAI联合行业巨头发布MRC协议,提升AI超算网络效率
21:29Chubby♨️54NVIDIA开源支撑OpenAI Blackwell集群的新型网络传输协议
19:16IT之家(RSS)69马斯克为自家晶圆厂砸重金,SpaceX 拟在得州 Terafab 工厂投资 550 亿美元
17:20ginobefun63当前 AI 与真实工作场景之间的错配
09:34meng shao77精选全球首个基于SSA架构的模型SubQ实现1200万token上下文窗口,效率大幅领先
09:15IT之家(RSS)66AI 训练侵犯版权,爱思唯尔、圣智等多家出版商起诉 Meta
09:01Hacker News 热门(buzzing.cc 中文翻译)65出版商称,扎克伯格"亲自批准"了Meta的侵权行为
08:00HuggingFace Daily Papers(社区热门论文)57KernelBench-X:评估LLM生成的GPU内核的综合基准测试
08:00HuggingFace Daily Papers(社区热门论文)55RemoteZero:无需人工标注的地理空间推理
08:00HuggingFace Daily Papers(社区热门论文)57ReflectDrive-2:基于强化学习对齐的自编辑离散扩散驾驶规划器
08:00HuggingFace Daily Papers(社区热门论文)66TabEmbed:面向表格理解的基准测试与通用嵌入学习
07:33Nathan Lambert43正在为RLHF书籍添加一个关于策略蒸馏的章节,值得注意的是,尽管我已经提供了核心论文和250页关于我如何阐述观点的背景资料,但LLMs/编码代理在这方面的表现却出奇地差。
06:01Hacker News 热门(buzzing.cc 中文翻译)65扎克伯格"亲自批准并鼓励"Meta的侵权行为
04:17HuggingFace Daily Papers(社区热门论文)55一种缩小游戏引擎合成数据集中 Sim2Real 外观差异的混合方法
5月5日周二
23:27Epoch AI44线下研讨会征集可编程验证的数学难题
20:56The Decoder:AI News(RSS)59SAP的收购狂潮表明这家企业巨头正认真致力于成为AI就绪的数据平台
20:56Hacker News 热门(buzzing.cc 中文翻译)68从零开始训练你自己的大型语言模型
全部 AI 动态
AI 相关资讯全量信息流
全部一手信源资讯推文
全部模型产品行业论文技巧
5月7日
12:16
IT之家(RSS)
61
OpenAI 携手英伟达等 5 大巨头发布 MRC 协议,重塑大规模 AI 训练网络架构

OpenAI联合AMD、博通、英特尔、微软和英伟达,通过开放计算项目(OCP)开源了多路径可靠连接(MRC)协议。该协议旨在解决大规模AI训练中的网络延迟和故障问题。MRC基于RoCE标准扩展,结合SRv6技术,采用多平面网络设计,仅需两层交换机即可连接约13.1万块GPU,降低了网络功耗与成本。其自适应数据包喷淋技术可将数据分散至数百条路径并行传输,避免核心拥塞。同时,协议采用SRv6源路由简化控制,使网络故障恢复时间从秒级缩短至微秒级。MRC已应用于NVIDIA GB200超级计算机及Oracle Cloud Infrastructure站点。

OpenAI开源生态数据/训练行业动态
11:22
HuggingFace Daily Papers(社区热门论文)
56
PhysForge:为交互式虚拟世界生成基于物理的3D资产

针对交互式虚拟世界与具身智能中物理3D资产合成的瓶颈,现有方法多忽视功能性。本文提出PhysForge,一个由大规模四层物理标注数据集PhysDB支持的两阶段框架。第一阶段,视觉语言模型担任“物理架构师”,规划定义材料、功能与运动学约束的“分层物理蓝图”。第二阶段,基于物理的扩散模型通过新颖的运动体素注入机制,合成高保真几何与精确运动学参数。实验证明,PhysForge能生成功能合理、可直接仿真的资产,为交互式3D内容与具身智能体提供了强大的数据引擎。

arXiv具身智能多模态数据/训练
10:22
HuggingFace Daily Papers(社区热门论文)
65
D-OPSD:基于在线策略自蒸馏的步数蒸馏扩散模型持续微调方法

针对高性能少步图像生成模型(如Z-Image-Turbo)在持续监督微调中会损害其固有少步推理能力的问题,本文提出D-OPSD训练范式。该方法利用以LLM/VLM为编码器的扩散模型可继承上下文能力的特点,将训练构建为在线策略自蒸馏过程:模型同时扮演教师(以文本和图像多模态特征为条件)和学生(仅以文本特征为条件)双重角色,并通过最小化其在自身生成轨迹上两个预测分布的差异进行优化。这使得模型能在自身监督下学习新概念或风格,同时保持原有的高效少步生成能力。

图像生成数据/训练论文/研究
09:36
宝玉@dotey
76
Anthropic创始人解释Claude限速原因:需求增速远超预期,年化高达80倍

Anthropic联合创始人Dario Amodei在开发者大会上表示,Claude服务持续限速的直接原因是需求增速远超预期。公司原本按年增10倍规划算力,但2026年第一季度实际年化增速高达80倍,导致算力供不应求。为此,Anthropic已与SpaceX签署协议,将获得Colossus 1数据中心超过300 MW、22万张NVIDIA GPU的全部算力。Dario称这种指数级增长虽在理论预测内,但实际体验仍令人震撼。公司视开发者为AI扩散的先行指标和最重要用户群体,并正致力于攻克代码安全等“主观”能力。

Anthropic大佬观点安全/对齐数据/训练
08:04
Hacker News 热门(buzzing.cc 中文翻译)
65
《深度学习理论》

一篇题为《深度学习理论》的文章在Hacker News上获得103点热度。文章探讨了深度学习的理论基础,旨在为这一复杂领域构建更系统的理解框架。尽管具体理论细节未在摘要中展开,但其核心目标指向解释深度神经网络为何有效以及如何工作,这反映了学术界和工业界对超越经验性实践、寻求坚实理论支撑的持续追求。

推理数据/训练论文/研究
08:04
Hacker News 热门(buzzing.cc 中文翻译)
52
Show HN: 《幻觉百科》

名为《幻觉百科》的新网站Halupedia正式发布,这是一个专注于收集和记录人工智能生成内容中各类“幻觉”现象的在线百科。网站旨在系统化归类AI模型产生的事实错误、逻辑矛盾或虚构信息,为开发者和研究者提供参考案例以改善模型可靠性。目前该平台已获得106个Hacker News社区点赞,显示出技术社区对此类工具的关注。

产品更新数据/训练
08:00
HuggingFace Daily Papers(社区热门论文)
48
MobileEgo Anywhere:基于通用硬件的长时程自我中心数据开放基础设施

为解决VLA模型对长时程自我中心数据的需求与现有短时程数据集之间的矛盾,本文提出MobileEgo Anywhere框架。该框架利用智能手机传感器实现高精度位姿追踪,降低了数据采集的硬件门槛。主要贡献包括:发布了一个包含200小时多样化长时程轨迹的数据集,开源了移动数据采集应用,并提供了将原始数据转换为标准训练格式的完整处理流程。这实现了跨全球环境的大规模长时程数据获取,为机器人策略研究提供了关键数据支持。

arXiv具身智能开源生态数据/训练
08:00
HuggingFace Daily Papers(社区热门论文)
44
使用灯塔注意力进行长上下文预训练

为克服因果变换器在超长序列训练中因SDPA注意力二次复杂度导致的计算瓶颈,研究团队提出了一种仅用于训练、可移除的新型注意力机制——灯塔注意力。该方法通过亚二次复杂度的序列自适应压缩/解压缩预处理、能并行处理查询/键/值的对称压缩策略,以及“灯塔预训练+短期完整注意力恢复”的两阶段流程,在保持因果性的同时提升效率。初步小规模LLM预训练实验表明,该方法在相同设置下能实现更快的总训练时间,并在恢复阶段后获得更低的最终损失。

数据/训练论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
59
高效预训练:令牌叠加训练法

研究团队提出令牌叠加训练法,这是一种即插即用的高效预训练方法。该方法无需改动模型架构、并行策略等核心组件,通过将连续令牌合并为包并进行多热交叉熵目标训练,随后恢复标准训练的两阶段设计,显著提升了数据吞吐效率。在2.7亿至100亿参数的不同模型规模上验证表明,该方法具有高度鲁棒性,能持续优于基线模型的损失表现与下游任务结果。在同等损失条件下,该方法在100亿参数规模上实现了预训练总时间最多减少2.5倍的成效。

数据/训练论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
49
信念空间动力学中可容许学习率步长的闭形式上界

研究将学习率步长从超参数提升为可计算量。在概率单纯形上,当更新被建模为投影前向步时,可容许性意味着在自然KL/Bregman几何中的收缩性。该模型表明,可容许步长的上界并非调参口号,而是一个明确的闭形公式。这一成果为优化算法提供了基于几何结构的理论步长界限,将步长选择从经验调优转向可计算的局部信念空间动力学。

数据/训练论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
精选75
反思强化学习对大语言模型推理的作用:是稀疏策略选择,而非能力学习

研究发现,强化学习改进大语言模型推理时,并非教授新策略,而是对基础模型已掌握的解决方案进行概率重分配。其有效影响仅集中在1–3%的高熵决策token上,且所提升的token始终位于基础模型前5个备选之中。基于此,研究者提出无需强化学习的ReasonMaxxer方法,仅在熵选通的决策点施加对比损失,仅需数百次基础模型推演且无需在线生成。在多个模型和数学推理基准测试中,该方法达到或超越了完整强化学习的性能,而训练仅需数十道题目、数分钟的单GPU时间,成本降低约三个数量级。

arXiv推理数据/训练论文/研究

推荐理由:这篇论文直接挑战当前主流 RL 训练范式,认为 RL 只是在选择已有策略而非学习新能力,并给出千分之一成本就能追平的替代方案,做 reasoning 的同行可以认真读一下。
08:00
HuggingFace Daily Papers(社区热门论文)
56
门控QKAN-FWP:一种可扩展的量子启发的序列学习框架

本研究提出门控QKAN-FWP,一种将快速权重编程器与量子启发的Kolmogorov-Arnold网络相结合的新型框架。它采用单量子位数据重上传电路作为可学习激活函数,并引入了标量门控的快速权重更新规则以稳定参数。在时间序列预测任务中,一个仅含12.5k参数的模型,在太阳活动周期长期预测上,其性能超越了一系列参数规模大得多的经典循环模型。该模型成功在IonQ和IBM量子处理器上部署,在1024次测量下预测精度与无噪声模拟器差距在0.1%以内,证明了其在含噪声量子设备上的兼容性与可扩展性。

数据/训练论文/研究部署/工程
08:00
HuggingFace Daily Papers(社区热门论文)
65
均值模式尖叫:用于千层扩散变换器的均值-方差分割残差方法

研究发现,当扩散变换器扩展到数百层时,会因结构脆弱性进入“均值主导崩溃”状态,即表征同质化且中心化变异被抑制,此现象被定义为均值模式尖叫。其触发机制源于残差写入器的均值相干反向冲击。为解决此问题,研究提出了均值-方差分割残差方法,它将独立增益的中心化残差更新与泄漏主干均值替换相结合。在400层单流扩散变换器上,该方法有效防止了基线模型的崩溃性发散,性能显著优于LayerScale等各向同性门控方法。最终,研究成功训练了一个1000层的扩散变换器,验证了该架构在极深尺度下仍能保持稳定训练。

数据/训练论文/研究部署/工程
08:00
HuggingFace Daily Papers(社区热门论文)
51
UniSD:面向大型语言模型的统一自蒸馏框架

本文提出统一自蒸馏框架UniSD,系统研究大型语言模型的自蒸馏方法。该框架整合多教师一致性、指数移动平均教师稳定、词元级对比学习、特征匹配和散度裁剪等机制,以应对监督可靠性、表示对齐和训练稳定性三大挑战。通过在三个模型家族的六个模型和六个基准上的实验,UniSD揭示了自蒸馏优于静态模仿的条件、各组件的贡献及其跨任务交互机制。基于此构建的完整流程UniSDfull,在基础模型上提升5.4个百分点,较最强基线提升2.8个百分点,实现了无需更强外部教师的高效模型适配。

数据/训练论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
51
CPCANet:基于深度展开通用主成分分析的领域泛化方法

CPCANet是一种新颖的领域泛化框架,其核心是将通用主成分分析(CPCA)的迭代式Flury-Gautschi算法展开为完全可微的神经层。该方法将CPCA的统计特性融入端到端可训练框架,强制模型从不同领域中发现一个共享的、具有可解释性的子空间。在四个标准领域泛化基准测试上的实验表明,CPCANet在零样本迁移任务中取得了最先进的性能。该框架与具体网络架构无关,且无需针对特定数据集进行调优,为在分布偏移下学习鲁棒表征提供了一种简单高效的解决方案。

arXiv数据/训练论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
57
HumanNet:将人类中心视频学习扩展到百万小时

HumanNet是一个百万小时规模的人类中心视频数据集,涵盖第一和第三人称视角,包含精细活动、人-物交互、工具使用及长期行为。它提供交互中心标注,如描述文本、动作说明及身体信号,支持动作与交互感知学习。数据构建强调人类中心筛选、时序结构化、视角多样性和标注增强,将互联网视频转化为可扩展学习基础。实验表明,用其1000小时第一人称视频训练Qwen VLM模型,效果优于100小时真实机器人数据,提示人类视频可作为机器人数据的可扩展且经济高效替代。该项目旨在探索通过人类视频扩展具身基础模型。

arXiv具身智能数据/训练视频
08:00
HuggingFace Daily Papers(社区热门论文)
49
MDN:面向Delta线性注意力的步进动量并行化

针对线性注意力模型中传统在线随机梯度下降存在的信息衰减快、收敛欠佳问题,本研究提出了一种结合步进动量规则的块状并行算法。从动力系统视角分析,该动量循环被视为引入复共轭特征值的二阶系统,从而指导了稳定门控约束的设计。新模型Momentum DeltaNet(MDN)利用Triton内核,实现了与Mamba2、KDA等模型相当的训练吞吐量。在4亿和13亿参数模型上的实验表明,MDN在多种下游评估基准上均优于Transformer、Mamba2和GDN等强基线模型。

数据/训练论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
65
IntentGrasp:意图理解综合基准

本文推出IntentGrasp基准,用于评估大语言模型的意图理解能力。该基准从12个领域的49个语料库构建,包含超26万实例的训练集及“全集”、“精选集”两个测试集。对20个前沿模型的评估显示,其在全集和精选集上的得分分别低于60%和25%,显著低于约81.1%的人类估计表现,提升空间巨大。研究提出的意图微调方法使模型性能显著提升,在全集和精选集上F1分数分别增加30分和20分以上,留一领域实验也验证了其强大的跨领域泛化能力。

数据/训练论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
54
列表式策略优化:基于分组的RLVR作为大语言模型响应单纯形上的目标投影

本研究提出列表式策略优化(LPO),为大语言模型可验证奖励强化学习提供新方法。现有分组策略梯度方法隐式地在响应单纯形上定义目标分布并进行一阶近似投影,LPO则将其显式化:先限制近端目标于单纯形以明确目标,再通过精确散度最小化投影策略。该框架能在列表目标上实现单调改进,其投影梯度有界、零和且自校正,并通过解耦的投影步骤灵活选择散度。实验表明,在相同目标下,LPO训练性能持续优于典型策略梯度基线,同时保持了优化稳定性与响应多样性。

推理数据/训练论文/研究
04:34
Rohan Paul@rohanpaul_ai
57
NVIDIA、微软和OpenAI联合推出多路径可靠连接(MRC)协议

多路径可靠连接(MRC)是一种新型RDMA传输协议,由NVIDIA、微软和OpenAI联合推出,并与AMD、博通和英特尔合作。该协议首先在NVIDIA Spectrum-X以太网硬件上得到验证和优化。MRC的核心创新是改变连接方式,允许单个RDMA数据流利用多条网络路径传输AI训练流量,而非强制每个GPU连接走单一固定路由。RDMA技术使GPU能以极少CPU帮助移动数据,这对于数千GPU在训练中不断交换模型更新至关重要。当网络出现拥塞、链路故障或交换机过载时,流量可自动绕行,无需软件层面修复,从而避免单一不良路径拖慢整个计算集群,保障大规模AI训练任务的高效进行。

OpenAI数据/训练行业动态部署/工程
04:34
Rohan Paul@rohanpaul_ai
48
OpenClaw-RL:通过日常对话持续训练语言模型

本研究提出OpenClaw-RL系统,使语言模型能通过日常对话进行持续训练,无需人工标注数据。其核心是利用用户互动中产生的自然反馈(如纠正或重复提问)作为实时学习信号。系统从每次交互中提取两种信号:评估信号(判断行动成败,转化为数值奖励)和指导信号(获取具体改进方向,转化为词级监督)。该方法将标准部署环境转化为持续学习场景,使模型在后台运行中不断自我更新,自适应不同用户偏好,从而摆脱对大规模人工标注数据集的依赖。

智能体arXiv数据/训练论文/研究
02:10
TestingCatalog News 🗞@testingcatalog
72
Elon Musk表示,他近期与Anthropic高层团队深入交流,对其确保Claude AI有益于人类的努力印象深刻,认为团队高度专业且秉持正确价值观。基于此信任,他同意将SpaceX的超算集群Colossus 1出租给Anthropic,因为SpaceXAI已将自身训练任务转移至Colossus 2。这一合作被视作科技巨头间力量平衡的一次变动。

Elon Musk: Same here. By way of background for those who care, I spent a lot of time last week with senior members of the Anthropic...

Anthropic数据/训练行业动态
00:37
向阳乔木@vista8
60
AI分析X平台数据揭示发帖效率与涨粉规律

通过将X平台创作者工作室近90天的数据分析数据输入大模型,AI提炼出关键运营规律。核心发现包括:每日发帖3-5条是曝光效率最佳区间,而非单纯追求数量;周三互动率最高,周四涨粉效果最好,周六则最利于冲击曝光量。此外,近44%的新增关注者集中来源于少数“高涨粉日”,表明涨粉主要依赖爆款帖文的拉动效应。

教程/实践数据/训练
5月6日
23:04
OpenAI@OpenAI
66
大规模AI超算需要新型网络来保持芯片同步。OpenAI专家讨论了在庞大芯片集群间可靠高效传输数据的挑战,并介绍了新发布的多路径可靠连接(MRC)网络协议。该协议由OpenAI与AMD、Broadcom、Intel、Microsoft、NVIDIA等行业伙伴共同推出,旨在帮助大型AI训练集群运行得更快、更可靠,减少GPU闲置时间。MRC是一个开放的行业协议,可供整个业界使用。

OpenAI: We've partnered with @AMD, @Broadcom, @Intel, @Microsoft, and @NVIDIA, to release Multipath Reliable Connection (MRC), a...

OpenAI数据/训练行业动态部署/工程
21:29
Chubby♨️@kimmonismus
54
NVIDIA开源支撑OpenAI Blackwell集群的新型网络传输协议

NVIDIA通过OCP开源了MRC协议,这是一种专为大规模AI训练集群设计的新型RDMA传输协议。其核心创新在于将单一连接分散到多条网络路径上,当某条路径出现故障或拥塞时,能在微秒级时间内通过硬件重路由流量,以解决前沿AI训练中日益严峻的网络瓶颈问题。该协议已应用于OpenAI的Blackwell集群,微软和Oracle也是其主要部署方。NVIDIA此举在表面推动更开放标准的同时,优先为自家Spectrum-X平台优化,实则强化了其全栈竞争优势,并将以太网技术推向传统上由InfiniBand主导的高性能计算领域。

OpenAI开源/仓库数据/训练部署/工程
19:16
IT之家(RSS)
69
马斯克为自家晶圆厂砸重金,SpaceX 拟在得州 Terafab 工厂投资 550 亿美元

SpaceX计划投资550亿美元在得克萨斯州格莱姆斯县建设下一代垂直整合半导体工厂“Terafab”,旨在为马斯克的机器人、航天和AI项目生产2纳米先进制程芯片。该项目总投资额最高可能达1190亿美元,未来计划支持每年1太瓦的算力规模。马斯克称,由于半导体行业发展速度无法满足其需求,自建芯片厂已变得必要。此举被视为对美国本土半导体制造的变革性投资,但外界对其缺乏行业经验存有疑虑。

数据/训练行业动态
17:20
ginobefun@hongming731
63
斯坦福研究基于1500名工人和844项任务指出,当前AI投资方向与真实工作需求错配。研究通过WORKBank框架,将工作任务按对AI的"渴望度"和AI"当前能力"划分为四个象限:高渴望高能力的"绿灯区"任务(如数据录入)已可自动化;高渴望低能力的"研发机会区"是创业方向;低渴望高能力的"红灯区"(如创意最终呈现)易引发抵制;双低的"低优先级区"则无需关注。关键发现是,同一职业(如程序员)的不同任务横跨多个象限,因此"职业被替代"是伪命题,工作正被重新切分与融合。

indigo: Stanford 用 1500 个工人和 844 个任务告诉 YC:你们 41% 的钱投错了方向 -- 你们投的都是"人们不想要"或"不需要"的东西,而那些"想要但没什么人做"的事正在等待 founders。论文中工人最想自动化的前 10 ...

数据/训练现象/趋势
09:34
meng shao@shao__meng
精选77
全球首个基于SSA架构的模型SubQ实现1200万token上下文窗口,效率大幅领先

前沿模型SubQ基于创新的Subquadratic Sparse Attention架构,实现了1200万token的实用上下文窗口。其核心技术SSA通过内容依赖的选择机制,让每个查询仅动态计算与相关键的注意力,使计算和内存成本随序列长度线性增长,而非传统Transformer的二次方增长。实测在100万token时比FlashAttention-2快52.2倍,成本低于Opus的5%。该模型针对需要一次性处理完整代码库、长文档等企业真实长上下文场景优化,旨在弥合“名义上下文”与“功能上下文”窗口的差距。

Alexander Whedon: Introducing SubQ - a major breakthrough in LLM intelligence. It is the first model built on a fully sub-quadratic sparse...

数据/训练模型发布编码

推荐理由:这是第一个真正把子二次方注意力用到前沿模型上的突破,12M 上下文窗口不再只是参数,而是能用起来的真窗口,长上下文场景的成本逻辑要重写了。
09:15
IT之家(RSS)
66
AI 训练侵犯版权,爱思唯尔、圣智等多家出版商起诉 Meta

爱思唯尔、圣智、阿歇特等多家出版商及作家斯科特·图罗在曼哈顿联邦法院集体起诉Meta,指控其未经许可滥用数百万部受版权保护的书籍、期刊文章(包括教科书、科学文章及小说《第五季》等)来训练AI模型Llama,并索赔未定金额的经济赔偿。Meta回应称,利用版权材料训练AI可构成合理使用,将积极应诉。此前,AI公司Anthropic曾以支付至少15亿美元的方式,就类似作家集体诉讼达成和解。

Meta政策/监管数据/训练
09:01
Hacker News 热门(buzzing.cc 中文翻译)
65
出版商称,扎克伯格"亲自批准"了Meta的侵权行为

多家出版商指控Meta及其CEO扎克伯格存在大规模版权侵权。诉状称,扎克伯格“亲自批准”使用受版权保护的书籍、新闻文章等作品来训练其Llama系列AI模型,且公司内部明知此举存在法律风险。诉讼寻求就Meta未经许可复制大量作品的行为获得赔偿,具体涉及的作品数量未公开。此案凸显了AI训练数据版权争议的升级。

Meta数据/训练行业动态
08:00
HuggingFace Daily Papers(社区热门论文)
57
KernelBench-X:评估LLM生成的GPU内核的综合基准测试

KernelBench-X基准测试系统评估LLM生成的Triton GPU内核,涵盖15个类别共176项任务。研究比较五种代表性方法,发现:任务结构对正确性的影响远超方法设计,类别因素解释的方差是方法的近三倍;迭代优化将编译成功率从52.3%提升至68.8%,但平均加速比从1.58倍降至1.44倍;46.6%的正确内核性能低于PyTorch基线,量化任务全部失败。未来需关注全局协调、数值精度建模与硬件效率整合。

数据/训练编码论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
55
RemoteZero:无需人工标注的地理空间推理

地理空间推理模型通常依赖人工标注的边界框坐标进行监督,这限制了其在海量无标注遥感数据上的自我进化。为此,研究团队提出RemoteZero框架,它利用多模态大语言模型在判别区域语义方面的优势,以内在语义验证取代几何坐标监督,从而实现了无需边界框标注的训练。该框架支持迭代式自我进化,模型能够利用自身产生的验证信号从无标注影像中持续学习。实验表明,RemoteZero在定位任务上取得了与强监督方法相竞争的性能,展现了自验证训练在地理空间推理领域的潜力。

arXiv多模态推理数据/训练
08:00
HuggingFace Daily Papers(社区热门论文)
57
ReflectDrive-2:基于强化学习对齐的自编辑离散扩散驾驶规划器

ReflectDrive-2是一种用于自动驾驶的掩码离散扩散规划器,它将规划表示为离散轨迹令牌并通过并行掩码解码生成。其核心是AutoEdit自编辑功能,可在同一模型内直接重写选定令牌,无需额外优化网络。模型采用两阶段训练:先通过扰动专家轨迹进行监督学习,再利用强化学习微调“决策-起草-反思”全流程,将最终驾驶奖励分配给编辑后的轨迹。强化学习使编辑效果的PDMS指标增益从0.3提升至1.9。在NAVSIM测试中,该模型仅使用摄像头输入即达到91.0 PDMS,在最优6次采样下可达94.8 PDMS,平均延迟为31.8毫秒。

具身智能数据/训练论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
66
TabEmbed:面向表格理解的基准测试与通用嵌入学习

基础模型在自然语言处理中建立了统一表示,但表格数据领域仍待探索。现有方法存在根本限制:基于LLM的方法缺乏检索兼容的向量输出,而文本嵌入模型常无法捕捉表格结构和数值语义。为此,我们首先引入表格嵌入基准TabBench,以评估嵌入模型的表格理解能力;然后提出首个通用嵌入模型TabEmbed,将分类和检索任务统一到共享嵌入空间。TabEmbed通过将多样表格任务重构为语义匹配问题,利用大规模对比学习和正样本感知的困难负样本挖掘技术,捕捉细粒度结构与数值语义。实验表明,TabEmbed在TabBench上显著优于当前最先进的文本嵌入模型,为通用表格表示学习设立了新基准。相关代码和数据集已在GitHub和Hugging Face平台开源。

开源生态搜索数据/训练论文/研究
07:33
Nathan Lambert@natolambert
43
正在为RLHF书籍添加一个关于策略蒸馏的章节,值得注意的是,尽管我已经提供了核心论文和250页关于我如何阐述观点的背景资料,但LLMs/编码代理在这方面的表现却出奇地差。
大佬观点数据/训练
06:01
Hacker News 热门(buzzing.cc 中文翻译)
65
扎克伯格"亲自批准并鼓励"Meta的侵权行为

Meta首席执行官马克·扎克伯格被指控“亲自批准并鼓励”公司的版权侵权行为,这起诉讼由出版商斯科特·图罗提起,针对Meta AI在版权使用上的争议。该新闻在Hacker News上获得106点关注,凸显科技社区对此事的高度兴趣。指控细节涉及扎克伯格直接参与侵权决策,可能影响Meta与内容创作者的版权纠纷进程。

Meta政策/监管数据/训练行业动态
04:17
HuggingFace Daily Papers(社区热门论文)
55
一种缩小游戏引擎合成数据集中 Sim2Real 外观差异的混合方法

研究提出一种混合方法,旨在缩小游戏引擎合成数据与真实图像之间的外观差异。该方法结合了先进图像生成扩散模型 FLUX.2-4B Klein 与传统图像翻译模型 REGEN 的优势。实验表明,传统模型 REGEN 在性能上优于 FLUX.2-4B Klein,而将两者结合使用的混合方法,能够比单独使用任一模型获得更好的视觉真实感,同时保持语义一致性。相关代码已在 GitHub 开源。

arXiv图像生成数据/训练论文/研究
5月5日
23:27
Epoch AI@EpochAIResearch
44
加入我们的现场研讨会,共同为FrontierMath:开放性问题集开发题目! 我们正在寻找研究数学中极具趣味性、且可通过程序化验证解决方案的未解难题。这类问题非常难得。快来一展身手吧!链接如下。
数据/训练行业动态
20:56
The Decoder:AI News(RSS)
59
SAP的收购狂潮表明这家企业巨头正认真致力于成为AI就绪的数据平台

SAP正在收购开源数据湖仓提供商Dremio和AI公司Prior Labs,以扩展其数据平台能力。这两项收购是SAP构建“AI就绪”企业数据平台战略的关键举措,旨在整合先进的数据管理和人工智能技术,强化其对企业客户的数据处理与AI服务支持。此举标志着SAP正通过积极并购加速向智能化数据平台转型。

数据/训练行业动态部署/工程
20:56
Hacker News 热门(buzzing.cc 中文翻译)
68
从零开始训练你自己的大型语言模型

GitHub开源项目“llm-from-scratch”提供了从零开始训练大型语言模型的完整指南。该项目详细阐述了构建现代LLM所需的核心组件,包括分词器、Transformer架构、预训练与微调流程。指南强调通过实践理解模型内部机制,而非直接调用现有API。项目在Hacker News社区获得广泛关注,收获293点热度,反映出开发者对深入掌握LLM底层技术的强烈需求。

GitHub开源生态教程/实践数据/训练
‹ 上一页
1…2829303132…43
下一页 ›