AIHOT
内容
精选全部 AI 动态AI 日报主题收藏
接入
Agent 接入
更多
关于更新日志反馈
内部员工登录
精选全部日报更多
内部员工登录
全部动态资讯 · 1192 条
全部一手资讯X论文
标签「推理」清除
5月19日周二
10:51HuggingFace Daily Papers(社区热门论文)61SNLP: 通过结构化牛顿校正的层并行推理
10:45IT之家(RSS)60马斯克推广 Cursor Composer 2.5 AI 模型,基于 Kimi K2.5 构建
09:45IT之家(RSS)65英伟达宣布向 Anthropic、OpenAI、SpaceXAI、甲骨文交付首批 Vera CPU
08:00HuggingFace Daily Papers(社区热门论文)46重新思考记忆方式:超越终身LLM智能体记忆中的原子事实
08:00HuggingFace Daily Papers(社区热门论文)55从感知到推理:解耦感知与推理以改进视觉-语言模型的后训练
08:00HuggingFace Daily Papers(社区热门论文)61TIDE:基于输入输出感知专家卸载的高效无损混合专家扩散大语言模型推理
08:00HuggingFace Daily Papers(社区热门论文)57LLMEval-Logic:一个经求解器验证的中文逻辑推理LLM评估基准
08:00HuggingFace Daily Papers(社区热门论文)58Mix-Quant:面向代理型大语言模型的量化预填充与精确解码
08:00HuggingFace Daily Papers(社区热门论文)64MOCHA:多目标切比雪夫退火用于智能体技能优化
08:00HuggingFace Daily Papers(社区热门论文)61大型视觉语言模型胸部X光推理视觉归因的再思考
08:00HuggingFace Daily Papers(社区热门论文)69OScaR:面向LLM及其多模态扩展的极致KV缓存压缩框架
03:34Hacker News 热门(buzzing.cc 中文翻译)78精选Qwen 3.7 预览版
5月18日周一
08:00HuggingFace Daily Papers(社区热门论文)62Lean Refactor:基于智能体策略搜索的多目标可控证明优化
08:00HuggingFace Daily Papers(社区热门论文)68通过变分策略蒸馏从语言反馈中学习
08:00HuggingFace Daily Papers(社区热门论文)66基于技能程序的LLM智能体框架
08:00HuggingFace Daily Papers(社区热门论文)58基于上下文记忆的高效长上下文生成方法
5月17日周日
22:32Hacker News 热门(buzzing.cc 中文翻译)60我不认为人工智能会让你的流程变得更快
16:59The Decoder:AI News(RSS)63New math benchmark reveals AI models confidently solve problems that have no solution
08:00HuggingFace Daily Papers(社区热门论文)56A2RBench:自动化抽象推理基准生成范式
08:00HuggingFace Daily Papers(社区热门论文)69OProver:一个统一的智能体化形式定理证明框架
08:00HuggingFace Daily Papers(社区热门论文)64推理收敛时停止:面向推理模型的语义保持早退
07:43IT之家(RSS)27IT早报 0517:小米卢伟冰称下半年国产直板旗舰手机价或突破 1 万元;SK 海力士员工成相亲"香饽饽";三大运营商回应"即将免月租"
03:54Dwarkesh Patel:Podcast & Blog(RSS)51RLVR 可能在科学领域格外糟糕
02:32Hacker News 热门(buzzing.cc 中文翻译)60DeepSeek-V4-Flash 意味着大型语言模型(LLM)的引导技术再次引起关注
5月16日周六
22:01Hacker News 热门(buzzing.cc 中文翻译)70精选Δ-Mem:适用于大型语言模型的高效在线内存
19:25The Decoder:AI News(RSS)44新基准测试证实AI视频生成器视觉效果惊艳,但仍无法进行世界推理
19:01Hacker News 热门(buzzing.cc 中文翻译)67Orthrus-Qwen3:在Qwen3上每步最多可处理7.8个令牌,输出分布与原版完全一致
18:01Hacker News 热门(buzzing.cc 中文翻译)42Frontier AI 打破了公开 CTF 赛制的常规
15:42IT之家(RSS)66蚂蚁集团百灵开源万亿级思考模型 Ring-2.6-1T,支持 high 与 xhigh 两种推理强度
14:42IT之家(RSS)48瑞银称英特尔借 EMIB-T 打入英伟达供应链,有望负责量产 4 芯片 Rubin Ultra
08:00HuggingFace Daily Papers(社区热门论文)57全注意力反击:百步训练内实现高效稀疏注意力
08:00HuggingFace Daily Papers(社区热门论文)56强化学习中可验证奖励语言模型的不可学习现象
08:00HuggingFace Daily Papers(社区热门论文)55推理模型为何失去覆盖度?--数据与决策点的作用
08:00HuggingFace Daily Papers(社区热门论文)56CompactAttention:基于块联合键值选择的分块预填充加速
03:19Tomer Tunguz 博客(VC 分析)72精选推理的一阶导数:AI浪潮下的增长逻辑
01:54The Decoder:AI News(RSS)66ChatGPT 现在想访问你的银行账户,以便告诉你别再点外卖了
00:54Dwarkesh Patel:Podcast & Blog(RSS)55精选Eric Jang - 从零开始构建 AlphaGo
5月15日周五
19:30Hacker News 热门(buzzing.cc 中文翻译)71精选克劳德(法律事务)
17:49HuggingFace Daily Papers(社区热门论文)63BEAM:用于MoE动态路由的二进制专家激活掩码
17:42IT之家(RSS)38腾讯地图上线外卖"骑手模式":智能推荐少红灯高效路线、提前查看终点实景图 / 门禁区域
全部 AI 动态
AI 相关资讯全量信息流
全部一手信源资讯推文
全部模型产品行业论文技巧
5月19日
10:51
HuggingFace Daily Papers(社区热门论文)
61
SNLP: 通过结构化牛顿校正的层并行推理

研究人员提出结构化牛顿层级并行(SNLP)框架,解决自回归语言模型中Transformer层顺序执行的延迟瓶颈。该方法将层间隐藏状态演进视为非线性方程,采用廉价的结构化牛顿更新并行求解。训练阶段引入SNLP感知正则化,使模型通过少量迭代近似顺序前向传播,提升层并行兼容性并降低标准困惑度4.7%-23.4%。推理时,SNLP结合层融合与分块分解,在0.5B Nanochat模型上实现2.3倍加速,困惑度改善6.1%。研究同时指出预训练模型效果有限且精确收敛会退化为顺序计算。

推理论文/研究部署/工程
10:45
IT之家(RSS)
60
马斯克推广 Cursor Composer 2.5 AI 模型,基于 Kimi K2.5 构建

5月19日,马斯克发推邀请用户测试Cursor最新发布的Composer 2.5 AI模型。该模型基于月之暗面的Kimi K2.5,并利用部分Colossus 2集群训练,官方称其为“最强”模型,重点提升了长任务稳定性和复杂指令遵循能力。技术上,它采用了基于文本反馈的定向强化学习,并将合成任务规模扩大至前代的25倍以优化编码能力。标准版定价为输入每百万token 0.50美元、输出2.50美元;另有速度更快的fast版本,输入3.00美元、输出15.00美元。

产品更新推理编码
09:45
IT之家(RSS)
65
英伟达宣布向 Anthropic、OpenAI、SpaceXAI、甲骨文交付首批 Vera CPU

英伟达向Anthropic、OpenAI、SpaceXAI和甲骨文交付首批Vera CPU,标志其专为Agentic AI设计的处理器正式量产。Vera是英伟达首款定制CPU,采用88个自研核心,内存带宽达1.2TB/s,单核性能较前代Grace提升50%,并搭载1.5TB内存。甲骨文计划2026年起部署数十万颗,该芯片将用于独立服务器及Vera Rubin平台,支持高吞吐推理与智能体工作负载。

xAI产品更新推理部署/工程
08:00
HuggingFace Daily Papers(社区热门论文)
46
重新思考记忆方式:超越终身LLM智能体记忆中的原子事实

现有大语言模型智能体的记忆系统多采用提取事实的范式,将对话压缩为原子事实。这会丢失原始细节,限制深度推理,且静态提示词难以适应多变的对话风格。为此,本文提出了TriMem系统,它同时维护三种表示粒度:用于保真存储的原始对话片段、用于高效检索的提取原子事实,以及聚合事实以支持深度推理的合成用户画像。系统进一步利用基于TextGrad的提示词优化技术,通过响应质量反馈迭代优化提示,无需参数更新即可实现持续进化。实验表明,其效果优于强记忆基线。

智能体arXiv推理论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
55
从感知到推理:解耦感知与推理以改进视觉-语言模型的后训练

本研究发现,视觉-语言模型在视觉任务上的性能瓶颈主要源于其视觉感知能力的不足,而非推理能力。为此,研究提出将模型能力解耦为视觉感知、视觉推理和文本推理三个独立的训练阶段,并使用专门数据进行分阶段训练。实验证明,视觉感知需要针对性优化,应优先通过分阶段训练加以巩固,且使用强化学习比基于描述的监督微调更有效。该方法在多个模型上实现了持续性能提升,使模型推理准确率提高了1.5%,推理过程缩短了20.8%。在开放权重的视觉-语言模型中,该方法在WeMath和RealWorldQA等基准上取得了领先成绩,相比基础模型分别取得了5.2%和3.7%的性能提升。

arXiv多模态推理数据/训练
08:00
HuggingFace Daily Papers(社区热门论文)
61
TIDE:基于输入输出感知专家卸载的高效无损混合专家扩散大语言模型推理

针对扩散大语言模型在混合专家架构下部署于资源受限设备的挑战,TIDE提出了一种无需模型训练的无损推理优化系统。该系统利用块内扩散过程中专家激活的时间稳定性,设计了基于间隔的专家刷新策略,以输入输出感知方式动态更新专家位置。通过将推理调度建模为数学规划问题,TIDE能够求解最优间隔以最小化输入输出流量和CPU计算开销。实验表明,在单GPU-CPU系统中,TIDE在LLaDA2.0-mini和LLaDA2.0-flash模型上分别实现了最高1.4倍和1.5倍的吞吐量提升,为现有基线方法带来显著加速。

推理论文/研究部署/工程
08:00
HuggingFace Daily Papers(社区热门论文)
57
LLMEval-Logic:一个经求解器验证的中文逻辑推理LLM评估基准

LLMEval-Logic 是一个专注于中文逻辑推理的LLM评估基准,其数据来源于真实场景,并通过专家编写、审核及Z3验证器闭环验证以确保题目质量。基准包含两个子集:246项的Base子集(配有1400条评分标准)与190项的Hard子集(含938个多步骤子问题)。对14个前沿LLM的评估表明,当前模型在逻辑推理能力上仍有显著不足:最佳模型在Hard项目上的准确率仅为37.5%,即使结合参考符号,形式化得分最高也仅达60.16%。该基准已开源,旨在为模型逻辑推理能力的评估与提升提供可靠工具。

推理论文/研究评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
58
Mix-Quant:面向代理型大语言模型的量化预填充与精确解码

针对代理型大语言模型推理中的计算瓶颈,研究团队提出Mix-Quant,一种相位感知的量化框架。该框架发现推理流程中预填充阶段虽为算力主要消耗环节,但存在显著量化冗余,而解码阶段对量化更敏感。为此,Mix-Quant采用混合精度策略:对预填充阶段应用高吞吐的NVFP4量化以加速,对解码阶段保持BF16精度以确保输出质量。该方法在多项长上下文和代理任务基准测试中,能有效保持任务性能,同时将预填充阶段速度提升最高3倍。

智能体推理论文/研究部署/工程
08:00
HuggingFace Daily Papers(社区热门论文)
64
MOCHA:多目标切比雪夫退火用于智能体技能优化

该研究针对大语言模型智能体技能优化中存在的多目标挑战——即需同时提升任务性能并满足平台字段长度等硬性限制——提出了MOCHA方法。该方法采用切比雪夫标量化以完整覆盖帕累托前沿(包括非凸区域),并结合指数退火策略平衡搜索过程。实验表明,在六项任务中,现有优化器有四项无法提升基线技能,而MOCHA均实现了突破,平均正确率较最强基线提升7.5%,并发现了两倍多的帕累托最优变体。

智能体推理论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
61
大型视觉语言模型胸部X光推理视觉归因的再思考

本研究针对大型视觉语言模型在医疗应用中面临的可信度挑战,指出其视觉归因方法常未能反映模型真实依据的视觉证据。为此,团队开发了因果评估框架,筛选出归因区域对预测具有因果性的样本进行测试。通过对11种归因方法、6个模型及两种输出模式的系统评估,发现现有方法普遍存在识别失效问题。为解决此问题,提出了基于概念的归因方法MedFocus,该方法利用非平衡最优传输定位临床相关区域,并通过定向干预量化其因果效应。实验证明,MedFocus在空间、概念及词元层面均显著优于现有方法,推动了更可靠的医疗视觉归因发展。

arXiv多模态推理论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
69
OScaR:面向LLM及其多模态扩展的极致KV缓存压缩框架

针对长上下文与多模态大语言模型中KV缓存内存占用高的瓶颈,本文提出了OScaR压缩框架。研究发现,传统逐通道量化在极端压缩下受限于“令牌范数不平衡”问题。OScaR通过“渠道化旋转”与“全令牌缩放”两项轻量技术,有效缓解了该不平衡带来的量化误差,无需复杂流程。在多种大模型上的实验表明,OScaR在INT2量化下可实现近乎无损的性能,相比基准解码速度提升最高达3.0倍,内存占用减少5.3倍,吞吐量增加4.1倍,为极致KV缓存压缩提供了高效通用方案。

GitHub开源生态推理论文/研究
03:34
Hacker News 热门(buzzing.cc 中文翻译)
精选78
Qwen 3.7 预览版
多模态推理模型发布

推荐理由:阿里 Qwen 3.7 预览版来了,国产模型在推理和多模态上的推进速度令人侧目,虽然还是预览,但已经是一个值得开发者提前盯紧的信号。
5月18日
08:00
HuggingFace Daily Papers(社区热门论文)
62
Lean Refactor:基于智能体策略搜索的多目标可控证明优化

现有LLM生成的Lean证明常面临正确但冗长、跨版本易错的问题,其重构是一个涉及证明长度、编译成本与版本兼容性的多目标优化难题。Lean Refactor提出一种插件式检索增强智能体框架,它利用一个标注了版本与预期编译成本降低率的多目标策略数据库,引导冻结的LLM进行重构。实验表明,该方法在竞赛基准上实现超70%的token压缩,编译时间减少高达60%,性能优于现有工作;版本过滤检索进一步提升了压缩率,且重构后的证明表现出更强的零样本版本迁移能力。

智能体推理论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
68
通过变分策略蒸馏从语言反馈中学习

针对强化学习从可验证奖励中面临探索瓶颈及现有自蒸馏方法依赖固定教师导致学习停滞的问题,研究提出了变分策略蒸馏框架。该框架将语言反馈学习形式化为变分期望最大化问题,实现教师与学生策略的协同进化:在E步通过自适应信任域更新动态改进教师策略,将文本反馈转化为目标令牌分布;在M步让学生策略内化该分布指导。在科学推理与代码生成任务上的实验表明,该方法在各类诊断性反馈下持续优于标准强化学习与现有自蒸馏基线。

推理数据/训练论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
66
基于技能程序的LLM智能体框架

为提升LLM智能体处理复杂任务的能力,HASP框架将传统文本指导技能升级为可执行的程序函数。这些函数作为主动护栏,能在易错步骤直接干预动作或注入修正信息。该框架支持推理时直接干预、后训练监督及自我进化,模块化设计灵活。实验证明,HASP在网页搜索、数学推理等任务中显著优于现有方法,仅推理阶段干预即可大幅提升性能,并为技能内化与库进化提供了机制分析。

智能体推理论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
58
基于上下文记忆的高效长上下文生成方法

针对大语言模型在使用长上下文前缀时面临影响力衰减和计算开销大这两个问题,本文提出了一种名为“注意力状态记忆”的无训练方法。该方法将上下文前缀外化为一个轻量级、基于查找的预计算记忆库,存储了前缀与查询词之间的注意力状态。实验表明,在 LLaMA-3.1-8B 上,该方法在 1K-8K 记忆预算下提升了准确率,并将注意力计算延迟降低了 1.36 倍。同时,它在 NBA 基准测试中,仅用全注意力 RAG 20% 的内存开销,便超越了其性能表现。

Meta检索增强推理论文/研究
5月17日
22:32
Hacker News 热门(buzzing.cc 中文翻译)
60
我不认为人工智能会让你的流程变得更快

作者认为人工智能未必能加速工作流程,反而可能因引入新的复杂性和决策环节而拖慢进程。关键在于AI改变了工作性质,将重心从执行转向监督与调整,这需要额外的时间投入。文章指出,盲目追求流程速度可能忽略AI在提升质量、减少错误方面的真正价值。真正的效率提升应来自对流程的重新设计,而非简单地将AI嵌入现有步骤。

推理现象/趋势部署/工程
16:59
The Decoder:AI News(RSS)
63
New math benchmark reveals AI models confidently solve problems that have no solution

64名数学家组成的联盟构建了名为SOOHAK的新AI数学基准测试,包含439道手写任务,其中99道被故意设计为无解。谷歌的Gemini 3 Pro在研究级问题上以30%的正确率领先,但没有模型在识别错误问题上的准确率超过50%。增加计算量能提升模型解题能力,却无助于其承认问题无解。该基准旨在揭示AI系统在少数亮点表现与全面研究能力之间存在的差距。

推理论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
56
A2RBench:自动化抽象推理基准生成范式

针对现有抽象推理基准依赖人工标注或易测记忆而非真实推理的问题,本研究提出A2RBench自动生成管道,涵盖生成、扩展、评估与分析四个阶段。生成阶段利用大语言模型创建需要真实推理的任务;扩展阶段通过复用已验证规则扩展任务变体以实现规模化。为消除生成过程中的幻觉,建立了理论框架,证明程序化验证(即测试逆操作能否完美还原正向操作,保证循环一致性)可确保任务的唯一解。对主流大模型的评估显示:当前模型在抽象推理上存在根本缺陷,顶尖模型在代表性子集上的表现(39.8%)远低于人类水平(68.5%);模型在处理3D复杂任务时表现远低于2D和1D任务,揭示了对高维任务理解不足;此外,输入信息复杂度的提升反而可能简化推理过程。

推理论文/研究评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
69
OProver:一个统一的智能体化形式定理证明框架

OProver是首个将智能体化证明过程深度整合到定理证明器训练中的统一框架,而非仅在推理时应用。该框架通过持续预训练和迭代式后训练进行优化,每次迭代均执行智能体化证明,并将新验证的证明索引至OProofs数据集和检索记忆中。OProofs数据集规模庞大,包含1.77M个Lean语句和6.86M个经编译器验证的证明。基于此,OProver-32B模型在MiniF2F、ProverBench和PutnamBench三个基准测试上取得了最优的Pass@32成绩,展现了超越此前所有开源全证明证明器的性能。

智能体推理论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
64
推理收敛时停止:面向推理模型的语义保持早退

大型推理模型通过生成长链式思考实现高性能,但常在推理已收敛后仍继续生成冗余思考,导致计算资源浪费与延迟增加。现有早退方法主要依赖答案级信号(如置信度),无法准确判断推理过程是否真正完成,易引发过早退出而影响答案准确性。新研究提出PUMA框架,通过轻量冗余检测器识别推理链中不再产生新进展的冗余步骤,结合答案验证机制,在确保答案正确性与推理链完整性的前提下实现智能截断。实验表明,该方法在五类模型与五个复杂推理基准上平均减少26.2%的生成token,同时保持推理质量,且该原理在代码生成、视觉语言推理等场景中具有可迁移性。

arXiv推理论文/研究
07:43
IT之家(RSS)
27
IT早报 0517:小米卢伟冰称下半年国产直板旗舰手机价或突破 1 万元;SK 海力士员工成相亲"香饽饽";三大运营商回应"即将免月租"

小米卢伟冰预测,受全球内存成本上涨影响,今年下半年部分国产旗舰直板手机价格可能突破1万元,且涨价趋势或延续至2027年底。SK海力士因高额绩效奖金,其员工及公司夹克在韩国成为网络热梗。三大运营商中,仅中国联通推出“联通魔方”按量计费套餐,设有39元月最低消费,移动和电信暂无免月租计划。此外,中国超频玩家将英特尔i9-14900KF处理器超频至9206.34MHz,刷新全球纪录;微信鸿蒙版App安装量已突破5000万次。

推理行业动态
03:54
Dwarkesh Patel:Podcast & Blog(RSS)
51
RLVR 可能在科学领域格外糟糕

RLVR(强化学习与验证)在科学理论验证中可能表现出不成比例的缺陷。科学理论的验证循环周期长达数十年甚至数个世纪,且当前被视为更优的理论实际上常会做出更差的预测。这一矛盾揭示了基于短期反馈的强化学习范式与科学探索长期性、复杂性之间的根本冲突,凸显了现有AI方法在应对科学发现这类超长反馈周期任务时存在的结构性局限。

大佬观点推理
02:32
Hacker News 热门(buzzing.cc 中文翻译)
60
DeepSeek-V4-Flash 意味着大型语言模型(LLM)的引导技术再次引起关注

DeepSeek-V4-Flash发布,这一大型语言模型新版本使得LLM引导技术重新成为关注焦点。引导技术涉及通过向量控制模型输出方向,此次更新引发科技界对模型可控性的讨论。在Hacker News上,相关帖子获得105点的高分,显示社区对此话题的热烈反响,标志着AI领域对定向优化技术的持续探索。

DeepSeek安全/对齐推理现象/趋势
5月16日
22:01
Hacker News 热门(buzzing.cc 中文翻译)
精选70
Δ-Mem:适用于大型语言模型的高效在线内存

研究人员提出了Δ-Mem,一种专为大型语言模型设计的高效在线内存系统。该系统通过仅存储和更新模型激活的增量变化,而非完整的激活状态,显著降低了内存占用。实验表明,Δ-Mem能将内存使用量减少高达70%,同时保持模型输出的质量基本无损。这一方法有助于在资源受限的环境中部署和运行大规模语言模型,提升其在线推理和持续学习场景下的可行性。

推理论文/研究部署/工程

推荐理由:Δ-Mem 把 LLM 的在线记忆开销压得够低,如果实验结果稳得住,长上下文推理的成本结构又要改写了。
19:25
The Decoder:AI News(RSS)
44
新基准测试证实AI视频生成器视觉效果惊艳,但仍无法进行世界推理

WorldReasonBench新基准测试评估AI视频生成器的物理和逻辑合理性,而非图像质量。ByteDance的Seedance 2.0在该测试中领先,超过Veo 3.1和Sora 2。商业模型的得分大约是开源模型的两倍,逻辑推理是所有模型中最困难的类别,表现差距显著。这表明AI视频生成器虽能产生惊艳视觉效果,但尚未实现从像素生成器到真实世界模型的飞跃。

GoogleOpenAI推理视频
19:01
Hacker News 热门(buzzing.cc 中文翻译)
67
Orthrus-Qwen3:在Qwen3上每步最多可处理7.8个令牌,输出分布与原版完全一致

Orthrus-Qwen3项目在Qwen3模型上实现了每次前向传播最高可处理7.8个令牌的性能,同时确保输出分布与原版模型完全一致。该项目已在GitHub开源,并在Hacker News社区获得102点热度。这一优化显著提升了模型推理效率,且保持了生成结果的准确性。

GitHub开源/仓库推理
18:01
Hacker News 热门(buzzing.cc 中文翻译)
42
Frontier AI 打破了公开 CTF 赛制的常规

Frontier AI 的最新突破彻底颠覆了公开CTF(Capture The Flag)竞赛的传统赛制。这一变革源于AI技术在网络安全挑战中的卓越表现,使得现有公开赛制难以适应。相关讨论在Hacker News上获得108个点赞,反映出科技社区的高度关注。此举可能标志着CTF竞赛进入AI驱动的新阶段,重新定义安全测试与竞技形式。

安全/对齐推理现象/趋势
15:42
IT之家(RSS)
66
蚂蚁集团百灵开源万亿级思考模型 Ring-2.6-1T,支持 high 与 xhigh 两种推理强度

蚂蚁集团百灵大模型开源了面向复杂任务的万亿级思考模型 Ring-2.6-1T。该模型创新性地引入了可调节推理强度机制,提供 high 和 xhigh 两种模式。high 模式适用于高频 Agent 工作流,具有低 Token 开销和快速多步执行能力,适合多轮交互与工具协作;xhigh 模式则为数学、科研及复杂逻辑分析等高难任务提供更充分的思考深度。开发者可根据任务需求灵活选择,以平衡效果、速度与成本。模型已在 Hugging Face 和 ModelScope 平台开放。

Hugging Face开源生态推理模型发布
14:42
IT之家(RSS)
48
瑞银称英特尔借 EMIB-T 打入英伟达供应链,有望负责量产 4 芯片 Rubin Ultra

瑞银发布研报称,英特尔有望通过EMIB-T先进封装技术切入英伟达供应链,负责量产4芯片版Rubin Ultra。EMIB-T在基板中嵌入硅桥,成本低于台积电CoWoS,适合异构集成和大规模芯片设计,对AI芯片具吸引力。瑞银预测英伟达到2027年毛利率可维持在约75%,但受Rubin产品组合影响,4芯片版可能采用该技术。目前判断仍属推测,实际导入取决于基板产能与良率。

推理行业动态
08:00
HuggingFace Daily Papers(社区热门论文)
57
全注意力反击:百步训练内实现高效稀疏注意力

针对大型语言模型长上下文推理中全注意力机制的计算瓶颈,本文提出RTPurbo方法。研究发现全注意力模型本身具有内在稀疏性:仅少数注意力头需要完整长上下文处理;长程检索主要依赖低维子空间,可通过轻量级索引器实现;且有用令牌预算高度依赖查询。基于此,RTPurbo仅对检索类注意力头保留完整KV缓存,并引入16维令牌索引器实现高效稀疏注意力。通过利用模型内在稀疏性,该方法仅需数百步训练即可完成稀疏化。实验显示,RTPurbo在1M上下文长度下实现9.36倍预填充加速与约2.01倍解码加速,同时保持近乎无损的推理准确率。

推理论文/研究部署/工程
08:00
HuggingFace Daily Papers(社区热门论文)
56
强化学习中可验证奖励语言模型的不可学习现象

研究发现,可验证奖励强化学习虽能提升语言模型的推理能力,但存在一种反直觉现象:在模型初始难以处理的困难样本中,有相当一部分即使提供正确答案也无法被学习。通过跨样本梯度分析,研究揭示了不可学习样本的根本性表征缺陷,其特征是与其他样本梯度相似性低且推理模式难以泛化,而数据增强无法改善这一问题。该研究首次系统描述了训练中的不可学习数据现象,并指出当前强化学习方法在推理任务上存在根本性局限。

arXivGitHub推理数据/训练
08:00
HuggingFace Daily Papers(社区热门论文)
55
推理模型为何失去覆盖度?--数据与决策点的作用

研究发现,经过微调的推理模型在提升单次回答准确率(pass@1)的同时,普遍出现覆盖度(pass@k)收缩的现象。这一现象与训练数据中“决策点”场景的占比密切相关,即模型面临多种合理推理路径的不确定性情况。通过设计图分支与推理模式的对照实验,研究确认覆盖度收缩与数据中决策点的普遍性直接相关。针对性地设计决策点数据合成及引入多样性解码机制,可部分缓解该问题,凸显了以数据为中心的设计对理解与调控推理模型行为的关键意义。

推理论文/研究
08:00
HuggingFace Daily Papers(社区热门论文)
56
CompactAttention:基于块联合键值选择的分块预填充加速

现有稀疏注意力方法难以高效适配长上下文大语言模型的分块预填充。CompactAttention机制将二维块稀疏掩码转化为适用于分组查询注意力的键值块表,通过联合选择生成最小化块表,实现所选键值块的原地访问,避免了显式压缩开销。该方法在LLaMA-3.1-8B-Instruct模型上,在128K上下文中实现了接近密集注意力的精度,同时带来最高2.72倍的注意力计算加速。

arXiv推理论文/研究部署/工程
03:19
Tomer Tunguz 博客(VC 分析)
精选72
推理的一阶导数:AI浪潮下的增长逻辑

AI推理是当今规模最大、增长最快的技术市场,预计七年内将达到2500亿美元。直接销售或转售推理服务的公司增长迅猛,如Anthropic和谷歌云。在AI时代前的软件公司中,Datadog和Twilio作为“推理的一阶导数”脱颖而出:Datadog的LLM可观测产品数据量近一季增长近两倍,其约20%的AI客户贡献了约80%的年度经常性收入;Twilio则通过AI重构的语音服务吸引客户。当前周期呈现高度集中特点,少数客户能驱动巨大收益。对于非AI原生公司,核心战略在于如何转售推理服务或从其客户的大量采购中获益。

大佬观点推理现象/趋势

推荐理由:Tomer 用「推理的第一导数」这个框架讲透了一件事,Twilio 和 Datadog 的暴涨不是偶然,而是买推理的衍生需求,pre-AI 公司想活就得问自己怎么沾上推理的光。
01:54
The Decoder:AI News(RSS)
66
ChatGPT 现在想访问你的银行账户,以便告诉你别再点外卖了

OpenAI 正在将 ChatGPT 转变为个人财务助手。美国地区的 Pro 用户现已能通过 Plaid 连接银行账户,基于真实交易数据获得个性化财务分析。该功能运行于 GPT-5.5 Thinking 模型,未来将向所有用户开放。OpenAI 同时提醒,ChatGPT 并非持牌财务顾问,其分析仅供参考。

MCP/工具OpenAI产品更新推理
00:54
Dwarkesh Patel:Podcast & Blog(RSS)
精选55
Eric Jang - 从零开始构建 AlphaGo

文章以AlphaGo为例,阐述了智能的基本构成要素。AlphaGo至今仍是最清晰、最完整的范例,它融合了三大核心基础:搜索技术、从经验中学习以及自我对弈。这三大要素共同构成了其实现超越人类棋艺的关键路径。

DeepMind大佬观点推理

推荐理由:Eric Jang 把 AlphaGo 的搜索、自对弈和价值网络拆解得非常通透,用现代工具复现让这个经典思路对今天的 RL 和自动研究都有直接启发,做 LLM 后训练的尤其该听听他对信用分配问题的解释。
5月15日
19:30
Hacker News 热门(buzzing.cc 中文翻译)
精选71
克劳德(法律事务)

Anthropic公司在GitHub上开源了专为法律领域优化的AI模型“Claude for Legal”。该模型能更准确地处理法律文本、合同及案例摘要,旨在提升法律从业者效率。此消息在Hacker News上获得105个投票点数,显示出技术社区对其在法律科技领域应用潜力的关注。

Anthropic开源/仓库推理

推荐理由:Anthropic 把 Claude 在法律场景的提示和工具打包成仓库,对法律人来说比 API 文档更直接可用,垂直落地信号明显。
17:49
HuggingFace Daily Papers(社区热门论文)
63
BEAM:用于MoE动态路由的二进制专家激活掩码

针对混合专家模型(MoE)固定Top-K路由策略导致的计算冗余和推理延迟问题,本研究提出BEAM方法。该方法通过可训练的二进制掩码学习令牌自适应的专家选择,结合直通估计器和正则化损失,在端到端训练中实现动态专家稀疏化,同时保持模型能力。团队为BEAM开发了高效定制CUDA内核,确保与vLLM推理框架无缝集成。实验显示,BEAM能保留原始模型98%以上性能,并将MoE层浮点运算量减少高达85%,解码速度提升至2.5倍,吞吐量提高1.4倍,为高效MoE推理提供了即插即用的实用解决方案。

推理论文/研究
17:42
IT之家(RSS)
38
腾讯地图上线外卖"骑手模式":智能推荐少红灯高效路线、提前查看终点实景图 / 门禁区域

腾讯地图推出专为外卖、快递骑手设计的“骑手模式”,宣称可提升配送效率20%。该模式基于大数据和AI模型,智能规划少红灯、少转弯的骑行路线,并提前展示150-300米路况。导航可精确定位至具体楼栋单元,在大型商场等复杂场景会提示具体入口、电梯及店铺位置。骑手出发前还能查看终点实景图与门禁信息,便于提前识别目的地并联系用户,减少现场寻找与等待时间。用户更新至最新版腾讯地图即可使用。

产品更新推理搜索
‹ 上一页
1…1617181920…30
下一页 ›