针对大型语言模型长上下文推理中全注意力机制的计算瓶颈，本文提出RTPurbo方法。研究发现全注意力模型本身具有内在稀疏性：仅少数注意力头需要完整长上下文处理；长程检索主要依赖低维子空间，可通过轻量级索引器实现；且有用令牌预算高度依赖查询。基于此，RTPurbo仅对检索类注意力头保留完整KV缓存，并引入16维令牌索引器实现高效稀疏注意力。通过利用模型内在稀疏性，该方法仅需数百步训练即可完成稀疏化。实验显示，RTPurbo在1M上下文长度下实现9.36倍预填充加速与约2.01倍解码加速，同时保持近乎无损的推理准确率。
研究发现，可验证奖励强化学习虽能提升语言模型的推理能力，但存在一种反直觉现象：在模型初始难以处理的困难样本中，有相当一部分即使提供正确答案也无法被学习。通过跨样本梯度分析，研究揭示了不可学习样本的根本性表征缺陷，其特征是与其他样本梯度相似性低且推理模式难以泛化，而数据增强无法改善这一问题。该研究首次系统描述了训练中的不可学习数据现象，并指出当前强化学习方法在推理任务上存在根本性局限。
研究发现，经过微调的推理模型在提升单次回答准确率（pass@1）的同时，普遍出现覆盖度（pass@k）收缩的现象。这一现象与训练数据中“决策点”场景的占比密切相关，即模型面临多种合理推理路径的不确定性情况。通过设计图分支与推理模式的对照实验，研究确认覆盖度收缩与数据中决策点的普遍性直接相关。针对性地设计决策点数据合成及引入多样性解码机制，可部分缓解该问题，凸显了以数据为中心的设计对理解与调控推理模型行为的关键意义。
现有稀疏注意力方法难以高效适配长上下文大语言模型的分块预填充。CompactAttention机制将二维块稀疏掩码转化为适用于分组查询注意力的键值块表，通过联合选择生成最小化块表，实现所选键值块的原地访问，避免了显式压缩开销。该方法在LLaMA-3.1-8B-Instruct模型上，在128K上下文中实现了接近密集注意力的精度，同时带来最高2.72倍的注意力计算加速。
AI推理是当今规模最大、增长最快的技术市场，预计七年内将达到2500亿美元。直接销售或转售推理服务的公司增长迅猛，如Anthropic和谷歌云。在AI时代前的软件公司中，Datadog和Twilio作为“推理的一阶导数”脱颖而出：Datadog的LLM可观测产品数据量近一季增长近两倍，其约20%的AI客户贡献了约80%的年度经常性收入；Twilio则通过AI重构的语音服务吸引客户。当前周期呈现高度集中特点，少数客户能驱动巨大收益。对于非AI原生公司，核心战略在于如何转售推理服务或从其客户的大量采购中获益。
Epoch AI@EpochAIResearchOpenAI 正在将 ChatGPT 转变为个人财务助手。美国地区的 Pro 用户现已能通过 Plaid 连接银行账户，基于真实交易数据获得个性化财务分析。该功能运行于 GPT-5.5 Thinking 模型，未来将向所有用户开放。OpenAI 同时提醒，ChatGPT 并非持牌财务顾问，其分析仅供参考。
文章以AlphaGo为例，阐述了智能的基本构成要素。AlphaGo至今仍是最清晰、最完整的范例，它融合了三大核心基础：搜索技术、从经验中学习以及自我对弈。这三大要素共同构成了其实现超越人类棋艺的关键路径。
Chubby♨️@kimmonismusOpenAI为美国ChatGPT Pro用户推出了个人理财功能。用户可通过Plaid连接银行账户，获得消费仪表盘，并能基于实际交易数据向GPT-5.5提问，查询余额、消费模式、订阅和投资等信息。该功能无法查看完整账号或移动资金。未来将集成Intuit用于税务估算和信用卡申请，其“金融记忆”可跨对话存储储蓄目标等上下文。Plus用户将稍后获得，免费用户最终也会开放。内部基准测试显示，GPT-5.5在复杂个人理财任务上得分为79/100，GPT-5.5 Pro为82.5/100。此举被认为对许多金融科技初创企业构成了直接竞争。
A preview for Pro users: a new personal finance experience in ChatGPT. Pro users in the U.S. can securely connect financ...
Anthropic公司在GitHub上开源了专为法律领域优化的AI模型“Claude for Legal”。该模型能更准确地处理法律文本、合同及案例摘要，旨在提升法律从业者效率。此消息在Hacker News上获得105个投票点数，显示出技术社区对其在法律科技领域应用潜力的关注。
向阳乔木@vista8AlphaGo核心研究员David Silver提出一个思想实验：若将大语言模型置于一个普遍相信地平说的世界，且模型无法与现实世界互动，那么无论其代码如何优化，它都将永远是一个“地平论者”。这揭示了大型语言模型（如GPT、Claude、LLaMA等）真正的能力上限并非取决于算力或参数量，而在于其思维被严格限制在所“喂养”的数据框架之内，缺乏与现实交互以验证和更新认知的根本能力。
针对混合专家模型(MoE)固定Top-K路由策略导致的计算冗余和推理延迟问题，本研究提出BEAM方法。该方法通过可训练的二进制掩码学习令牌自适应的专家选择，结合直通估计器和正则化损失，在端到端训练中实现动态专家稀疏化，同时保持模型能力。团队为BEAM开发了高效定制CUDA内核，确保与vLLM推理框架无缝集成。实验显示，BEAM能保留原始模型98%以上性能，并将MoE层浮点运算量减少高达85%，解码速度提升至2.5倍，吞吐量提高1.4倍，为高效MoE推理提供了即插即用的实用解决方案。
腾讯地图推出专为外卖、快递骑手设计的“骑手模式”，宣称可提升配送效率20%。该模式基于大数据和AI模型，智能规划少红灯、少转弯的骑行路线，并提前展示150-300米路况。导航可精确定位至具体楼栋单元，在大型商场等复杂场景会提示具体入口、电梯及店铺位置。骑手出发前还能查看终点实景图与门禁信息，便于提前识别目的地并联系用户，减少现场寻找与等待时间。用户更新至最新版腾讯地图即可使用。
FrontierSmith 是一个自动化系统，能从现有封闭式编码任务中迭代演化出开放式问题。它通过改变问题目标、限制输出和泛化输入生成候选变体，并利用量化思维发散指标筛选能激发多元解法的问题，再由智能体生成测试用例与验证器。在两个开放式编码基准测试中，使用合成数据训练后，基础模型性能显著提升：Qwen3.5-9B 在 FrontierCS 上得分提高 +8.82，在 ALE-bench 上基于 Elo 评分的性能提升 +306.36；Qwen3.5-27B 分别提升 +12.12 和 +309.12。合成问题还使智能体进行更多轮次、消耗更多令牌，其特性与人工构建问题相似，表明封闭式问题种子可作为生成长视野编码数据的实用起点。
推理冒险游戏《Vaudeville》在Epic游戏商城开启限时免费领取，国区原价62元。本次活动由开发团队Bumblebee Studios自行发起，持续至5月17日18:00。游戏最大特色是采用AI技术驱动NPC对话，所有回应均为实时生成，无固定剧本，每次游玩对话内容都可能不同。玩家需通过自然语言提问与角色互动，在充满欧洲风情的虚构城市中扮演侦探，调查一系列命案并挖掘线索。
针对文本到图像模型在复杂语义生成上的局限，研究团队提出了闭环视觉推理框架。该框架通过自动数据引擎进行步骤级视觉验证，合成可靠推理轨迹，并采用代理提示强化学习解决长上下文优化不稳定问题。为降低迭代去噪导致的高延迟，框架引入Δ-Space权重合并方法，将每步推理成本降至仅需4次噪声估计前向传播。实验表明，该框架在多项基准测试中超越现有开源模型，性能接近专有商业模型，实现了复杂视觉生成的通用测试时扩展能力。
Berryxia.AI@berryxia蚂蚁集团AGI团队开源了万亿参数旗舰思考模型Ring-2.6-1T。该模型专为处理Agent工作流、代码工程、长时序执行等复杂任务设计，具备上下文理解、规划与工具调用能力，并提供高效与极致两种推理模式。其采用IcePop算法稳定训练，并借助MoE架构降低部署门槛。完全开源允许企业将模型部署于本地或端侧，确保数据不出域，有效解决了金融、政务等敏感领域对数据安全与合规的迫切需求。模型已在Hugging Face和ModelScope平台发布。
本文针对奖励函数时变的马尔可夫决策过程，提出了通用迪杰斯特拉搜索方法，证明了通过中间最优子策略的时间组合可恢复全局最优策略。受此启发，作者提出了动态潜在路由，这是一种语言模型后训练方法，能在单一训练阶段通过动态搜索联合学习离散潜在代码、路由策略和模型参数。在低数据微调场景下，该方法在四个数据集和六个模型上达到或超越了监督微调的性能，平均提升6.6个百分点，而先前的离散潜在基线方法则持续表现不佳。机理分析表明，该方法能学习具有不同因果角色的结构化路由行为。
针对视觉推理中直接生成图像计算成本高、代理方法存在切换延迟、潜在方法泛化性差等问题，本研究提出ATLAS框架。其核心是引入“功能词元”这一离散单元，它同时作为智能体操作和潜在视觉推理单元。每个词元对应一个内化的视觉操作，无需视觉监督，仍作为标准词元存在于词表中，可通过下一词元预测生成。这避免了生成冗余的中间视觉内容，且与标准的可扩展SFT和RL训练兼容。为应对RL中功能词元的稀疏性问题，研究引入了潜在锚定GRPO（LA-GRPO）以稳定训练。实验表明，ATLAS在多项挑战性基准测试中取得了优异性能，并保持了良好的可解释性。
研究提出一种语言模型自我改进的新范式，使模型从被动生成数据转为主动构建训练自身的可执行环境。该方法的核心在于环境需具备稳定的“求解-验证不对称性”：模型能编写验证器代码，却无法可靠地用自然语言解决新实例。这种不对称性确保了奖励信号的有效性。研究者实例化为EvoEnv方法，通过合成Python环境并经过多阶段严格验证后才用于训练。在较强的Qwen3-4B-Thinking模型上测试表明，传统方法性能下降，而EvoEnv将其平均性能从72.4%提升至74.8%。这证明稳定的自我改进关键在于让模型学会构建结构上始终超越其当前能力的环境。
时间序列预测需结合数值模式与上下文信息如新闻。研究团队推出Nexus框架，它将预测分解为多阶段：分离宏观与微观时序波动，整合非结构化上下文信息，再综合生成预测。该框架表明，当前大语言模型具备比以往认知更强的内在预测能力，关键在于组织数值与上下文推理。在知识截止日期后的Zillow房地产和波动股市数据上评估，Nexus持续匹配或超越了最先进的时序基础模型及大语言模型基线。此外，Nexus能生成高质量推理轨迹，明确展示预测背后的核心驱动因素，推动预测向代理推理问题发展。
Darwin Family框架通过免训练的梯度无关权重重组，探索重组现有模型隐式能力以提升推理性能。其核心包括14维自适应合并基因组实现细粒度组件重组；MRI-Trust融合机制通过可学习参数平衡层重要性信号与进化搜索；架构映射器支持异构模型家族间的跨架构融合。旗舰模型Darwin-27B-Opus在GPQA Diamond基准上达到86.9%准确率，在1252个模型中排名第六，无需训练即超越其基础模型。该框架在4B至35B参数规模上均能持续提升性能，支持递归多代进化，并能实现Transformer与Mamba组件的免训练融合。
Ring-2.6-1T 正式开源，这是为真实复杂任务打造的万亿级思考模型，Agent 执行能力全面增强，采用双档推理配置，兼顾效率、成本与能力上限。
Orange AI@oran_ge时隔一年之后,我重新再读 人类简史,我突然发现了一些之前没太注意到的东西。 我越来越感觉,作者尤瓦尔·赫拉利身上其实有一种很强的"佛教化"思维,后面很多关于人类、文明、AI、意识的表达,都是从这个视角延伸出来的。 不是传统意义上的宗教感,而...
Ethan Mollick@emollickVery important update from UK AISI. This is a meaningful change from the previous report. Here's what the new data would...
Rohan Paul@rohanpaul_ai据《华尔街日报》报道，Anthropic的Mythos AI工具在短短五天内，成功帮助研究人员发现了两个此前未知的macOS内核漏洞，并将其串联成一个完整的权限提升攻击链。该攻击针对操作系统最底层的核心，通过组合多个漏洞和技术，绕过了苹果的内存完整性保护机制，访问了本应受保护的系统区域。这凸显出现代macOS的防御重点已从单纯防止漏洞发现，转向增加漏洞利用难度。Mythos在此类研究中展现出强大能力，因为它能协助形成假设、分析代码行为、推理底层约束并建议利用路径，从而大幅加速传统上依赖手动、试错的研究过程。
本文从理论上证明了旋转位置编码在长上下文Transformer模型中的根本缺陷。研究发现，随着上下文长度增加，RoPE的注意力机制会变得不可预测并丧失两大核心特性：局部性偏置和标记相关性一致性，其失效概率趋近0.5，等同于随机。实验进一步证实，当键被移动或替换时，注意力得分可能保持不变，表明其无法有效区分位置与标记。虽然增大RoPE基础参数有助于区分标记，但不可避免地会牺牲位置区分能力，且多层多头架构无法克服这些内在限制。这表明未来可能需要全新的位置编码机制。
针对现有过程奖励模型（PRM）仅输出单一奖励分数、无法指示预测可靠性的缺陷，本文提出BetaPRM模型。该模型利用蒙特卡洛继续推演提供的监督信号，通过Beta-二项似然学习Beta信念分布，同时预测每个推理步骤的成功概率及其可靠性。基于这一可靠性信号，进一步引入自适应计算分配策略（ACA）用于PRM引导的最佳N选一推理。ACA能在奖励高且可靠时停止，并在预测不确定的候选方案上投入更多计算资源。实验表明，BetaPRM提升了PRM引导的选择性能；而ACA策略相比固定预算的最佳16选1方案，在提高最终答案准确率的同时，将token使用量最高减少了33.57%。
针对多模态大语言模型在多人视频中难以识别交互关系的问题，研究团队提出了GRASP数据集。该数据集包含29万个问答对，源自4.6万个视频共749小时，建立了涵盖注视、指示性手势及其组合推理的16类分类体系。同时发布配套评估基准GRASP-Bench，并提出社会情境奖励学习信号，利用这些细粒度事件引导模型推理交互参与者。实验表明，该方法提升了GRASP-Bench性能，并保持了在相关视频问答基准上的零样本能力。
研究针对需要点级精度的几何图形界面控制任务，揭示了现有视觉-语言模型存在的语义-执行鸿沟：通用模型动作类型准确率高但任务成功率极低。为此，我们构建了包含4,906个问题、超过22.4万次像素级动作的PAGE Bench基准，并提出了拓扑感知智能体PAGER。该智能体通过依赖结构规划与像素级执行分解任务，结合像素接地监督调优与精度对齐强化学习，将任务成功率提升至最强通用基线的4.1倍，步骤成功率从GUI专用智能体的不足9%提高到62%以上，实现了点精确GUI控制的新突破。
强化学习与可验证奖励范式面临探索效率瓶颈。为此，研究团队提出NudgeRL框架，其核心是“策略助推”技术，通过为每次策略采样注入轻量级策略级上下文，引导模型产生多样化推理轨迹，无需依赖昂贵的外部监督。该框架进一步提出一个统一目标，将奖励分解为上下文间与上下文内组件，并通过蒸馏目标将有效行为迁移回基础策略。在五个高难度数学基准测试中，NudgeRL的表现优于标准GRPO方法，其效果相当于后者使用高达8倍采样预算的结果，且平均表现超过了依赖特权信息的Oracle引导基线，证明了结构化探索的高效性与可扩展性。
Berryxia.AI@berryxia研究者提出FlowCompile，一个从编译视角优化结构化大语言模型工作流的编译器。它在部署前全局探索工作流设计空间，通过将工作流分解为子智能体、分析其在不同配置下的性能，并利用结构感知代理组合这些结果，以估算工作流级的精度与延迟。该方法一次性生成一组覆盖不同精度-延迟权衡的可复用工作流配置，无需重新训练或在线调整。实验表明，FlowCompile在多种工作流和基准测试中均优于启发式优化与基于路由的基线方法，最高可实现6.4倍加速，其编译产出支持根据运行时偏好灵活部署及下游选择。
AI Notkilleveryoneism Memes ⏸️@AISafetyMemes安全团队Mythos仅用五天就成功破解MacOS，这与谷歌Project Zero团队平均需六个月发现一个同级漏洞形成巨大反差。MacOS零日漏洞在黑市价值超200万美元。此事揭示了苹果安全威胁模型的根本误判：苹果原先预估全球仅有10-20个组织具备此级别攻击能力，但现实表明此类攻击者数量即将跃升至数千。全球约20亿台活跃苹果设备中，Mac用户多为记者、高管、政府官员等高价值目标，他们选择苹果本是出于其安全声誉，此次事件严重动摇了这一基础假设。
Mythos has cracked MacOS. It took five days.
使用顶尖AI模型处理邮件的月度成本约为22至130美元，中位数26美元。若软件公司以75%毛利率定价，年费可能高达350美元，加上托管服务后标价或达500美元，约为Google企业邮箱费用的两倍。采用小型模型可降低成本10至20倍，而通过本地运行利用用户GPU，更能将成本削减至接近零。结合基础启发式方法和技术优化，总成本有望降低100倍。这种针对不同工作负载匹配模型并进行成本分层的推理市场细分，将是未来一两年AI软件发展的关键。
AYi@AYi_AInotes吴恩达与AMD合作推出新课《Transformers in Practice》，旨在将Transformer从学术概念转化为可调试的工程工具。课程提供交互式可视化，让开发者深入模型内部，观察自回归生成、注意力头分工及幻觉产生过程。核心聚焦生产中的推理优化难题，指出大部分延迟源于内存带宽与注意力计算，而非参数量。课程将系统讲解量化、KV Cache、Flash Attention、投机解码等关键技术，以实现数倍速度提升且精度损失极小。其最大价值在于培养能诊断问题、优化成本的稀缺人才，弥补了仅关注CUDA而缺乏硬件感知优化的市场空白。
New course: Transformers in Practice. You'll get a practical view of how transformer-based LLMs work, so you can reason ...
Chubby♨️@kimmonismusI fully solved my 2nd Erdős Problem using ChatGPT-5.5-Pro - and then I verified the solution by formalizing it! Less tha...
