循环LLM架构（如Ouro）通过迭代更新内部表征进行推理，但其标准KV缓存导致内存消耗随推理深度线性增长，限制了可扩展性。本研究提出高效内存循环Transformer（MELT），通过每层共享一个跨循环的KV缓存，并利用可学习的门控机制更新缓存，从而将推理深度与内存消耗解耦。MELT采用分块训练的两阶段轻量级后训练方法：插值过渡与注意力对齐蒸馏。实验表明，基于预训练Ouro微调的MELT模型性能优于同等规模标准LLM，同时内存占用与标准模型相当，远低于Ouro，实现了不牺牲性能的恒定内存迭代推理。
FlashEvolve 是一个高效框架，旨在解决基于大语言模型的智能体进化过程中因阶段同步和执行负载不均导致的时间瓶颈。它采用异步工作队列取代同步执行，允许不同进化阶段与步骤重叠运行。为处理异步引入的数据陈旧问题，框架追踪版本并对陈旧工件采取更新、丢弃或修补策略，并利用推测性阶段完成与自适应工作流控制进一步提升吞吐量与令牌效率。在 GEPA 基准测试中，其在本地 vLLM 上实现了 3.5 倍的提案吞吐量提升，在 API 服务上相比同步方法提升达 4.9 倍。该设计同样适用于 ACE 等任务。
研究团队提出环境驱动框架AutoTTS，将测试时扩展策略设计转化为可自动探索的环境构建问题。该框架将宽度-深度扩展形式化为对预收集推理轨迹的控制器合成，通过Beta参数化使搜索可行，并利用细粒度执行轨迹反馈提升效率。在数学推理基准测试中，自动发现的策略在准确率-成本权衡上优于人工基线，并能泛化至未见过的任务和模型规模，整个发现过程仅需39.9美元和160分钟。相关代码与数据已开源。
MISA是DeepSeek稀疏注意力中索引器模块的即插即用替代方案。它将索引器的多个查询头视为专家混合池，通过一个轻量级路由器，仅根据查询激活少数几个头部进行昂贵的令牌级评分，从而大幅降低计算成本。无需额外训练，仅激活8个头时，MISA在DeepSeek-V3.2和GLM-5上就能达到与原始密集索引器相当的LongBench性能，同时分别减少八分之七和四分之三的头部使用量。该方法在128K上下文内能保持完整的“大海捞针”热力图，每层可恢复超过92%的原始索引器所选令牌，其内核在单H200 GPU上实现了约3.82倍的加速。
GitHub 发现运行于每个拉取请求的智能体工作流会累积高昂的 API 成本。团队通过监测自身生产工作流，定位了效率低下的环节，并构建了专门的智能体进行优化。这一举措旨在显著降低由大语言模型调用产生的 Token 消耗与相关费用，直接提升了工作流的经济性与运行效率。
Epoch AI@EpochAIResearchCloudflare向全球团队发送内部邮件，宣布公司迎来一个重大时刻。公司秉持透明度这一核心价值观，决定直接向外界同步这一关键信息。此举标志着Cloudflare在战略发展上迈出了重要一步，旨在为未来构建更坚实的基础。
Chubby♨️@kimmonismus作者认为关注AI在实际应用中的优势更令人兴奋，并以Google的AlphaEvolve为例。AlphaEvolve是一个基于Gemini的编码智能体，自2025年起被用于优化下一代TPU的设计。它在两天内就发现了更高效的缓存替换策略，而此前这需要人类团队数月的密集工作。这类实例印证了AI能力呈指数级增长的观点，表明AI已在硬件、软件等各个领域推动进步。
作者开发了一个名为“GitHub Repo Stats”的在线工具，用于解决GitHub移动端网站不显示仓库提交次数的问题。用户只需输入GitHub仓库的URL或“foo/bar”格式的仓库ID，该工具便会通过REST或GraphQL API获取并展示仓库的关键统计数据，其中首要指标就是提交总数。工具已提供实际示例，如查看simonw/datasette和simonw/llm这两个仓库的详细数据。
Simon Willison 为配合其“氛围编码”macOS演示工具，快速开发了一个名为“Big Words”的网页工具。该工具通过URL参数（如文本、渐变、大小）动态生成可自定义的幻灯片页面，解决了演示工具仅能嵌入URL内容的需求。用户可双击页面访问设置表单，自由调整文本内容、颜色、背景（支持纯色或渐变）、字体、字重、大小等多种视觉选项。所有设置均可生成一个特定的URL以便保存和分享，从而快速创建用于演示的文本幻灯片。
Replit ⠕@Replit
Yuchen Jin@Yuchenj_UWOpenAI内部工程师每日消耗高达数亿至数十亿GPT-5.5 token，并利用Codex进行夜间自动化编码。Databricks同样为工程师提供无限制的token资源。公司目前正以初创公司的模式高速发展，并积极招募能够贡献于SGLang、vLLM、PyTorch等开源ML系统，且拥有大规模LLM服务经验的顶尖推理工程师，旨在实现万亿级别token的极速生成与处理。
elvis@omarsar0Pay attention to this one if you build multi-agent systems. Coordination is as important as prompts or agent architectur...
Microsoft Research@MSFTResearchChubby♨️@kimmonismusxAI与Anthropic在算力运用上呈现出镜像困境。xAI虽拥有全球顶尖的GPU集群，但其模型计算利用率仅约11%，凸显出将硬件转化为有效算力的挑战。相反，Anthropic面临需求远超供给的局面：其Claude收入年化已超300亿美元，百万美元级企业客户在两个月内从500家激增至1000家以上，新增的算力被立即转化为更高的使用限额和收入。这场竞赛的关键已非单纯比拼集群规模，而在于“算力消化效率”——即谁能最快速地将原始计算资源转化为可盈利的产品能力。稀缺资源正从GPU硬件本身，转向这种高效的转化能力。
Berryxia.AI@berryxiaSenseNova-U1开源了一项8步蒸馏LoRA技术，将扩散模型的生成步骤从100步压缩至8步，使GPU推理时间从23秒大幅缩短至2秒，速度提升达11倍。该技术同时完整支持ComfyUI，并提供了文本生图、图像编辑和交错生成等开箱即用的工作流程。此举标志着扩散模型从研究阶段迈向实用化，引发了业界关于未来应聚焦参数规模竞赛还是追求速度与实用性的讨论。
🚀SenseNova-U1 Update🚀 ⚡Open-source an 8-step distilled LoRA: 100 NFE → 8 NFE, cutting GPU inference from 23s to 2s 🧩C...
OpenRouter@OpenRouterAnthropic 将接入埃隆·马斯克的 Colossus 1 超级计算机。这一出人意料的合作源于 Anthropic 自身面临的计算资源紧张、即将到来的 IPO 压力，以及马斯克立场的显著转变。公司近期的 80 倍规模增长已远超其现有基础设施的承载能力。
Ant Ling@AntLingAGIBerryxia.AI@berryxiaElon Musk揭示了xAI在孟菲斯建设超算集群时遭遇的严峻电力挑战。为供应约11万块GB300 GPU，团队不得不协调数十台燃气轮机，因许可问题将发电厂迁至密西西比州，并铺设高压输电线路。实际电力需求远超GPU功耗，在孟菲斯极端夏季，冷却系统峰值功耗增加约40%，冗余维护还需20-25%的额外容量，最终需要约330兆瓦的实际发电量。这凸显了前沿AI数据中心的真正瓶颈并非芯片，而是稳定、大规模的电力供应与管理能力。
Elon Musk explains the "series of miracles" xAI had to achieve to bring one gigawatt of power online for its supercomput...
SemiAnalysis@SemiAnalysis_一位自称AI基础设施领域的顶尖专家以激烈言辞回应网络上的行业分析。他宣称自己拥有顶尖的硅片拆解分析能力、超过300次确认的FLOPS/watt与MFU计算经验，并精通KV缓存大小调整等技术。该专家表示，将动用包括NCCL调试日志、NVIDIA DCGM与AMD设备指标导出器遥测数据以及sglang性能分析追踪在内的全部工具，来彻底驳斥关于GB200 NVL72等产品的错误观点，并特别点名批评了关于推理成本的“自作聪明”的LinkedIn帖子。
TestingCatalog News 🗞@testingcatalogAnthropic正在为其Claude Console平台的托管代理测试Insights功能。该功能会获取最多100个近期会话，将每个会话记录与代理系统提示并行发送给模型，以生成包含任务、行动、问题和评估的摘要，并给出0-100的质量评分。同时，直接从事件数据中计算令牌、缓存和工具错误等统计数据。随后，另一个模型调用会读取所有摘要和统计信息，生成跨会话洞察，包括重复错误、使用模式、效率异常点和成功案例，并对错误类别与使用场景进行聚类。所有发现均关联真实的会话ID。摘要与洞察结果会被保存以实现页面即时加载，所有数值均基于原始事件数据计算，仅文本描述和分类来自模型生成。
针对单流自回归接口中“思考”与“输出”耦合导致的“沉默税”问题，本研究提出了“并排交错推理”方法。它将披露时机转化为可控决策，允许模型在同一上下文中交错进行私有推理和部分内容披露，仅当推理充分支持时才释放内容。通过构建蕴含对齐的交错轨迹进行监督微调，并结合强化学习恢复推理性能。在Qwen3系列模型上的实验表明，该方法在AIME25和GPQA-Diamond基准测试中，有效改善了准确性、内容产出与延迟之间的帕累托权衡。
Berryxia.AI@berryxia刚刚刷到Hugging Face上这个gpt-oss-20b-tq3，真的有点爽啊！ OpenAI自己开源的20B参数MoE模型，被社区用TurboQuant 3-bit量化 + MLX优化后，竟然能直接在普通MacBook上本地丝滑跑起来。 完全不用联网、不用交月费，还支持131K超长上下文。 日常聊天、写作、写代码这些日常需求，现在都能在自己笔记本上搞定。 非常适合公司的一些部门使用啊！ 以前本地跑大模型还得配高端显卡，现在一台M系列Mac就够了。 模型直达👉 https://huggingface.co/manjunathshiva/gpt-oss-20b-tq3
A new GPT model just dropped for Apple Silicon. The gpt-oss-20b-tq3 is a 20B parameter MoE text generator, optimized wit...
Berryxia.AI@berryxiaAnthropic的AI产品Claude本季度增长高达80倍，远超10倍的预期，导致算力严重短缺并出现用户限流与排队。为应对需求爆炸，CEO Dario Amodei紧急签署多项大规模算力协议：与亚马逊达成1000亿美元十年AWS协议，获取新一代Trainium芯片及高达5吉瓦的容量；与博通和谷歌合作开发定制TPU芯片；SpaceX更是将其孟菲斯Colossus 1数据中心的全部22万张NVIDIA GPU开放给Anthropic，并计划共同开发吉瓦级的轨道AI计算能力。这些举措凸显AI需求已远超当前基础设施的扩建速度，全球算力竞赛正在加速。
The most in demand AI product in the world just ran out of compute because it grew 80x in a single quarter (Save this). ...
阿绎 AYi@AYi_AInotesAI API中转站的核心盈利模式并非依赖微小的token差价，而是瞄准高消耗企业的巨大支出规模及其优化潜力。以法律合同审查产品为例，每日处理数千万tokens，按官方定价年成本可达8.1万美元。通过应用Prompt Caching和Batch处理等优化技术，有效输入成本可大幅降低，年成本能压缩至2.2-3.2万美元。巨大的成本优化空间解释了该赛道激烈竞争乃至价格战的现象。
http://x.com/i/article/2051958484304891904
联发科技苗栗铜锣研发数据中心一期正式启用，这是台湾首座基于英伟达 DGX B200 平台驱动的 AI 高算力计算平台，并首次大规模导入浸没式冷却技术，PUE 低至 1.1。数据中心配套晶圆厂等级供电系统，上方设有 235kW 光伏电池板，可满足 67 个家庭用电需求，冷却系统采用再生水。项目始于2023年，未来将按需逐步扩展二、三期。
SemiAnalysis@SemiAnalysis_
Greg Brockman@gdbThere is a lot of news about compute being the bottleneck for AI. There is less visibility into the engineering it takes...
阿绎 AYi@AYi_AInotes马斯克仅用一句“GB300是最好的AI计算机”，便揭示了AI竞争核心已从模型转向算力。他通过SpaceX将旗下全球最大的GB300集群Colossus 1（拥有超22万块顶级GPU）全部容量开放给Anthropic使用，使两大顶尖实验室共享同一计算平台。此举不仅彰显了NVIDIA硬件的统治地位，更展现了马斯克构建的完整商业闭环：自建集群、开放变现、再投资扩建，并规划未来将数据中心送入太空以突破能源与散热限制。这标志着他正从AI参与者转变为算力规则的制定者。
The GB300 is the best AI computer
研究团队开发了SpecMD，这是一个用于在各种硬件配置上对临时缓存策略进行基准测试的标准化框架。该研究聚焦于混合专家模型，这类模型虽然实现了稀疏专家激活，但需要专家缓存机制才能将稀疏性转化为实际性能提升。此前的研究提出了以硬件为中心的缓存策略，但不同缓存策略之间以及它们与不同硬件规格之间的相互作用尚不明确。SpecMD框架旨在填补这一理解空白，系统性地评估缓存策略的交互影响与硬件适配性。
马斯克宣布，其人工智能公司xAI将结束独立运营，完全并入SpaceX并更名为SpaceXAI，成为后者的AI产品部门。此举源于今年2月SpaceX对xAI的收购，旨在整合人工智能、航天火箭及天基互联网等技术，最终目标是在太空部署数据中心。同时，SpaceX已与AI公司Anthropic达成协议，后者将可使用SpaceX旗下拥有超过22万颗英伟达GPU的Colossus 1数据中心全部算力，双方还计划合作开发规模达数吉瓦的轨道AI算力。
meng shao@shao__mengSpaceX 与 Anthropic 就 Colossus 超算集群达成合作，将 Colossus 1 出租给后者以扩展 Claude 的推理部署能力。此次合作源于埃隆·马斯克与 Anthropic 高层深入接触后，对其安全文化及团队责任感的认可。马斯克评估认为团队具备高度能力与自我批判精神，无人触发其“邪恶探测器”，Claude 很可能对人类有益。合作的关键背景是 xAI 已将训练工作迁移至 Colossus 2，从而释放了 Colossus 1 的算力资源。
Same here. By way of background for those who care, I spent a lot of time last week with senior members of the Anthropic...
针对混合专家模型分布式推理中专家间通信开销巨大的问题，本研究提出“专家联盟”架构。该架构将Transformer层的MoE模块重组为多个MoE集群，每个集群仅负责一个键值头并在内部应用专家并行。集群间通过对注意力后残差求和来同步信息，驱动下一MoE块的路由。在单节点设置中，该方案完全消除了GPU间的全对全通信；在多节点设置中，则将此类通信限制在节点内部，大幅降低开销。在LongBench上的实现表明，该架构显著提升了单节点与多节点环境下的推理吞吐量与延迟，端到端前向传播延迟最高降低5.2倍，同时保持了与同规模MoE模型相当的生成质量。
PrefixGuard是一个将LLM智能体执行轨迹自动转换为在线预警监控器的框架。它通过离线的StepView归纳步骤，从原始轨迹样本中推导出确定性的类型化步骤适配器，并基于最终结果监督式地学习事件抽象和前缀风险评分器。在四个基准测试中，其最强监控器的AUPRC值分别达到0.900、0.710、0.533和0.557，平均比原始文本对照方法提升0.137 AUPRC。研究还揭示了基于AUPRC的观测性上限，并指出强排名不等同于部署实用性：例如在WebArena上难以实现低误报预警，而τ^2-Bench和TerminalBench则能保留更多可操作的早期预警。
本研究提出门控QKAN-FWP，一种将快速权重编程器与量子启发的Kolmogorov-Arnold网络相结合的新型框架。它采用单量子位数据重上传电路作为可学习激活函数，并引入了标量门控的快速权重更新规则以稳定参数。在时间序列预测任务中，一个仅含12.5k参数的模型，在太阳活动周期长期预测上，其性能超越了一系列参数规模大得多的经典循环模型。该模型成功在IonQ和IBM量子处理器上部署，在1024次测量下预测精度与无噪声模拟器差距在0.1%以内，证明了其在含噪声量子设备上的兼容性与可扩展性。
研究发现，当扩散变换器扩展到数百层时，会因结构脆弱性进入“均值主导崩溃”状态，即表征同质化且中心化变异被抑制，此现象被定义为均值模式尖叫。其触发机制源于残差写入器的均值相干反向冲击。为解决此问题，研究提出了均值-方差分割残差方法，它将独立增益的中心化残差更新与泄漏主干均值替换相结合。在400层单流扩散变换器上，该方法有效防止了基线模型的崩溃性发散，性能显著优于LayerScale等各向同性门控方法。最终，研究成功训练了一个1000层的扩散变换器，验证了该架构在极深尺度下仍能保持稳定训练。
研究团队提出SPEED方法，一种阶段非对称的KV可见性策略，以降低仅解码器语言模型的长上下文推理成本。该方法在预填充阶段，仅让非锚点的提示词KV状态在模型下层生成和缓存；而在解码生成阶段，则对所有令牌进行完整的深度计算。在Llama-3.1-8B的指令调优实验中，当仅使用75%的层处理提示词时，SPEED在基准测试中取得了与完整深度基线近乎持平的平均得分（51.2 vs. 51.4）。同时，它显著提升了推理效率：首令牌时间减少33%，每个输出令牌时间减少22%，并在128K上下文长度下将活跃KV内存降低25%。分析表明，该方法保留了完整深度模型中关键的提示词选择和表征稳定功能。
