Cloudflare 发布 Project Think 及 Agents SDK 下一版本预览，该平台从轻量级原语转型为功能完备的一站式开发平台，支持 AI 智能体实现思考、行动与状态持久化。新版本提供开箱即用的基础设施，帮助开发者构建具备持续认知能力的下一代 AI 应用。

Cloudflare 推出仪表盘内置代理 Agent Lee，将传统多标签页手动操作界面革新为单一提示词交互模式。基于沙盒化 TypeScript 构建，该工具以技术协作者身份协助用户排查故障、管理 Cloudflare 技术栈，实现从繁琐手动配置向智能化对话式运维的转变，提升基础设施管理效率与体验。

OpenAI 在欧洲的 Stargate 基础设施布局明显收缩。2025年7月，CEO Sam Altman 曾乐观预计将该巨型项目落地挪威纳尔维克，但数月后这一预期已大幅消退。随着 Microsoft 和 Google 接管了原本规划的数据中心容量，OpenAI 被迫缩减其欧洲算力扩张计划。

研究团队提出 DDTree（Diffusion Draft Tree）方法，突破 DFlash 每轮仅验证单条轨迹的局限，直接从块扩散草稿模型的逐位置分布构建草稿树。在固定节点预算下，该方法通过 best-first 堆算法筛选最可能匹配目标模型的序列，并利用祖先注意力掩码实现单次前向传播验证。基于当前领先的 DFlash 模型，DDTree 将推测解码性能提升至领域前沿水平。

研究团队推出 AccelOpt，一种能自主优化 AI 加速器内核的自我改进型 LLM 智能体系统。该系统通过迭代生成和优化记忆库积累经验，无需硬件专家知识即可提升内核性能。在针对 AWS Trainium 构建的 NKIBench 基准测试中，AccelOpt 将 Trainium 1 和 Trainium 2 的平均峰值吞吐量分别从 49% 和 45% 提升至 61% 和 59%。该系统采用开源模型即可达到与 Claude Sonnet 4 相当的优化效果，成本却降低 26 倍。

多代理软件开发本质上是一个分布式系统问题。技术博客 kirancodes.me 提出这一核心观点，将多代理协作的复杂性类比为分布式系统的经典挑战，涉及代理间协调、状态一致性和通信可靠性等议题。该视角转换有助于开发者借鉴成熟的分布式系统理论来构建更稳健的多代理应用。文章在 Hacker News 获得 100 点热度。

Forge-UGC是面向异构加速器（如Intel NPU）的transformer四阶段编译器，通过torch.export捕获ATen图，经六种优化pass削减节点14.2%-21.9%，并采用线性扫描缓冲区分配与设备亲和性调度，使峰值缓冲区减少30%-48%、NPU-CPU切换降低42%-65%。在125M至8B参数模型测试中，较OpenVINO等编译速度提升6.9-9.2倍，推理延迟降低18.2%-35.7%，能耗减少30.2%-40.9%，且保持数值精度（logit差异<2.1e-5）。

研究团队提出 KV Packet 框架，通过轻量级可训练软 token 适配器将缓存文档封装为不可变"数据包"，实现 KV 缓存的免重新计算上下文无关重用。该方法基于自监督蒸馏训练弥合上下文不连续性，在 Llama-3.1 和 Qwen2.5 上的实验表明，其计算开销（FLOPs）接近零，首 token 生成时间（TTFT）低于 CacheBlend、EPIC 等部分重新计算基线，同时 F1 分数与完全重新计算方案持平。

AMD 凭借 ROCm 开源平台采取"循序渐进"策略挑战 NVIDIA CUDA 的垄断地位，通过逐步完善编译器、库及硬件支持，为 AI 与高性能计算领域构建替代生态。

Anthropic 3 月 6 日未作公告即将缓存 TTL 从 1 小时下调至 5 分钟，变更细节见于 Claude Code GitHub issue。这一改动可能显著影响依赖长缓存窗口的应用成本与性能。

研究团队提出 IceCache，一种面向长序列 LLM 的内存高效 KV 缓存管理策略。该方法融合语义 token 聚类与 PagedAttention，通过分层动态数据结构将语义相关 token 组织为连续内存区域，提升 CPU-GPU 传输效率。LongBench 测试显示，在 256 token 预算下 IceCache 保持 99% 原始准确率，且仅用 25% 的 KV 缓存预算即可达到与其他卸载方法相当或更优的延迟和准确率。

专为金融服务业打造的AI资源合集，涵盖提示词包、GPT模型、实用指南及专业工具，助力金融机构安全、高效地部署和扩展人工智能应用，推动行业智能化升级与数字化转型。

LMSYS Org推出HiSparse分层内存系统，针对稀疏注意力仍受限于GPU内存容量的问题，将非活跃KV缓存卸载至主机内存，仅在GPU HBM保留热缓冲区，并通过专用CUDA内核高效管理数据交换（采用LRU策略与页表更新）。该系统在256并发请求下实现超3倍吞吐量提升，GLM-5.1-FP8模型长上下文场景性能提升达5倍，支持DeepSeek-V3.2等采用DeepSeek Sparse Attention架构的模型。

生数科技旗下视频生成模型Vidu已正式上线阿里云百炼平台，标志着从“模型领先”向“生态领先”的转变。双方将联合加速行业发展。

研究团队发布了TC-AE，一种用于深度压缩自动编码器的新方法，旨在突破现有模型的令牌容量限制。该方法通过创新的架构设计，显著提升了模型在压缩表示中保留信息的能力，实现了更高的压缩效率与重建质量。具体指标显示，TC-AE在多个基准测试中，相较于传统深度压缩自动编码器，将有效令牌容量提升了约30%，同时保持了较低的计算开销。这项工作为高密度数据压缩与表示学习提供了新的技术路径。

针对大模型智能体技能跨平台行为不一致与执行效率问题，研究团队提出SkVM编译与运行时系统。该系统借鉴传统编译器设计，将技能视为代码、大模型视为异构处理器，基于对11.8万个技能的能力剖析，在编译时进行能力匹配与环境绑定，运行时实施JIT代码固化与自适应重编译。实验覆盖8种大模型及3种agent harness，结果显示SkVM在提升任务完成率的同时，可降低40%的token消耗，实现最高3.2倍加速及19-50倍延迟缩减。

Anthropic宣布与Google、Broadcom达成新协议，将获得多千兆瓦下一代TPU算力，预计2027年上线。这是其迄今最大的算力投资，用以支持Claude模型及激增的客户需求。数据显示，Claude年收入运行率已突破300亿美元，年消费超百万美元的企业客户两个月内从500家翻倍至超1000家。新设施主要位于美国，符合其500亿美元投资美国基础设施的承诺。公司强调将继续保持多硬件平台策略，AWS仍是主要云服务商。

为降低Transformer语言模型推理时KV缓存的内存占用，本研究提出一种名为“随机KV路由”的训练方法。该方法在训练过程中，让每一层随机选择使用本层或前一层的键值状态，从而使模型能够适应深度方向的KV缓存共享。评估表明，该方法在预训练或微调阶段应用后，可在多种模型架构中实现缓存共享，显著减少内存需求。对于数据受限的大模型，此方法还表现出类似正则化的效果，在降低内存的同时，常能保持甚至提升模型性能。

Google 为 Gemini API 新增 Flex 和 Priority 两个推理层级，帮助开发者在成本与延迟之间灵活取舍。

inclusionAI发布了cuLA项目，这是一套为线性注意力变体编写的CUDA内核。该内核完全采用NVIDIA的CuTe DSL和CUTLASS C++库进行开发，旨在高效实现Transformer模型中的线性注意力机制。此举专注于底层计算优化，通过利用先进的CUDA编程抽象和高效模板库，有望提升大语言模型在推理和训练过程中的计算性能与效率。

一位开源项目维护者分享应对AI生成PR浪潮的“氛围维护者”工作流。他维护Beads（2万星）和Gas Town（1.3万星）两个项目，每天收到约50个PR。通过自动化处理超过半数简单PR，整体合入率约88%，中位解决时间15小时。即便如此，每周仍需投入15-20小时审核。他认为高效率是开源项目生存关键，拒绝贡献可能导致项目被分叉或取代。

Mistral AI 在改进内部CLI工具时发现，原本为人类开发者设计的交互式提示会阻碍AI智能体使用。核心解决方案是将每个交互式提示都转化为对应的命令行标志位，确保所有必要信息都能通过非交互方式提供。他们建立了插件系统，使组件可自省和序列化，并为智能体生成结构化的上下文指南。这些改进使得智能体能够自主完成从项目初始化到部署的全流程，例如将博客项目部署为Space仅需不到10分钟。面向智能体的设计最终也提升了人机协作的效率。

Mooncake团队与Volcano Engine在SGLang框架中推出Elastic EP功能，解决大规模DeepSeek MoE模型"宽"专家并行部署的可靠性瓶颈。该技术通过解耦专家与GPU的刚性绑定并维护冗余副本，可在32 GPU集群中容忍最多16个rank故障，将服务恢复时间从2-3分钟缩短至10秒以内，降幅达90%。基准测试显示，该方案在实现极端韧性的同时，吞吐量、TTFT和TPOT等关键指标与标准DeepEP持平，实现零静态性能损耗。

SGLang亮相Jensen Huang主题演讲AI生态图谱，三天内密集举办五场活动。团队与RadixArk合办200人技术聚会，在LinkedIn总部举办搜索与推荐LLM系统研讨，并参与700人规模的Novita行业论坛。官方培训实验室发布Miles RL框架，解决生产环境训练-推理不匹配难题；LinkedIn工程师分享预填充优化方案，在H100上实现2–3倍吞吐量提升并回馈上游。

Google Research推出TurboQuant压缩算法（将发表于ICLR 2026），通过融合PolarQuant与QJL技术实现大模型与向量搜索的极端压缩。PolarQuant通过随机旋转数据向量并转换为极坐标，消除传统量化的内存开销；QJL则利用Johnson-Lindenstrauss变换以1比特零开销压缩残差误差。该方法在零精度损失下显著缩减模型体积，有效缓解KV缓存瓶颈，适用于高维向量搜索等场景。

以指标平台为核心的新一代BI架构，通过建设自动语义和增强计算两种核心能力，部分解决了传统BI平台在个性化数据集驱动下产生的数据口径混乱、查询性能差等问题。

本文提出AgriIR，一个可配置的检索增强生成框架，旨在以低计算成本提供基于事实的领域特定答案。该框架将信息获取过程分解为声明式模块化阶段，包括查询优化、子查询规划、检索、合成与评估，无需修改架构即可适配新知识领域。参考实现面向印度农业信息获取，集成了10亿参数语言模型、自适应检索器和领域感知智能体目录。系统强制执行确定性引用，集成遥测数据以确保透明性，并包含自动化部署资产以实现可审计、可复现的运行。该设计表明，精心设计的流程能在有限资源下实现领域精准且可信的检索，体现了“农业人工智能”的理念，通过提升可访问性、可持续性和可问责性，推动检索增强生成系统的发展。

开源RL框架Miles正式支持ROCm，可在AMD Instinct MI300/350 GPU上原生运行大规模语言模型后训练。该框架采用解耦架构分离rollout生成与模型优化，针对RL工作负载中占比70-90%的推理场景优化。在单节点8卡MI300X上训练Qwen3-30B-A3B的实测显示，rollout吞吐达1.1k-1.3k tok/GPU/s，AIME准确率从66.5%提升至72.9%。现提供预构建容器，支持GRPO、Megatron-LM和FSDP后端。