四种轻量级架构在一个IIoT数据集上训练后，不经重新训练直接在另两个结构不同的IIoT数据集上评估，仅使用三者共有的特征。可解释性分析显示，两个最优模型主要依赖粗粒度端口类别特征，其中最具影响力的类别在源域攻击流量出现频率是目标域的96至435倍，表明粗化端口分辨率只是转移而非消除已知捷径。自然不平衡分布下，评价协议可能反转对哪个目标域更具挑战的判断。对抗鲁棒性与跨网络泛化无关，有限目标域数据适应的恢复效果因架构而异。建议部署就绪性应在真实类别分布下通过跨网络评估。
ELDR是为预填充-解码分离式MoE服务设计的解码路由算法。它从请求预填充阶段提取专家激活特征，构建预测生成阶段所需专家的签名，通过离线平衡K-means聚类将签名空间分配到解码节点，在线路由时优先将请求发往签名匹配且负载最轻的节点。签名缓存与KV缓存以KV-block粒度协同索引，保证前缀缓存下签名准确。在vLLM实现，最高40块GPU部署测试，相比四种负载均衡基线中最强的一种，在三个MoE模型和两种负载上降低中位TPOT 5.9–13.9%，模型输出不变。
Rohan Paul@rohanpaul_ai该论文指出，MCP服务器设计不同于普通API，因为LLM通过纯语言描述选择工具，过多或模糊的工具会导致混淆。作者归纳了5种实际模式（如暴露数据、运行工作流、保持会话状态、组合服务器、翻译混乱领域API），并警告4个常见错误（大而全工具、模糊描述、不安全外部内容、慢工具应返回job ID）。在54个额外服务器上测试发现，弱模型在可见工具超过10-15个时准确率降至90%以下。良好MCP设计的核心是使工具列表小巧、清晰、安全且稳定。
SemiAnalysis@SemiAnalysis_Introducing JetSpec: we find speculative decoding can push LLM generation latency to extreme by co-optimizing drafting c...
异步流水线并行消除同步气泡，但梯度陈旧问题限制其应用。PipeDream-2BW调度保证恒定一步延迟，但业界认为该陈旧性下优化不稳定。本文通过实证分析推翻此假设，发现AdamW在一步延迟下退化，而Muon等优化器鲁棒性强。研究进一步提出优化器无关的误差反馈修正以缓解延迟影响。在10B参数模型上的实验表明，所提策略可缩小异步与同步训练的性能差距，展示大规模异步流水线并行的实用潜力。
Meta 在 ISCA 2026 大会发布自研 Vistara ASIC 方案，通过 CXL 2.0/1.1 规范的 PCIe Gen5 x16 接口将拆机 DDR4 内存桥接到新服务器。每台 MemServer 配备 768GB DDR5 和 256GB DDR4（3:1 配比），单个 ASIC 支持双通道 DDR4 最高 3200 MT/s、最大 256GB。该方案已在数百万台服务器中用于分离式机器学习推理、大数据处理等场景，可将推理服务器数量最多减少 25%，分布式缓存平均延迟降低 29%。
DeepSeek 发布 DSpark 投机解码框架并开源检查点与训练代码。该框架不是新模型，而是在 DeepSeek-V4 权重上附加草稿模块，通过半自回归生成（并行骨干 + 轻量级顺序头）实现无损加速。生产环境下，DeepSeek-V4-Flash 和 V4-Pro 每用户生成速度较 MTP-1 基线分别提升 60–85% 和 57–78%。离线测试中，接受长度比 Eagle3 高 26–31%，比 DFlash 高 16–18%。配套 DeepSpec 训练代码库采用 MIT 许可证。
ReFreeKV 提出一种无阈值的 KV 缓存压缩方法，通过自适应调整预算分配来消除对输入特定阈值的依赖，解决了传统方法因阈值选择不当导致的性能退化问题。在涵盖不同上下文长度、任务类型和模型规模的 13 个数据集上的实验表明，该方法在保持全缓存性能的同时实现了高效压缩。相关代码已公开。
Hao AI Lab@haoailabSky Computing Lab推出JetSpec，一种通过因果并行树草稿（causal parallel tree drafting）联合优化草稿成本与质量的推测解码方法，可将LLM生成延迟推向极致。在MATH-500上达到最高9.64x端到端加速，开放式聊天达4.58x，且保持无损。结合CUDA graph和kernel优化，在单B200上实现约1000 TPS。
Google Research 与 Google Cloud 提出线性弹性缓存，将缓存管理转为线性成本优化问题，动态调整大小以最小化总拥有成本。为每条数据引入“滑雪租赁”决策框架，在租用内存（持续付费）与购买缺失（缓存未命中惩罚）间选择，并用轻量级机器学习实时优化内存占用与缺失率权衡。无服务器云场景下（每 GiB 内存每天 $3），该技术可在不牺牲性能的同时显著降本。论文发表于 CIDR。
Google Research提出一种新架构，在已冻结的Gemini Nano v3模型上改造Multi-Token Prediction（MTP），以加速Pixel 9和10系列上的设备端推理。该方法基于EAGLE框架和CALM，无需单独训练占用内存的草稿模型，通过“晚期退出”策略实现加速。AI通知摘要和校对功能因此生成文本速度显著提升、能耗降低，开发者无需为每个新任务微调独立模型。
当同时启用Tool Calling与JSON Schema约束时，多个开放权重LLM出现工具调用抑制（Tool Suppression）。控制实验在多模型与部署设置下复现了该现象。分析表明，JSON Schema约束被编译成基于语法的token掩码，导致工具调用token在解码中不可达。研究提出约束优先级反转（CPI）假设，并设计透明两遍执行（Transparent Two-Pass Execution）推理策略，将工具执行与模式约束响应生成解耦，无需重训练即可恢复工具调用并维持结构化输出。结果表明，单独评估工具使用与结构化输出可能掩盖生产Agent系统的可靠性问题。
提出一种两阶段级联方案，用于LLM生产部署的成本-精度平衡。第一阶段将查询聚类并分配给最经济的模型；第二阶段引入质量估计（QE）级联，将低质量输出升级至更强模型。在测试集上，该系统保留了最强模型97-99%的准确性，同时降低了每个输出token的时间（TPOT）。仅需任务正确性标签即可适应模型池变化，无需手动重新配置。
JetSpec 是一种头部驱动推测解码框架，通过在冻结目标模型的融合隐藏状态上训练因果并行草稿头，生成与自回归因子分解对齐的候选树，从而将更大草稿预算转化为更长接受前缀和更高端到端加速。在密集和 MoE Qwen3 模型的数学、编码及聊天基准测试中，JetSpec 一致优于双向头和树形基线。在 H100 GPU 上，MATH-500 达 9.64 倍加速，开放对话达 4.58 倍；经 vLLM 集成在现实服务负载下进一步降低延迟。
DFlash 由 UC San Diego 团队提出，是一种用于投机解码的轻量块扩散草稿模型。它一次前向推理生成整块 token，再由目标模型并行验证，保证输出无损。相比 EAGLE-3，DFlash 实现最高 2.5 倍加速，在 Qwen3-8B 等多种模型上平均无损加速超过 6 倍（MATH-500 达 6.08×）。在 NVIDIA Blackwell 上（TensorRT-LLM），gpt-oss-120b 模型吞吐量提升最高 15 倍，约为 EAGLE-3 的 1.5 倍。核心创新是将目标模型多层隐藏特征注入草稿模型每一层的 Key-Value 投影，使接受长度随草稿深度增长。
在线策略蒸馏异步训练中，轨迹生成与学习器更新解耦引入陈旧策略数据；KL方向决定影响：教师加权正向KL鲁棒，学生加权反向KL脆弱。异步RL稳定方法无效，反向计算当前学生信号更优。有限教师分数缓存导致稀疏采样反向KL估计器的偏差-方差权衡，多采样蒙特卡洛可降低方差。基于此，开源AsyncOPD全异步管道在严格同步训练基础上实现1.6至3.8倍吞吐量提升，精度相当。
现有低比特KV量化器将每个key视为平面向量，而RoPE下key的注意力贡献分解为二维频率块的和。Block-GTQ基于TurboQuant-MSE，为每层和KV头计算每个RoPE块的无标签能量分数，通过边际增益贪心分配整数位宽。在10模型诊断集上，2/3 b/dim单K量化下每层MAE降低32–80%，367/367层全部优于均匀TQ-MSE。在Llama-3.1-8B-Instruct的K2V2设置下，六任务NIAH平均分从70.6提升至97.4，LongBench-EN平均分从36.87升至53.31。在DeepSeek-R1-Distill-Qwen-7B的AIME 2024/2025上，K3V2无fp16近期key缓冲区时得分51.7/37.5，接近fp16的54.2/37.9。基于打包缓存的推理路径在单H800、Qwen2.5-3B-Instruct上，K3V3实现3.24倍压缩，128K下比fp16 FlashAttention2快1.34倍，峰值内存从56.31GB降至19.85GB，并在256K和512K下仍可运行。
RaysUp是一个超轻量、任务无关且与视觉基础模型无关的特征上采样框架，通过将重建提升至几何感知光线域，在任意分辨率下重建高分辨率特征图。核心组件包括空间解耦引导编码器、任意分辨率交叉注意力机制、基于6D Plücker射线坐标的RayPE（射线位置编码）和几何感知邻域注意力模块。在多种密集预测任务中取得SOTA性能，参数量仅为AnyUp的16%，推理速度提升约7倍。代码已开源。
AOHP（Android Open Harness Project）基于Android开源项目（AOSP）构建，将AI智能体视为操作系统的一等角色，提供自适应UI和智能体友好运行时环境，同时保留安卓软硬件生态。系统引入三种智能体导向机制：个性化服务组合、高效智能体接口和安全信息流。在涵盖OS智能体关键能力的挑战任务中，AOHP的任务完成率提升21.12%，token成本降低51.55%，并满足安全策略合规要求。
Jeff Dean@JeffDeanJeff Dean 等 Google 同事发布论文，回顾 TPU v2 到 Ironwood 五代训练超算的演进，将于 2026 年 7/8 月发表于 IEEE Micro。关键变化：TPU v2 采用气冷，v3 起改为水冷；互联从 2D 升级为 3D torus；每 pod 芯片数从 256 增至 9216；每 flop 能效提升约 30 倍。此外，Google 内部工作负载已大幅转向基于 Transformer 的模型。
Ant Ling@AntLingAGI🚀 Our new blog: Optimizing Ling-2.6-1T on TPU with SGLang-JAX: Hiding MoE Data Movement Behind Compute with One Pallas ...
SGLang-JAX现已支持inclusionAI的Ling-2.6-1T（1T稀疏MoE，63B激活参数，256路由专家，top-8路由加共享专家）在TPU v7x上高效推理。团队开发了Fused MoE V2——一个融合scatter、专家FFN和gather的Pallas核，通过将MoE数据移动隐藏在计算中，使MoE预填充延迟从5.16ms降至2.42ms（降幅53%），解码核延迟从0.249ms降至0.211ms（降幅约15%）。仅替换MoE核即提升预填充吞吐量24.8%，解码吞吐量18.5%–35.3%。在SGLang解码基准测试中，16块TPU v7x芯片输出吞吐量达16块H200 GPU的1.29倍（mc=128）至1.77倍（mc=512）。完整上线还包含混合KV/循环内存池、GLA线性注意力和单控制器数据并行支持。
提出一种“times-shaped”瓶颈结构的Variable-Width Transformers，在语言模型深度方向非均匀分配容量。该架构在语言建模损失上优于参数匹配的均匀基线，平均层宽降低使总FLOPs减少22%，KV缓存内存和I/O成本减少15%。残差流中的表示分析显示瓶颈结构导致定性不同的表征。实验表明非均匀宽度分配可实现更资源最优的语言模型扩展。
流式视频生成需在用户会话中逐块渐进生成视频，面临会话持续时间异质性和用户需求时间异质性两大挑战。TurboServe是首个专为此设计的服务系统，将服务形式化为在线调度问题，联合协调会话放置与GPU资源调配。其闭环调度算法包含迁移感知放置控制器（跨GPU重平衡会话以降低每块最大延迟）和负载驱动自动缩放控制器（根据工作负载调整GPU预算）。运行时通过合并块处理、GPU-CPU卸载和NCCL迁移实现决策。在生数科技生产轨迹上，最多64块NVIDIA B300 GPU的评估显示，相比基线，最坏情况每块延迟降低37.5%，总GPU运营成本平均降低37.2%。
FAPO是一个让Claude Code在标准化代码库内自动优化多步LLM管道的框架。它评估管道、检查中间步骤、诊断失败、提出范围性更改并反复验证，优先尝试提示编辑，仅当提示优化不足且归因识别出结构瓶颈时才调整链结构。在6个基准和3个任务模型上，FAPO在18个模型-基准比较中15次击败基线GEPA，平均增益+14.1pp；其中11次比较中均值±标准差范围不重叠。在HoVer和IFBench上，提示优先搜索升级为结构变化的6次比较中FAPO全胜，平均增益+33.8pp。安全任务上，仅提示版FAPO在CTIBench-RCM上将GPT-5测试准确率提升+4.0pp，Foundation-Sec-8B-Instruct提升+7.1pp，Foundation-Sec-8B-Reasoning提升+2.0pp。
Rohan Paul@rohanpaul_aiTokenPilot 提出一种针对 LLM 智能体的缓存高效上下文管理方法，通过摄入感知压缩和生命周期感知驱逐两大机制，在 PinchBench 和 Claw-Eval 基准上实现 61–87% 的成本降低，同时保持有竞争力的分数。传统方法通常直接截断或摘要历史，容易导致文本偏移、破坏 prompt 缓存。TokenPilot 在工具结果进入上下文前进行清理，保持早期提示布局稳定；同时延迟删除旧任务历史，因为已完成的工作仍可能为引用相同文件或目标的后续任务提供帮助。
多轮LLM服务中，对话历史KV缓存随轮次增长，内存成为吞吐瓶颈。非均匀KV压缩可在注意力头间分配不同预算以保留精度，但现有服务栈因头间异构性导致页面碎片和预填充延迟增加。Tangram发现头级保留遵循输入无关的两层结构规律，仅需50样本离线校准，并通过Budget Reservation、Ragged Paging和Ahead-of-Time Load Balancing三个静态方案替代动态处理。基于vLLM实现，Tangram匹配现有非均匀压缩方法的精度，端到端吞吐量相比全KV基线最高提升2.6倍。代码已开源。
TokenPilot是一种双粒度上下文管理框架，旨在解决长对话场景中LLM智能体因上下文累积导致的高推理成本。全局层面，Ingestion-Aware Compaction稳定提示词前缀并消除环境噪声；局部层面，Lifecycle-Aware Eviction监控上下文片段剩余效用，仅在任务相关性过期时卸载。在PinchBench和Claw-Eval上，孤立模式成本降低61%和56%，连续模式降低61%和87%，同时保持竞争力。该框架已集成至LightMem2。
Rohan Paul@rohanpaul_aiMiniMax Sparse Attention（MSA）在1M token时，将注意力计算量削减28.4倍，H800 GPU上预填充提速14.2倍、解码提速7.6倍，同时基准性能基本持平全量版本。MSA不放弃softmax注意力，而是在分组查询注意力旁增设一个小型路由分支，让每个查询组自主选择应查看的key-value块，主分支仅对该子集执行精确注意力。该方法将长上下文视为延迟约束下的检索问题，通过架构内建选择器，用模型自身注意力模式训练路由，使注意力变得有选择性而非穷举。
本文将多智能体LLM系统的共享状态建模为确定性生成语义下的读-生成-写操作，并在TLA+中形式化四种并发异常。通过274个Verus义务（零assume，零admit）证明检测器对规范的正确性和完备性，实现三个Rust运行时（L0-L1悲观锁、可序列化快照隔离、默认SI）。L2-L4通过执行模式验证实现无依赖预防。再现了字节跳动deer-flow中的静默丢失更新和LangGraph的ToolNode中的tool-effect reordering，并给出形式化修复。
Google Research 提出通过复用淘汰的旧手机来搭建低碳计算平台，相关研究细节已在 research.google 发布。该项目旨在降低计算过程的碳排放，属于可持续硬件利用方向的探索。
交互式LLM智能体的用户偏好修正常被遗忘，Mem0记忆仍有57.5%相关偏好检查被违反。研究提出TRACE，一种即插即用的技能层管道，从用户聊天修正中挖掘原子规则并编译为运行时检查。在ClawArena上，分布内违规从100.0%降至37.6%，分布外从100.0%降至2.0%；在MemoryArena上，分布内从100.0%降至60.5%，任务通过率匹配或超越最强记忆基线。实验代码已开源。
Squeeze-Release 提出精确结构改写（minimization），将带掩码网络转换为更小密集网络，前向函数仅浮点舍入误差一致。循环迭代剪枝和最小化，中间释放步骤将压缩张量中原置零位置重置为小校准噪声，使容量重新可训练，后续循环发现单次剪枝无法触及的结构冗余。引入函数保持的 CompensatedLayerNorm，将通道缩减扩展到带 LayerNorm 的残差流。在 fully-connected 网络压缩至 1/39，ConvNeXt-Tiny 达 1/14.8，准确率相当，并可扩展至 Transformer 架构。
Epoch AI@EpochAIResearch可复用的自然语言技能被频繁调用时，将完整文本放入每个上下文会显著增加预填充成本和延迟。SKIM（SKIll coMpression）是一种自适应多分辨率软token压缩框架，专为程序性技能设计。它根据每项技能的复杂度生成不同数量的软token，在提升LLM推理效率的同时保留技能使用效果。实验表明，SKIM将技能压缩至原始token长度的30%到60%，且在任务性能上优于现有压缩方法。代码已开源。
分离式推理架构将 prefill 和 decode 阶段分配到不同 GPU 池，形成共享硬件预算的竞争“智能体”。研究首次用博弈论建模该架构，以 NVIDIA Dynamo 为案例，拆解为三个耦合博弈。在 3 节点 B200 集群上用 Nemotron-4-340B 和 Llama-3.1-70B 验证，两模型呈现相同三阶段 PoA-hat 结构。自适应路由可在饱和阶段大幅降低 PoA-hat：70B 1P/5D 拓扑下 PoA-hat 从 66.4 降至 21.5（3.1 倍），吞吐量损失 13%；70B 1P/2D 下 PoA-hat 降 2.2 倍，TTFT P99 降 7.6 倍。
BrainSurgery是一种针对神经网络checkpoint的“张量手术”工具，通过声明式YAML计划执行复杂的权重变换。它支持结构修改、数学变换、张量重塑，利用正则表达式和结构定位进行精准操作，并内置断言验证张量形状、数据类型和值，防止静默错误。工具覆盖从模型升级（upcycling）到LoRA提取等四个示例和三个案例研究，旨在提供可重复、可验证的模型编辑基础。
研究团队开发了一款兼容开源核心网 Free5GC 的 NWDAF 实现，集成了大语言模型接口，支持操作员通过自然语言与网络交互。系统利用语义嵌入模型将用户意图编码并映射到 7 个预设意图类别，触发分析查询或事件订阅命令，简化传统接口的复杂性。该 NWDAF 支持 AMF 和 SMF 事件订阅、通过 Prometheus 进行实时监控与分析检索，所有功能均可通过对话式界面访问。项目代码与数据集已在 GitHub 开源。
推测解码（SD）通过轻量草稿模型并行生成候选项、由大型验证器校验来降低LLM推理成本。现有方法采用二元决策：接受或完全重算。VIA-SD提出多层级框架，利用模型内路由从完整验证器中提取轻量子模型（slim-verifier），对中等置信度的草稿token进行再生，仅在不确定时调用完整模型。在四个代表性任务和多种模型族上，VIA-SD将拒绝率降低0.10–0.22，相比强SD基线实现10–20%加速，相比非推测解码实现2.5–3倍加速。该方法兼容现有SD框架，无需修改训练过程。
将Kolmogorov-Arnold Networks（KAN）部署于FPGA，实现超高速机器学习推理。