Mistral AI 推出 Mistral Batch API，为开发者提供一种处理大量请求的高效方式，其成本比同步 API 调用降低 50%。用户只需上传批处理文件，待处理完成后下载输出文件即可。该 API 适用于客户反馈分析、文档批量总结与翻译、向量嵌入生成等场景，现已在 La Plateforme 上对所有模型开放，每个工作区并发请求限制为 100 万。

Runway 正式发布 Gen-3 Alpha Turbo API，开发者可将其视频生成能力集成至各类应用。目前采取分阶段开放策略，已向 Omnicom 等战略合作伙伴提供访问权限，现阶段主要面向大型团队和组织，未来几周将逐步扩大开放范围。

SGLang v0.3 正式发布，实现显著性能提升与新架构支持。针对 DeepSeek MLA 机制深度优化，采用权重吸收、FP8 量化等技术，在 H100 GPU 上吞吐量最高提升 7 倍。集成 torch.compile 使批量 1-32 场景延迟降低 1.5 倍。新增 LLaVA-OneVision 支持，可处理交错文本、多图像及视频输入，速度提升 4.5 倍。同时全面支持 Gemma-2 的 8K 上下文与交错窗口注意力，突破 4K 限制。

Mistral AI 于 2024 年 8 月 7 日在 La Plateforme 平台发布更新，允许开发者对旗舰模型 Mistral Large 2 与专业模型 Codestral 进行定制，方式包括基础提示、少样本提示或微调，并支持自带数据集。同时，平台推出了能封装模型的早期版本智能体功能，可通过 Le Chat 或 API 使用。此外，发布了稳定的 mistralai 1.0 SDK，支持 Python 和 Typescript。

DeepSeek API 新增续写、FIM、Function Calling 和 JSON Output 功能，所有新功能均可通过 deepseek-chat 和 deepseek-coder 模型调用。

LMSYS.org 推出 SGLang Runtime v0.2，一个纯 Python 开发的开源 LLM 推理引擎。在覆盖 Llama-8B 至 405B 的基准测试中，该系统在 A100 和 H100 GPU 上展现出优于 vLLM 最高 3.1 倍的离线吞吐量（Llama-70B 场景），并与 TensorRT-LLM 性能相当。SGLang 支持 FP8/FP16 精度，核心调度器仅约 4000 行代码，已在 Chatbot Arena 等平台累计生成数万亿 token。

RouteLLM 是一个基于偏好数据训练的开源 LLM 路由框架，通过智能分配查询至强模型（如 GPT-4）或弱模型（如 Mixtral 8x7B）来平衡成本与性能。该框架提供四种路由器，其中矩阵分解模型在 MT Bench 上表现最优，仅需调用 14% 的 GPT-4 即可达到其 95% 的性能，整体成本降低 75%。在 MMLU 和 GSM8K 基准测试中，RouteLLM 分别实现 45% 和 35% 的成本削减，同时保持 95% 的 GPT-4 水平。项目已开源全部代码与数据集。

SGLang团队提出Jump-Forward Decoding算法，通过压缩有限状态机中的单一路径，将多token预填充合并为单步执行，突破传统方法逐token解码的限制。该技术兼容任意正则表达式与JSON/YAML schema，相比guidance+llama.cpp和outlines+vLLM等现有方案，延迟降低2倍，吞吐量提升2.5倍，使约束解码速度超越普通解码。

研究团队发布 SGLang 结构化生成语言及后端技术 RadixAttention，通过基数树数据结构自动管理并重用 KV 缓存，显著减少多轮生成调用中的冗余计算。在 NVIDIA A10G GPU 上运行 Llama-7B 和 Mixtral-8x7B 模型的测试显示，该系统吞吐量较 Guidance 和 vLLM 等现有系统提升最高达 5 倍。前端提供嵌入 Python 的领域特定语言，支持解释器与编译器双模式执行，有效提升复杂 LLM 程序的编程与执行效率。

研究团队发布 lookahead decoding 并行解码算法，基于 Jacobi 迭代同时提取验证 n-grams，无需草稿模型即可打破自回归解码的顺序依赖。该方法可将 LLaMA-2-Chat 7B 等模型的推理延迟降低 1.5 至 2.3 倍，解码步骤数随每步 log(FLOPs) 线性减少，且已与 HuggingFace Transformers 兼容，仅需数行代码即可集成。

S-LoRA 是一个专为大规模并发 LoRA 适配器服务设计的系统，通过统一分页技术动态管理 KV 缓存与适配器权重内存以减少碎片，并采用异构批处理优化不同秩的 LoRA 计算。该系统支持张量并行扩展至多 GPU，相比 HuggingFace PEFT 和 vLLM，吞吐量提升最高达 4 倍，可同时服务的适配器数量增加数个数量级。

Hugging Face 联合 EleutherAI 与 Stability AI 委托 Trail of Bits 对 Safetensors 库完成独立安全审计，结果证实该库安全可靠，具备成为默认格式的条件。三方组织宣布将推动 Safetensors 作为模型保存的默认格式。完整审计报告已公开发布，相关博客文章将进一步阐述该库的技术背景与后续实施计划。

系统阐述 Transformer 架构在计算负载与内存占用方面的基础数学原理，涵盖前向传播与反向传播过程中的浮点运算量（FLOPs）估算、模型参数量与显存需求的计算公式，以及注意力机制的复杂度分析。通过量化方法解析大语言模型训练与推理阶段的资源消耗规律，为模型设计与硬件选型提供理论依据。

Runway 宣布与 AWS 达成多年战略合作，AWS 成为其首选云提供商以扩展高性能计算集群。Runway 已将全部模型开发与训练迁至内部，加速新模型训练与产品部署。双方此前在 AWS 上合作完成了多模态视频生成模型 Gen-2 的训练，该模型支持通过文本、图像或视频片段生成新视频，代表了视频生成 AI 的重大进步。

当前，大型Transformer模型已成为AI领域的主流架构，在多项任务中表现出色。然而，其极高的训练与推理成本，尤其是对计算时间与内存的大量消耗，严重阻碍了在大规模实际场景中的部署。除了模型参数规模的增长，Pope等（2022）的研究指出，还存在其他关键因素加剧了推理挑战。为此，研究者们不断探索各种优化技术以突破这一瓶颈，相关的知识蒸馏等模型压缩方法也日益受到关注。

训练大型神经网络面临GPU内存需求巨大和训练时间漫长的双重挑战。文章系统梳理了多种主流的并行训练范式，以及模型架构与内存优化设计方案，为跨多GPU训练超大规模神经网络提供了可行路径。文中进一步补充了专家选择路由等新技术，并提及本文的精简升级版已作为《训练大型神经网络的技术》发布于OpenAI官方博客。