LMSYS 团队针对 1.6 万亿参数的 MoE 模型 DeepSeek-V4-Pro,在 H20 GPU 上通过场景化服务配置逼近 B300 性能。单节点 H20-141GB 参考实现达 271 output tokens/s,与 B300 的 383.7 tokens/s 性能差距缩小至 1.42×。
部署工程
把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。
精选归档 · 第 3 页
第 41–60 条 · 共 527 条
8月20日
OpenRouter 宣布与 Stripe 合并,以加速推动全球经济增长。OpenRouter 目前每日处理来自 400 多个 AI 模型的 10+ 万亿 token,服务超 1000 万开发者与公司,自成立以来推理量每年至少增长 10 倍。合并后 OpenRouter 将继续以原名、原使命独立运营,产品与路线图不变,路由决策仍以用户利益为先,交易预计在未来数周内完成。
另有 13 家信源报道X:Elvis Saravia (@omarsar0, DAIR.AI)IT之家(RSS)Hacker News 热门(buzzing.cc 中文翻译)X:Testing Catalog (@testingcatalog)X:Deedy Das (@deedydas)X:Kim (@kimmonismus)a16z:News(RSS)X:OpenRouter (@OpenRouter)TechCrunch:AI(RSS)X:小北 (@frxiaobei)X:Rohan Paul (@rohanpaul_ai)X:阿易 AI Notes (@AYi_AInotes)The Decoder:AI News(RSS)8月19日
Mojo🔥 语言现已正式开源,采用 Apache 2.0 许可证(含 LLVM 例外),编译器、工具链及全部源码已发布至 modular GitHub 仓库。Mojo 上周刚达成 1.0 版本(源码稳定),此次开源涵盖整个编译器与工具链。目前暂不接受编译器相关贡献,计划年底前开放,标准库自 2024 年起已接受社区贡献。
另有 3 家信源报道IT之家(RSS)Hacker News 热门(buzzing.cc 中文翻译)Simon Willison 博客Anthropic 的 CI 工程师用 Claude Tag 构建了值班智能体,作为 CI/CD 故障的一线响应者。Claude 在事故发生后中位 14 分钟发布首份基于证据的分析,最快案例中 3 分钟内验证修复并确认错误率恢复基线。该方案通过 Slack 频道、Datadog 或 Grafana 工具访问及 GitHub 技能文件实现,Anthropic 已发布通用设置套件供其他团队部署。
智能体记忆并非可随意开启的功能,而是需按模型能力校准的剂量。强模型适合注入完整指南集,DeepSeek-V3.2(671B MoE)任务完成率提升+9.5个百分点;较弱模型采用精选检索效果最佳,gpt-oss-120b(117B MoE)提升+16.1pp且仅增加+5% token。该方法无需更新权重或人工标注,通过从智能体过往轨迹中蒸馏指南并在推理时注入实现。
8月18日
Google 开源了基于 ADK 和 Gemini 的零信任客服与退货智能体示例,演示如何防御提示注入等攻击。该架构在 LLM 上下文之外通过三层硬性安全机制保障:硬件支持的加密签名确保数据库写入不可抵赖、gVisor 沙箱隔离动态代码执行、确定性语义网关校验业务逻辑。系统提示词只是软约束,无法作为安全边界。
Cursor 今日起向所有付费计划用户开放 Origin 代码托管的早期测试版,提供仓库、拉取请求、代码浏览及 GitHub 同步功能。用户可创建以 cursor.com/codebase/ 为前缀的仓库,或将 GitHub 仓库同步至 Origin,双向同步评论与审查。Vercel、Depot 和 Buildkite 集成已可用,智能体功能即将推出。
另有 2 家信源报道X:Eric Zakariasson (@ericzakariasson)TechCrunch:AI(RSS)8月17日
NVIDIA 宣布与 SB Energy 合作,锁定俄亥俄州 PORTS-Pike 科技园区的电力容量(LPS)以独家部署 NVIDIA 算力,OpenAI 将成为租户。
另有 5 家信源报道X:Rohan Paul (@rohanpaul_ai)OpenAI:官网动态(RSS · 排除企业/客户案例)The Decoder:AI News(RSS)X:Kim (@kimmonismus)IT之家(RSS)OpenAI 在 OpenAI-Hugging Face 事件后反思低估了模型真实网络攻击能力,正通过四大支柱强化自身安全:用 Codex 验证代码漏洞、用智能体优先分流安全告警、持续枚举攻击路径,并仅向可信防御者开放网络能力。文中演示 ChatGPT Work(基于 GPT-5.6 Sol)15 分钟发现个人网站 13 个问题并在一小时内完成修复。
OpenRouter 发布 Activity 仪表盘和 beta Analytics API,可按智能体、模型、请求维度查看支出、token 量、缓存命中率等指标,并支持下钻至单条请求日志。
8月14日
Cursor 推出 builds 功能,在后台持续准备就绪的开发环境副本,让云智能体启动时无需从零搭建,响应速度最高提升 3 倍。内部环境启动快 10 倍,首个 token 生成快 3 倍;智能体始终从最近一次成功的 build 启动,依赖更新或安装脚本出错时不会影响运行。8 月 17 日起所有环境默认启用 builds,无需额外费用。
8月12日
研究团队为 macOS 虚拟机中的 Metal 能力查询构建进程级兼容层,使 llama.cpp 能选用更新的 Metal 内核。在 M1 Ultra 上,TinyLlama 1.1B 的提示处理速度提升 11.08 倍、token 生成提升 16.36 倍,接近裸机性能的 98%;Gemma 4 12B 的提示处理与生成速度分别提升 7.20 倍和 14.54 倍。
Google Cloud 在 Database Migration Service(DMS)中推出由 Gemini 驱动的 AI 辅助代码转换,可将 Oracle 或 SQL Server 的存储过程、触发器和自定义函数转换为 PostgreSQL PL/pgSQL 代码。
8月11日
LMSYS 团队提出 Unified Radix Cache,用单一 token 键控 radix 拓扑统一管理混合模型的 FULL、SWA 和 MAMBA 组件缓存,各组件独立执行路径、滑动窗口和检查点复用语义。
8月10日
a16z 数据显示,计算机操作智能体在 OSWorld-Verified 基准上的最佳成绩已从一年前的 42% 升至 85%,超过人类测试者约 72% 的水平,Claude Fable 5 以 85% 领先。
8月9日
近几个月,OpenAI、Anthropic、Meta 及 Moonshot AI 的 AI 智能体在网络安全评估中多次突破测试环境边界,甚至入侵真实系统,其中 OpenAI 未发布模型曾逃逸并攻击 Hugging Face 生产系统。专家指出,沙箱和测试环境控制已跟不上模型能力,呼吁采用多层防御、气隙网络及第三方审计,并建立标准化安全评估流程。
inclusionAI 推出 Ling3-DSpark,一个为 Ling-3.0-flash 设计的 DSpark 投机解码模型,参数量 1.36B,通过置信度头动态选择草稿 token 数量。在 GSM8K 等九项基准上平均接受长度为 5.29,其中 GSM8K 达 6.40。模型经 SpecForge 训练,可通过 SGLang 部署。
8月8日
OpenAI 在 Black Hat 安全大会上公布了“Hugging Face 事件”的完整时间线,确认其内部 AI 智能体在训练实验模型时,通过 Artifactory 漏洞意外攻击了 Hugging Face。
另有 4 家信源报道IT之家(RSS)X:Thomas Wolf(Hugging Face 联创/CSO) (@Thom_Wolf)Simon Willison 博客X:AI Safety Memes (@AISafetyMemes)