Topic · 主题全部主题 →

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

4,732条收录
527条精选

精选归档 · 第 18 页

341360 条 · 共 527

5月21日

星期四 · 6 条
10:30
公众号:智谱(GLM)精选
AI 评分 76/100
智谱联合驭驯网络与清华提出ZCube组网架构,破解大模型推理网络瓶颈

智谱、驭驯网络与清华大学联合提出并落地ZCube组网架构,以扁平化拓扑替代传统Clos/ROFT架构,从结构层面消除PD分离推理中的可避免拥塞。在GLM-5.1 coding生产环境千卡集群实测中,ZCube相比ROFT将GPU平均推理吞吐提升15%以上,TTFT P99降低40.6%,同时减少约三分之一的交换机与光模块成本。


推荐理由:架构创新不只是省钱,ZCube 在 GLM-5.1 集群里用三分之一交换机成本换来 15% 吞吐提升和 40% 尾时延改善,为 PD 分离推理提供了一条可复用的组网路径。
06:44
智谱:研究(网页内嵌数据)精选
AI 评分 69/100
ZCube:超大规模大模型推理的网络优化

针对超大规模大模型推理,ZCube网络架构通过取消Spine层、将Leaf交换机分组并全互联等创新设计,有效解决了推理网络的拥塞问题。该架构在集群实测中,实现了交换机与光模块资本支出减少33%、GPU平均推理吞吐提升15%,同时将首token延迟的P99值大幅降低40.6%,在降低成本的同时显著提升了推理性能。

另有 1 家信源报道X:智谱 Z.ai (@Zai_org)
推荐理由:千卡以上推理集群的团队该看一眼,智谱这个网络设计砍掉三分之一交换机成本,吞吐还涨15%,尾时延降四成,有实测数据不是白皮书。
00:48
Claude:Blog(网页)精选
AI 评分 59/100
Anthropic销售负责人如何利用Claude Cowork管理4000个客户账户

Anthropic美国中端市场业务负责人Travis Bryant利用Claude Cowork自动化销售管理工作。该工具帮助他高效完成客户倾向性评分、每日客户简报准备及每周销售预测报告生成,每晚自动处理4000个账户数据,替代了以往跨部门团队需数百小时完成的工作。通过自动化日常任务调度,他每天节省约90分钟,并将数据整合为可交互的销售仪表板,使其能更专注于客户沟通与战略决策。


推荐理由:Travis 把 4000 个账户的评分一夜跑通,比自动报表更值得关注,中小销售团队照抄就能省掉跨部门数百小时,这是 Claude Cowork 在企业场景最落地的实践之一。

5月20日

星期三 · 3 条
06:10
Claude Code:GitHub Releases(RSS)精选
AI 评分 64/100
Claude Code v2.1.145版本更新

本次更新为Claude Code工具带来了多项功能增强与问题修复。新功能包括:新增JSON格式的会话列表命令以便脚本化操作,并在OTEL追踪中完善了Agent父子关系。插件浏览界面现可预览详细信息。在稳定性方面,修复了权限提示被绕过的安全问题、MCP参数校验错误、终端窗口调整后的显示冻结,以及非ASCII名称导致的API调用失败等问题。同时改进了Read工具的文件超限处理,并优化了任务列表排序和状态栏信息显示等交互细节,整体提升了工具的易用性与可靠性。


推荐理由:Claude Code 这次版本把可编程性和可观测性提升了一大截,尤其 `claude agents --json` 和 OTEL 改进,做自动化脚本和监控的可以直接更新了。
00:39
Hacker News:AI 热帖精选
AI 评分 70/100
InsForge:面向编程智能体的一体化开源后端平台

InsForge是一个专为AI编码智能体设计的一站式开源后端平台。它通过MCP Server和CLI+Skills两种接口,让智能体能像后端工程师一样直接操作数据库、认证、存储、边缘函数、模型网关等全套后端服务,从而端到端地构建全栈应用。平台支持云托管与基于Docker的自托管,可一键部署至Railway、Zeabur等主流平台。


推荐理由:这个项目把后端全家桶变成 MCP 工具,AI 代理可以直接管理数据库和部署,对于正在折腾 agent 的团队,比东拼西凑要快得多。

5月19日

星期二 · 6 条
20:57
Anthropic:Newsroom(网页)精选
AI 评分 62/100
毕马威与Anthropic建立全球联盟,全面整合Claude AI模型

毕马威宣布与Anthropic建立全球联盟,将Claude人工智能模型全面整合至其核心业务与数字平台。此举将向毕马威全球超过27.6万名员工开放Claude访问权限,并率先应用于税务与法律等领域的客户工具开发。双方还将合作开发面向私募股权投资组合公司及网络安全漏洞检测的新产品。毕马威强调此次合作基于其可信AI框架,旨在通过负责任、可治理的AI部署,加速企业数字化转型。


推荐理由:KPMG 不是在做实验,而是直接把 Claude 嵌进 Digital Gateway 并推向 27.6 万员工,这是四大里 AI 落地最扎实的案例,企业服务领域的 AI 渗透正在从口号变成真动作。
17:09
Claude:Blog(网页)精选
AI 评分 77/100
Claude智能体托管平台新增自托管沙箱与MCP隧道功能

Anthropic为其Claude智能体托管平台推出两项更新:自托管沙箱允许用户在自有基础设施或合作云平台上运行工具,确保敏感数据与服务保留在用户控制范围内;MCP隧道则通过轻量网关,使智能体能安全连接企业私有网络内的数据库与API,无需暴露于公网。目前沙箱功能已进入公测,隧道处于研究预览阶段。这两项更新进一步增强了企业用户对智能体执行环境与内部资源访问的安全管控能力。


推荐理由:自托管沙箱把agent执行挪到企业自己的基础设施里,敏感数据不再离开边界,这是让金融医疗等合规行业敢用AI agent的关键能力。MCP隧道补上了内网服务连接,组件已经完整。
11:51
HuggingFace Daily Papers(社区热门论文)精选
AI 评分 71/100
训练后 MoE 可通过自蒸馏跳过一半专家

本文提出零专家自蒸馏适应框架,将训练完成的静态混合专家模型转换为高效动态模型。该方法通过在每个混合专家层注入零输出专家,并利用原始模型作为冻结教师进行两阶段自蒸馏适应,以实现稳定的架构转换。在两个大型开源模型及11个基准测试上的实验表明,该方法能消除超过50%的专家计算量,同时仅带来极小的准确率损失,并显著提升端到端推理速度。


推荐理由:把训练好的MoE直接改成动态的,推理时跳过一半专家,速度提升20%而精度几乎没掉,做模型部署的值得认真看一下这个一行代码不改的蒸馏方案。
10:45
IT之家(RSS)精选
AI 评分 73/100
谷歌联手黑石组建 AI 云公司:50 亿美元起步,2027 年冲刺 500 兆瓦

谷歌与黑石集团宣布合作成立一家新的AI云服务公司,黑石率先投入50亿美元股权资本,结合后续杠杆,总投资规模预计约250亿美元。该公司计划依托谷歌自研的TPU芯片和云基础设施,与CoreWeave等算力服务商展开竞争,并争取在2027年上线容量达500兆瓦的数据中心,相当于一座中等城市的用电规模。此举标志着谷歌迄今最大规模的对外芯片商业化尝试,将加剧与英伟达等公司在AI算力市场的角逐。


推荐理由:谷歌第一次把TPU武装到对外市场,拉黑石砸250亿美元建云公司,要正面抢英伟达的算力饭碗,做AI基础设施生意的人必须盯着这件事。
03:14
Runway:News(网页)精选
AI 评分 57/100
分布式训练为何艰难:DTensor、正确性与抽象的代价

本文探讨了分布式训练中的正确性难题及DTensor方案的权衡。DTensor通过为张量附加放置元数据(如Shard、Replicate)来自动管理通信,确保计算正确性。文章通过一个并行化案例,展示了不使用DTensor时手动处理梯度计算可能引发的静默错误(如梯度为零或倍增),从而凸显了正确性的复杂性。然而,DTensor的抽象层在简化开发的同时,也可能在大规模场景下引入隐性的性能开销。因此,在设计分布式系统时,需要在抽象的开发便利与底层的计算效率之间做出审慎权衡。


推荐理由:Runway 工程师用四次失败的并行化尝试把分布式训练的正确性难题拆解得明明白白,还给出了 DTensor 在规模下吃掉的 MFU 和编译陷阱的一手数据,做大模型训练的人值得从头读到尾。

5月17日

星期日 · 1 条
08:00
HuggingFace Daily Papers(社区热门论文)精选
AI 评分 73/100
从可运行到可交付:基于多智能体测试驱动的开发范式用于从需求生成全栈Web应用

针对编码智能体生成的Web应用超70%不满足需求的问题,本文提出TDDev框架。该框架通过三阶段实现自动化闭环:先将需求转化为结构化测试,再通过浏览器模拟交互验证应用,最后将故障转化为修复报告。首次针对Web应用生成的TDD实证研究发现,引入TDD基础设施可提升质量34-48个百分点。关键结论是最佳协议需与模型生成风格匹配,不匹配将完全抵消TDD优势并最多增加25倍Token消耗。用户研究证实,该框架使人工干预降为零,开发转向自主反馈优化。


推荐理由:把TDD塞进多智能体代码生成,直接把Web应用的正确率从不到30%拉到70%以上,更重要的是他们发现给不同模型配错了开发协议反而会雪崩,做Agent工程的必读。

5月16日

星期六 · 3 条
22:43
IT之家(RSS)精选
AI 评分 70/100
杭州基地启用,机器人有了国家级职业技能训练场

国家人工智能应用中试基地(具身智能)5月16日在浙江杭州挂牌启用,为机器人提供国家级职业技能训练场。该基地是集场景体验、技术展示、研发合作、产业赋能于一体的综合性平台,旨在推动具身智能技术从实验室迈向现实应用。杭州市于5月1日施行首部具身智能机器人地方性法规,支持核心研发、平台建设和场景开放。目前杭州已集聚机器人产业相关企业700余家,2025年具身智能产业集群产值达1068亿元。


推荐理由:杭州这个国家级具身智能训练场不是「又一个基地」,它是把散点技术拢成产业链标准化的关键一步,做机器人的可以盯着政策红利和开放场景了。
22:01
Hacker News 热门(buzzing.cc 中文翻译)精选
AI 评分 70/100
Δ-Mem:适用于大型语言模型的高效在线内存

研究人员提出了Δ-Mem,一种专为大型语言模型设计的高效在线内存系统。该系统通过仅存储和更新模型激活的增量变化,而非完整的激活状态,显著降低了内存占用。实验表明,Δ-Mem能将内存使用量减少高达70%,同时保持模型输出的质量基本无损。这一方法有助于在资源受限的环境中部署和运行大规模语言模型,提升其在线推理和持续学习场景下的可行性。


推荐理由:Δ-Mem 把 LLM 的在线记忆开销压得够低,如果实验结果稳得住,长上下文推理的成本结构又要改写了。
01:01
Claude:Blog(网页)精选
AI 评分 67/100
在法律行业全面部署Claude:产品指南与实施路线图

2026年报告显示,法律团队生成式AI使用率已从44%跃升至87%。为应对日益复杂的工作,法律行业正将Claude应用于合同审阅、并购尽调及诉讼准备等核心流程,并通过多款产品组合提升效率:Chat用于即时研究,Claude Cowork处理跨文件协作,Microsoft 365插件集成办公套件,Platform支持定制应用开发。Anthropic同步发布法律行业部署指南,涵盖产品矩阵、12个预设业务领域插件及三阶段实施路线图,并解答数据托管与权限保护等关键问题。


推荐理由:Anthropic法律团队亲自下场写路线图,从合同红笔到隐私评估,把Claude全家桶怎么用、什么时候用讲透了,律所和法务部可以直接照着推。