Topic · 主题全部主题 →

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

4,732条收录
527条精选

精选归档 · 第 17 页

321340 条 · 共 527

5月28日

星期四 · 7 条
22:00
OpenRouter:Announcements(RSS)精选
AI 评分 63/100
OpenRouter 完成 1.13 亿美元 B 轮融资

OpenRouter 宣布获得 1.13 亿美元 B 轮融资,由 CapitalG 领投,NVentures、ServiceNow Ventures 等多家机构参投,现有投资者 Andreessen Horowitz 和 Menlo Ventures 继续跟投。


推荐理由:OpenRouter融了1.13亿美元,领投方CapitalG,跟投名单里几乎全是云计算巨头,这不是一家公司的钱,是基础设施层的一次战略布局,开发者选模型的路由成本可能因此改写。
16:10
MarkTechPost(RSS)精选
AI 评分 70/100
pgvector驱动的语义、混合、稀疏与量化向量搜索系统构建编码指南

本教程在Google Colab中构建一个完整的pgvector实验环境,展示PostgreSQL如何作为向量数据库服务于现代AI应用。内容涵盖安装PostgreSQL、编译pgvector扩展、通过Psycopg建立连接,并注册向量类型以实现与Python的平滑集成。最后使用SentenceTransformers创建并存储嵌入向量。


推荐理由:这份教程把 pgvector 的稀疏向量、量化搜索等高级功能打包成 Colab 代码,用 PostgreSQL 做向量数据库的团队可以直接复制粘贴跑起来。
12:41
OpenRouter:Announcements(RSS)精选
AI 评分 72/100
OpenRouter 获得1.13亿美元B轮融资

AI模型聚合平台OpenRouter宣布完成1.13亿美元B轮融资。本轮融资由CapitalG领投,NVentures、ServiceNow Ventures等多家机构参投,现有投资者Andreessen Horowitz与Menlo Ventures也参与了本轮融资。


推荐理由:OpenRouter 融了 1.13 亿美元,说明模型路由从「小工具」变成正经防线了,开发者选模型不再单一绑定,这个方向钱和战略意义都上来了。
11:35
公众号:面壁智能(MiniCPM)精选
AI 评分 61/100
PilotDeck 开源:以 WorkSpace 为核心的智能体操作系统

清华大学 THUNLP 实验室、面壁智能、OpenBMB 与 AI9stars 联合研发并开源的智能体操作系统 PilotDeck,以 WorkSpace(工作舱)替代传统对话框,每个工作舱拥有独立文件系统、记忆和技能,实现项目隔离。三大核心能力:记忆白盒化,全链路可见可控,支持一键修改和回滚;智能路由,自动识别任务难度动态分配模型,开启后成本节省近 70%,复杂任务仅用 1/6 成本即可反超顶级模型方案;Always-on 常驻任务,AI 主动发现并持续推进工作。支持端云协同,可调用端侧模型作为子 Agent,自动部署 VoxCPM 等模型完成多语言播客等任务。


推荐理由:PilotDeck把Agent从对话框解放进「工作舱」,记忆可见、成本锐减、能无人值守运行。已开源,值得所有被多任务折磨的开发者试试。
09:36
Claude Code:GitHub Releases(RSS)精选
AI 评分 67/100
Claude Code v2.1.153 版本更新

Claude Code 发布 v2.1.153 版本。主要新增 skipLfs 选项以跳过 Git LFS 下载;优化了 claude agents 的自动补全建议和 PR 列显示格式。本次更新修复了大量问题,包括:MCP 服务器的连接与重连、子代理的配置策略与严格模式行为、后台会话的管理与权限提示(如恢复、输入响应、临时文件处理),以及跨 macOS/Windows/VSCode 平台的稳定性。此外,还修复了 Windows 更新回滚、内存占用、会话恢复等多个具体问题。/model 命令现在会将选择设为新会话的默认模型。

另有 2 家信源报道Claude Code:GitHub Releases(RSS)X:Claude Devs (@ClaudeDevs)
推荐理由:Claude Code 的一次日常小修小补,但修复了 OAuth 凭证泄露和内存泄漏这种真影响使用的 bug,且 /model 现在可以记住默认模型了,升级一下不亏。

5月27日

星期三 · 5 条
22:20
Hugging Face:Blog(RSS)精选
AI 评分 61/100
TRL 新增 Delta Weight Sync:通过 Hub Bucket 传输权重变化,每步从 1.2 GB 降至 20-35 MB

异步强化学习中,训练器每步需将完整模型权重(如1T参数checkpoint约1 TB)传输给推理引擎。TRL新增PR利用相邻RL优化步骤间约99%的bf16权重比特相同的特点,仅将变化的权重编码为稀疏safetensors文件,上传至Hugging Face Bucket并通知vLLM获取。在Qwen3-0.6B上,每步传输从1.2 GB降至20–35 MB。实验还展示了完全分离的训练场景:训练器、vLLM和Wordle环境分别位于不同机器和Hugging Face Space中,权重通过单个Hub bucket流动,无需共享集群、RDMA或VPN。


推荐理由:异步RL训练中权重同步的瓶颈被HuggingFace用稀疏增量方案解决了,带宽直接省了两个数量级,还给了可运行的TRL分支,做RL训练的可以直接上手试。
11:35
公众号:面壁智能(MiniCPM)精选
AI 评分 64/100
AI 制造 AI:面壁智能发布并开源全球首个完全由 AI 编写的生产级训练框架 ForgeTrain

面壁智能联合清华大学、OpenBMB发布ForgeTrain,全球首个完全由AI编写、零人类代码介入的生产级大模型训练框架。在英伟达H100上训练速度超越Megatron 10%,节省10%算力;在华为昇腾上完整跑通预训练,并训出MiniCPM5-1B模型,综合性能在AA榜单2B规模以下Top1。框架及Agent Harness工具链一并开源。

另有 1 家信源报道IT之家(RSS)
推荐理由:面壁这波把 AI 写代码从玩具推进到了生产车间,ForgeTrain 跑得比英伟达 Megatron 还快 10%,而且直接在昇腾上训出了 MiniCPM5-1B,国产算力跟 AI 自举这两条线在这一刻交汇了,做训练的可以认真看看。
09:13
02:11
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)精选
AI 评分 70/100
我们如何对不同产品中的Claude进行隔离控制

Anthropic通过三重机制控制Claude智能体的部署风险,包括用户误用、模型异常行为和外部攻击。其防护策略聚焦于三个层面:通过沙箱、虚拟机和网络出口控制限制智能体运行环境;利用系统提示词和模型训练引导其行为;以及对MCP服务器、第三方插件等外部内容实施细粒度权限管理。文章以Claude Code、claude.ai和Claude Cowork为例,阐述了不同产品如何设计对应的隔离架构。


推荐理由:Anthropic 这次没画饼,实打实把 Claude 三款产品两年来的安全坑和架构演变全摊开讲了,从沙箱逃逸到钓鱼攻击,做 agent 的人读一遍能少踩很多坑。

5月25日

星期一 · 1 条
12:28
Hacker News 热门(buzzing.cc 中文翻译)精选
AI 评分 70/100
感知图像编解码器:实用学习型图像压缩中的关键因素

苹果公司的研究探讨了感知图像编解码器,分析其在实用学习型图像压缩中的关键作用。该研究聚焦于提升压缩效率与视觉质量平衡的实际需求。


推荐理由:苹果官方把学习型图像压缩落地时真正重要的几个因素讲透了,附带代码,做视频编码和图像传输的同行值得看。

5月23日

星期六 · 2 条
13:27
Hacker News 热门(buzzing.cc 中文翻译)精选
AI 评分 79/100
微软称,使用人工智能的成本高于支付人工工资

微软发布报告指出,在特定工作场景中,部署和使用人工智能(AI)的成本目前已高于支付相应的人工工资。报告分析了基于“tokens”(令牌)和“agents”(智能体)的AI使用模式,发现其综合开销超过了雇佣人类员工完成同类任务的费用。这一发现揭示了当前企业应用AI技术面临的现实经济挑战。


推荐理由:微软自己出来说AI比人贵,是在给市场打预防针,对烧钱上Agent的公司是冷水,但人力成本极低的国内账本得另算。
01:44
swyx@swyx精选
AI 评分 78/100
Kakuna:自动化加固代码库的AI代理工具Kakuna: skills with checklists that only know how to harden your codebase/plan with it then let it /goal for a day, it comes back with same functionality but all the boring stuff done for you + an audit of its own work.focus on subagent parallelism and encodes strong opinions on how AI engineers should design apps for human and agent access/devops/product mgmt.instead of dark factory, go "mullet factory" - party in front (ship unique lovable features), dark in the back (timeless production principles). basically its the antientropy/antislop part of symphony broken out as its own thingnot gonna go psychosis further than this but extend as you will. link belowKakuna是一款AI代理工具,旨在将早期快速原型自动转化为可维护的生产级代码库。它通过内置的检查清单和"计划-目标"工作流,模拟人类开发与运维流程,在保持功能不变的前提下,自动执行代码审查、测试补充、重构等"无聊"工作,并强调子代理并行以提升效率。该工具是为"人类与代理协作"而设计的范例,其核心是"反熵增"与"反代码腐化"。例如,一次约16小时的运行能生成上百次提交,将一个脆弱的MVP转变为一个结构清晰、可长期构建的稳定项目。

swyx: working on a "take this vibecoded slop app and make it a production-ready, e2e tested, maintainable, parallelizable agen...


推荐理由:如果你还在为 vibe coding 产出的屎山头疼,swyx 这个 skill 刚开源,16 小时自动重构 103 次提交交付一个可维护的代码库,做独立开发的很值得抄一下。

5月22日

星期五 · 4 条
10:09
IT之家(RSS)精选
AI 评分 73/100
智谱GLM-5.1高速版发布:刷新全球大模型API速度纪录

5月22日,智谱向部分企业客户推出了旗舰大模型GLM-5.1的高速版API“GLM-5.1-highspeed”。该版本输出速度达400 tokens/s,刷新了全球大模型API速度上限。关键突破在于,它首次在国产大模型中实现了旗舰级能力与低延迟的结合,打破了“高速模型即轻量模型”的传统。该版本由智谱GLM团队与TileRT团队合作,通过系统级优化确保了速度的生产级稳定性,适用于AI编程、实时语音交互等场景。

另有 1 家信源报道公众号:智谱(GLM)
推荐理由:智谱把旗舰模型拉到 400 tokens/s,还保持全尺寸能力,不是那种为快阉割的小模型。做实时交互、AI 编程的可以认真看看,延迟敏感场景的选型参数要重写了。
09:41
公众号:智谱(GLM)精选
AI 评分 63/100
智谱推出GLM-5.1高速版

智谱发布GLM-5.1高速版,推理速度达400 tokens/s,在顶尖模型中生成速度最快。

另有 1 家信源报道公众号:智谱(GLM)
推荐理由:智谱把GLM-5.1做到了400 tokens/s,虽然发布已半个月,但这是国产模型在推理速度上的新标杆,做实时应用的可以看看。
03:28
Tomer Tunguz 博客(VC 分析)精选
AI 评分 69/100
SpaceX的无限野心:AI企业集团

SpaceX在提交S-1文件后,展现为一家AI时代的企业集团。公司由三大业务构成:Starlink(星链)、太空业务与AI业务。2025年总营收达187亿美元。其中,星链是绝对的核心与现金引擎,贡献了61%的营收并实现39%的营业利润率。太空业务收入占比22%,而AI业务(含X平台与xAI)虽仅占17%且处于巨额投入阶段,但代表了未来的战略方向。整体上,星链的强劲盈利为公司的太空探索与AI雄心提供了关键的资金支持。

另有 1 家信源报道TechCrunch:AI(RSS)
推荐理由:SpaceX的S-1文件罕见披露了AI业务的财务底牌,Tunguz的拆解很精炼,让你看懂Starlink怎么为烧钱的AI和Starship供血,太空AI算力这个叙事值得关注。
01:43
Claude:Blog(网页)精选
AI 评分 65/100
Claude现已支持更多安全合规工具

Anthropic宣布为Claude企业版及平台新增28项安全与合规工具集成。这些集成均通过Claude Compliance API实现,允许企业安全团队统一获取Claude的对话内容与活动事件,从而将其纳入现有的DLP、SIEM等监控与合规流程。新增合作伙伴包括Cloudflare、CrowdStrike、Microsoft Purview等28家供应商,覆盖数据安全、身份验证等多个关键领域,帮助企业快速将Claude接入现有安全平台,实现跨组织工具的统一治理与可视化监控。


推荐理由:企业安全团队终于能像治理其他SaaS一样治理Claude了,28个主流安全工具集成,说明Anthropic认真在打企业牌,CSO们可以打开文档了。