Topic · 主题全部主题 →

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

4,732条收录
527条精选

精选归档 · 第 11 页

201220 条 · 共 527

6月25日

星期四 · 1 条
00:16
LangChain:Blog(RSS)精选
AI 评分 71/100
LangChain 发布 AI 智能体记忆构建实用指南:短期记忆、长期记忆与 LangSmith 追踪分析

LangChain 发布了一份关于 AI 智能体记忆构建的实用指南,涵盖短期记忆、长期记忆与追踪分析。指南介绍了如何通过 LangSmith 帮助智能体在多次运行间持续改进,并重点讨论了短期记忆(如对话上下文)与长期记忆(如用户偏好存储)的实现方法。该指南为开发者提供了在 LangChain 框架中集成记忆模块的具体技术路径。


推荐理由:LangChain官方出的代理记忆实践指南,把短期/长期记忆和trace分析讲透了,用LangSmith复盘的方法可以直接落地,做agent的值得存一份。

6月24日

星期三 · 4 条
21:01
OpenAI:官网动态(RSS · 排除企业/客户案例)精选
AI 评分 61/100
OpenAI 与 Broadcom 联合发布 LLM 推理芯片 Jalapeño

OpenAI 与 Broadcom 发布首款自研推理加速器 Jalapeño,专为当前及未来 LLM 从头设计。早期测试显示,其性能功耗比大幅优于现有 SOTA。工程样片已在实验室以目标频率和功耗运行 GPT‑5.3‑Codex‑Spark 等负载。芯片从设计到流片仅用 9 个月,并利用 OpenAI 模型加速部分流程。OpenAI 计划从 2026 年起与 Microsoft 等合作伙伴部署千兆瓦级数据中心,推出多代计算平台。


推荐理由:OpenAI 首次亲自设计芯片,和 Broadcom 联手推出专为 LLM 推理优化的 Jalapeño,从设计到流片仅 9 个月。虽然还只是早期测试,但性能功耗比大幅领先,一旦大规模部署,推理成本可能跳水,用 ChatGPT 的每个人都能感知到更快更便宜。
18:31
公众号:火山引擎精选
AI 评分 66/100
火山引擎推出Agent Ready基础设施,AgentKit与ArkClaw企业版升级

火山引擎在FORCE大会推出面向企业智能应用的Agent Ready基础设施,构建AI云与Agent三层架构。AgentKit升级提供Identity、Runtime、Sandbox、Evaluation等模块,实现Agent可靠、可控、可衡量。Identity已接入数千家身份体系,Runtime支持长程任务和分钟级12万沙箱并发。ArkClaw企业版集成Agent广场、技能中心与企业知识库,支持IDP/SSO/OAuth及飞书、钉钉等IM入口统一管控。实践案例:海底捞门店经营Agent将小时级工作压缩到分钟级,人工跟进时长缩减70%,巡检满意度提升50%;创维酷开借助ArkClaw终端版打造AIOS,Token消耗节省50%,支撑百万级终端。


推荐理由:Agent 从聊天机器人到企业生产工具,缺的不是模型能力而是基础设施。火山引擎这套 AgentReady 架构把身份、沙箱、评测串了起来,是企业 AI 落地的关键一步。
15:37
MarkTechPost(RSS)精选
AI 评分 74/100
DFlash:块扩散草稿模型实现最高15倍吞吐量提升

DFlash 由 UC San Diego 团队提出,是一种用于投机解码的轻量块扩散草稿模型。它一次前向推理生成整块 token,再由目标模型并行验证,保证输出无损。相比 EAGLE-3,DFlash 实现最高 2.5 倍加速,在 Qwen3-8B 等多种模型上平均无损加速超过 6 倍(MATH-500 达 6.08×)。在 NVIDIA Blackwell 上(TensorRT-LLM),gpt-oss-120b 模型吞吐量提升最高 15 倍,约为 EAGLE-3 的 1.5 倍。核心创新是将目标模型多层隐藏特征注入草稿模型每一层的 Key-Value 投影,使接受长度随草稿深度增长。


推荐理由:DFlash把扩散模型引入推测解码草案阶段,一次并行生成整块token,单流加速最高6倍,NVIDIA实测吞吐量提升15倍,推理成本下降幅度很大,部署大模型的团队可以立刻关注。
02:26
Hugging Face:Blog(RSS)精选
AI 评分 64/100
在 Transformers.js 中实验提议的跨源存储 API

Transformers.js 在浏览器中运行 AI 模型时,不同来源的 Web 应用会重复下载并缓存相同的模型资源(如 Xenova/whisper-tiny.en)和 Wasm 运行时文件(如 4,733 kB 的 ort-wasm-simd-threaded.asyncify.wasm),即使资源 URL 相同,浏览器因 Network Isolation Key 隔离缓存,单次 demo 就产生 177 MB 冗余下载和存储。Cross-Origin Storage API 是一项早期提案,旨在让跨来源应用共享缓存的模型和运行时资源。目前该 API 尚未在浏览器原生实现,但可通过 Chrome 扩展注入 polyfill 进行实验。


推荐理由:这个Chrome提案让不同网站的AI模型共享缓存,对用Transformers.js的Web开发者是切实的性能改进,但还只是早期实验。

6月23日

星期二 · 6 条
16:12
Hugging Face:Blog(RSS)精选
AI 评分 67/100
huggingface_hub 实现每周发布:AI、开源工具、人工审核闭环

Hugging Face 将 huggingface_hub 的发布周期从每 4‑6 周缩短至每周,全部由单个 GitHub Actions 工作流自动完成。流程依赖开源工具和开权重模型(当前为 Z.ai 的 GLM‑5.2)来起草发布说明和 Slack 公告,但保留人类在最终审核环节的决定权。自动步骤包括版本号更新、提交标签推送、PyPI 发布、下游测试分支创建、发布说明草稿、Slack 公告草稿、归档、后置版本提升以及对合入 PR 的评论。所有组件均基于开源生态构建,任何维护者都可直接复制使用。


推荐理由:Hugging Face 把周更流程完全开源,用 GLM-5.2 生成发布说明初稿,再加确定性校验和人工修订,成本低到两毛五一次。想提高发版频率的 Python 库维护者可以直接 fork 适配。
14:10
公众号:京东JoyAI精选
AI 评分 73/100
京东全栈开源JoyAI-VL-Interaction,从"一问一答"走向"边看边说"

京东近日开源全球首个全栈交互模型JoyAI-VL-Interaction,获vLLM-Omni原生支持。该模型能持续观察视频流、主动判断关键事件并实时响应,支持将复杂任务委托后台Agent处理。在58个真人盲评中,对比豆包视频通话助手胜率77.6%,对比Gemini视频通话助手胜率87.9%,监控预警场景达100%胜率。开源内容包括模型权重、交互数据集、训练方案及完整可部署系统,支持摄像头、直播流等视频输入及语音交互、长期记忆、vLLM部署,适用于安防监控、老人看护、直播讲解等实时场景。

另有 1 家信源报道IT之家(RSS)
推荐理由:京东这个实时交互模型不是又一个刷榜模型,它把「什么时候该说话」变成了模型自己的判断。全栈开源且对比豆包、Gemini 胜率惊人,做安防、看护、直播的开发者可以直接试了。
09:14
OpenRouter:Announcements(RSS)精选
AI 评分 72/100
OpenRouter:通过API路由实现AI数据驻留合规

Deloitte 报告显示 77% 的公司将供应商国籍纳入 AI 选型考量。OpenRouter 将数据驻留视为路由决策:通过 API 请求中的 provider 对象设置 orderonly 限定服务商、allow_fallbacksfalse 禁止回退、data_collectiondeny 禁止数据存储或训练、zdrtrue 要求零数据保留。示例以 anthropic/claude-sonnet-4.6 调用,首选 Anthropic 直连和 Amazon Bedrock。针对欧盟需求,可限制仅 Mistral 等欧盟总部供应商。若无可合规供应商,API 返回错误而非路由至不合规服务商。


推荐理由:OpenRouter 这篇指南把数据驻留从一个基建难题退化成一次 API 请求里的路由配置,对需要合规的团队是直接可抄的实操手册。
09:14
OpenRouter:Announcements(RSS)精选
AI 评分 62/100
AI 治理清单:LLM 架构先行

Deloitte 报告显示企业 AI 抱负与治理成熟度之间差 53 个百分点,74% 计划两年内部署智能体 AI,仅 21% 拥有成熟治理模型。路由架构是首个治理层。三种姿态——托管网关(如 OpenRouter、Portkey)、自托管网关(如 LiteLLM)和直接 API——默认治理能力不同,直接 API 缺乏统一控制面,造成治理盲区。治理清单可映射为资产盘点、问责制、访问控制、证据记录与合规性五大支柱。路由层能提供跨团队可见性与审计证据,而电子表格不能。


推荐理由:这不是另一篇泛泛的治理框架文章,它把合规差距直接映射到路由架构上,三张对比表格比政策文档更有用,做 LLM 平台或 infra 的团队值得对照检查自己的堆栈。
05:42
Hacker News 热门(buzzing.cc 中文翻译)精选
AI 评分 80/100
美国警长利用Flock车牌系统跟踪前女友案频发,Flock法务官承认"最常见滥用"

伊利诺伊州Holiday Hills警察局长于2026年6月18日被捕,被控两项渎职重罪。检方指控他利用Flock车牌读取系统及州警察数据库,跟踪6名认识的人,其中3人为前女友,并对其中一人的前男友车牌查询140次(86次脱岗),持续18个月。全美至少18起类似案例:佐治亚州Braselton警察局长、爱达荷州Jerome县警长(700余次查询其妻车牌)等均因此辞职或被捕。Flock首席法务官Dan Haley承认,滥用该系统“最常见情况”就是跟踪前女友。Flock称系统只跟踪车辆,但案例表明车辆是手段,人是目标。


推荐理由:调查揭露了多位警察局长滥用Flock车牌识别系统跟踪前伴侣,这种「合法工具变成私器」的模式,比技术缺陷更动摇信任。我认为今年监控技术讨论绕不开这一案例,它让搜查令问题从抽象变成了火烧眉毛的紧迫。
05:19
Claude:Blog(网页)精选
AI 评分 55/100
在 AWS、Google Cloud 和 Microsoft Foundry 上使用完整版 Claude Desktop

通过 AWS、Google Cloud 和 Microsoft Foundry 使用 Claude Desktop 的组织现已获得 Chat、Claude Cowork 和 Claude Code 集成的完整桌面体验。IT 团队可将推理保留在自己的云环境中,对话历史本地存储。支持 IAM Identity Center、Workforce Identity Federation、Microsoft Entra ID 或 Okta 登录;策略模板可导出至 Intune、GPO 或 Jamf;提供离线安装器。Chat、Claude Cowork 和 Claude Code 各有独立策略键,支持精细访问控制。M365 连接器通过 Entra 应用访问邮件和文档,并支持 GCC High/DoD 端点。


推荐理由:Anthropic 把 Claude Desktop 的完整体验带到了自家云环境之外,对于已经在 AWS 或 Azure 上跑推理的团队,终于可以从同一入口覆盖聊天、协作和编码,不用再切工具了。

6月22日

星期一 · 3 条
22:11
Hugging Face:Blog(RSS)精选
AI 评分 69/100
PP-OCRv6 on Hugging Face:50 语言 OCR,参数规模 1.5M 至 34.5M

PP-OCRv6 是 PaddleOCR 最新一代通用 OCR 模型族,提供 tiny(1.5M)、small(7.7M)和 medium(34.5M)三级。medium 和 small 支持 50 种语言(简体/繁体中文、英文、日文及 46 种拉丁语系)。在官方多场景基准上,medium 检测 Hmean 86.2%,识别准确率 83.2%,较 PP-OCRv5_server 分别提升 +4.6 和 +5.1 个百分点。模型采用 PPLCNetV4 统一骨干、RepLKFPN 检测模块和 EncoderWithLightSVTR 识别模块,可通过 PaddleOCR、Transformers、ONNX Runtime 等后端灵活部署。


推荐理由:OCR模型并没有因为VLM的兴起而消失,PP-OCRv6用1.5M到34.5M参数覆盖50种语言,对需要轻量、准确OCR的产品来说,这是一个务实的选择。
20:06
Microsoft:Official Blog(RSS)精选
AI 评分 69/100
微软在德克萨斯州佩科斯新建2GW数据中心园区,满足AI与云服务需求

微软宣布在德克萨斯州佩科斯新建一座约2吉瓦(GW)的数据中心园区,这是其历史上最大规模的单次容量扩充之一,旨在满足AI和云服务的强劲客户需求。该园区预计在建设高峰期支持超过6000个建筑岗位,并创造数百个永久性运营职位。微软将自行资助该数据中心所需的能源基础设施,并承诺通过社区优先策略推动当地经济发展、劳动力培训及可持续运营。


推荐理由:微软在得州投建的 2GW 数据中心是历史上最大单次扩容,它比任何模型发布都更直白地告诉你,AI 需求离饱和还远得很。但普通人三五年内可能感觉不到直接影响。
07:01
Simon Willison 博客精选
AI 评分 72/100
Cloudflare 临时账户 for AI agents

Cloudflare 推出临时账户功能,无需注册即可通过 npx wrangler deploy --temporary 部署 Workers 项目,临时项目存活 60 分钟。该功能虽标称为 AI 智能体设计,但普通用户同样适用。作者使用 GPT-5.5 xhigh 在 Codex Desktop 中构建了测试应用,验证了部署与运行流程,并展示了项目认领页面。


推荐理由:虽然这次打的旗号是服务 AI 智能体,但临时 Cloudflare 账号对任何想快速部署原型的开发者都是福音,降低了不少环境搭建的摩擦,值得马上试试。

6月20日

星期六 · 1 条
04:26
OpenRouter:Announcements(RSS)精选
AI 评分 68/100
OpenRouter vs LiteLLM:如何选择 LLM 网关

OpenRouter 是托管在 Cloudflare 边缘的 LLM 网关,无需管理基础设施,收取 5.5% 平台费(前 100 万次请求免费),支持 70+ 提供商和自动故障转移。LiteLLM 是自部署代理(Docker/PostgreSQL/Redis),数据不离开内网,免费开源,但需承担基础设施成本(生产部署约数百美元/月)。当模型月支出超过约 $3,600(基础设施 $200/月)或 $9,100(基础设施 $500/月)时自托管更划算。LiteLLM 提供六种路由策略和自定义 Python 路由;OpenRouter 具备 SOC 2、GDPR 认证和零数据保留选项。两者可串联使用。

另有 1 家信源报道OpenRouter:Announcements(RSS)
推荐理由:OpenRouter 这份官方对比很坦诚,把成本、延迟、合规的权衡掰开了讲,自建 LiteLLM 和托管谁更划算的算术也给清楚了,做 LLM 网关选型的直接看这篇就够了。

6月19日

星期五 · 3 条
09:27
OpenRouter:Announcements(RSS)精选
AI 评分 60/100
OpenClaw 接入 OpenRouter

OpenClaw 已内置 OpenRouter 支持,一条命令即可为 AI 智能体配置统一密钥、统一账单,并实现跨 300 多个模型的自动故障转移。同时提供具体设置步骤以及常见错误的修复方法。


推荐理由:给用 OpenClaw 搭 agent 的人一个直接可用的集成指南,还附带了常见报错修复,比零散摸索省时间。
03:08
OpenAI:官网动态(RSS · 排除企业/客户案例)精选
AI 评分 58/100
企业版新用量分析与更新的支出控制

OpenAI 为 ChatGPT Enterprise 推出信用额度用量分析与更新的支出控制功能。全局管理控制台(Global Admin Console)统一展示 ChatGPT 和 Codex 的信用消耗,支持按时间、用户、产品、模型追踪用量趋势。管理员可为整个工作区设置默认限额,按群组配置额度,并为个人设置叠加限制。员工可查看个人用量并申请增加额度(附工作上下文)。这些功能即日起可用。


推荐理由:仅面向ChatGPT Enterprise管理员的使用分析和预算控制更新,帮助企业追踪团队用量、控制成本,但并非行业级事件,管理者可当即启用。
01:51
Claude:Blog(网页)精选
AI 评分 68/100
Claude Enterprise 推出企业托管 MCP 连接器授权管理

Claude Enterprise 推出企业托管授权功能,管理员可通过身份提供商(率先支持 Okta)为整个组织配置 MCP 连接器。用户首次登录 Claude 时自动获得授权,无需手动操作,实现零接触设置。该功能基于 Model Context Protocol 的 Enterprise-Managed Authorization 扩展构建,支持 Asana、Atlassian、Canva、Figma、Granola、Linear、Supabase 等 MCP 提供商,Slack 即将支持。授权管理集成到现有 IdP 工作流中,可按组限定范围、通过 IdP 快速撤销授权,并支持要求连接器仅通过 IdP 连接以隔离工作与个人使用。


推荐理由:企业 MCP 连接器不再需要每个用户手动授权,这是 MCP 生态从个人扩展到组织的关键一步,管理员终于可以像管理其他 SaaS 一样管理 Claude 的工具链。

6月18日

星期四 · 2 条
21:19
Google DeepMind:Blog(RSS)精选
AI 评分 65/100
保障AI智能体的未来安全

Google DeepMind发布AI Control Roadmap,这是一套针对内部先进AI智能体的系统级安全框架。该框架在传统模型对齐之上增加防线,假设AI智能体可能不对齐,通过威胁建模、沙箱隔离、端点安全、提示注入防御以及基于已验证行为逐步授予权限的机制建立信任。据估算,到2030年仅美国市场AI智能体就能创造2.9万亿美元经济价值。


推荐理由:DeepMind 首次系统性地公开了内部 AI 代理安全控制路线图,把代理当潜在「内鬼」来防的思路很务实,分析了 100 万个任务轨迹的监控实践尤其值得做 Agent 安全的人细看。
13:56
LMSYS:Blog(Chatbot Arena 团队)精选
AI 评分 67/100
MOSS-TTS-Local-Transformer-v1.5 在 SGLang-Omni 上:原生流式 48 kHz 语音服务

MOSS-TTS-Local-Transformer-v1.5 是一款开源 TTS 模型,支持 48 kHz 立体声、零样本声音克隆、最长 10 分钟长文本合成、时长控制及 31 种语言。其核心采用 Qwen3-4B 骨干与约 2B 参数的 MOSS-Audio-Tokenizer-v2 音频编解码器,通过 12 个 RVQ 码本运行。SGLang-Omni 以三阶段流水线部署该模型。在 Seed-TTS-Eval 上词错误率 5.10%、语音相似度 69.23%,CV3-Eval 上 WER 7.48%、SIM 61.59%,MiniMax Multilingual 上 WER 6.37%、SIM 75.31%,X Voice 上 WER 20.48%、SIM 63.00%。


推荐理由:SGLang-Omni 把 MOSS-TTS 的端到端服务拆成三阶段并做了大量底层优化,对想落地实时语音合成的团队是现成的技术方案,技术细节扎实,可以直接照着搭。