Topic · 主题全部主题 →

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

4,732条收录
527条精选

精选归档 · 第 27 页

521527 条 · 共 527

8月27日

星期三 · 1 条
08:00
Claude Platform:开发者版本说明(RSS)精选
AI 评分 61/100
Claude Platform 发布 PHP SDK 测试版

Claude Platform 于 8 月 27 日推出 PHP SDK 测试版。该 SDK 允许开发者通过 PHP 语言调用 Claude API,构建基于 Claude 的应用程序。


推荐理由:Anthropic 给 PHP 开发者递了橄榄枝,beta 版 SDK 让 PHP 项目接入 Claude 更容易了,虽然量级不大但补上了生态缺口。

8月5日

星期二 · 1 条
05:25
Hao AI Lab@haoailab精选
AI 评分 67/100
FastWan视频生成模型实现70倍加速,5秒出片Try FastWan at https://fastwan.fastvideo.org/!FastVideo团队推出FastWan系列快速视频生成模型。该模型采用名为"稀疏蒸馏"的新训练方法,能将视频去噪速度提升70倍。在单块H200 GPU上,仅需5秒即可生成一段5秒的视频。团队提供了在线演示,并依据Apache-2.0许可证完全开源了模型、代码和数据。

Hao AI Lab: (1/n) 🚀 With FastVideo, you can now generate a 5-second video in 5 seconds on a single H200 GPU! Introducing FastWan se...


推荐理由:视频生成终于从「等一分钟」进化到「实时出片」,FastWan 用稀疏蒸馏把去噪压了 70 倍,单卡 H200 五秒出五秒视频,做短视频工具和实时交互产品的团队该认真看看这个开源方案。

7月10日

星期四 · 1 条
08:00

5月28日

星期三 · 1 条
08:00
OpenRouter:Announcements(RSS)精选
AI 评分 56/100
OpenRouter 推出推理流摘要、加密货币发票等多项新功能

OpenRouter 上线了推理流摘要(Reasoning Streams)功能,支持流式推理过程摘要,同时新增加密货币发票支付、最终用户 ID(End-User IDs)、速率限制保护以及密钥锁定等特性。


推荐理由:如果你在用 OpenRouter 做应用,这几个更新挺实用,推理流输出让代理开发更可控,加密支付和端用户 ID 也降低了商业化门槛。

9月19日

星期四 · 1 条
00:00
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)精选
AI 评分 72/100
引入上下文检索:大幅提升RAG系统准确性的新方法

传统RAG系统在编码时易丢失上下文,导致检索失败。新方法“上下文检索”通过“上下文嵌入”和“上下文BM25”两项子技术,在检索前为文本块添加解释性上下文,能将检索失败次数减少49%,结合重排序后降幅可达67%,显著提升了下游任务性能。对于小于20万token的小型知识库,可直接将其完整内容放入提示词,结合Claude的提示词缓存功能,能降低超过2倍的延迟和高达90%的成本。对于大型知识库,上下文检索则提供了可扩展的解决方案。


推荐理由:Anthropic 把 RAG 检索失败率砍了 67%,方法不复杂但数据扎实,做知识库的开发者可以直接抄 cookbook 上手,是那种读完当天就能改进生产环境的实用帖。

8月9日

星期三 · 1 条
01:35
LangChain:Blog(RSS)精选
AI 评分 61/100
LangChain 与 Airbyte 集成:让数据摄取达到生产级就绪

LangChain 与 Airbyte 的集成方案旨在将检索应用扩展至生产环境。该方案通过调度、文本拆分和 50 多种嵌入模型实现数据摄取自动化,帮助开发者构建可规模化的生产级数据管道。


推荐理由:Airbyte 目标端把调度、切分与嵌入选项接入 LangChain,让数据源到 RAG 索引的更新由手动脚本转为可配置流程。