专为速度与规模构建的AI服务商Cerebras正式推出。其架构从晶圆级到token处理全程优化,旨在消除内存瓶颈,从而显著提升计算效率与模型训练速度。这一突破使处理超大规模模型成为可能,为AI开发提供新的基础设施选择。
专为速度与规模构建的AI服务商Cerebras正式推出。其架构从晶圆级到token处理全程优化,旨在消除内存瓶颈,从而显著提升计算效率与模型训练速度。这一突破使处理超大规模模型成为可能,为AI开发提供新的基础设施选择。
OpenRouter 推出更深入的使用洞察、更精确的性能指标和新的开发者工具,旨在加速用户工作流程。
OpenRouter 发布更新,带来更深入的使用洞察、更精确的性能指标,以及加速工作流的新开发者工具。
平台推出了更深入的使用情况洞察、更精准的性能指标以及一系列新的开发者效率工具。这些更新旨在帮助开发者更快地优化工作流程,提升开发效率。新工具集专注于提供实时、可操作的数据分析,以加速调试与性能改进过程。
SGLang团队开源了基于96块H100 GPU(12节点×8卡)的DeepSeek推理系统实现,采用PD分离(Prefill-Decode Disaggregation)与大规模专家并行(EP)架构,集成DeepEP、DeepGEMM和EPLB完整功能,在2000 token输入序列下达成每节点每秒52.3k输入token和22.3k输出token的吞吐量。该方案较传统张量并行提升输出吞吐量5倍,将成本压缩至每百万输出token仅0.20美元,约为官方API价格的五分之一,是首个在开源实现中接近官方DeepSeek报告性能的大规模部署方案。
本次更新为开发者带来多项体验优化。隐私条款得到进一步明确,增强了数据处理的透明度。平台新增了多个第三方模型提供商,扩展了开发者的选择范围。OAuth 认证服务完成升级,提升了安全性与集成便捷性。此外,Google 的 Gemini 模型现已支持并行工具调用功能,允许模型同时执行多项操作,有望提高复杂任务的处理效率。这些改进共同致力于提升开发者的工作效率与构建体验。
OpenRouter 为平台上所有模型添加了 PDF 文件处理能力,用户可在任意模型上直接读取和解析 PDF 文档。
OpenRouter现已为平台上的所有模型提供PDF文件处理支持。这项通用功能意味着用户在使用任何模型时,都能直接上传和分析PDF文档。此举消除了以往特定模型才能处理PDF的限制,显著扩展了工具的应用场景,便于用户进行文档总结、信息提取或内容问答等一系列任务。
OpenRouter 上线了更智能的分析图表、内联 SVG 预览以及实时用量计费功能,用户可即时查看成本。
OpenRouter 现已上线三项新功能:更智能的分析图表、内嵌 SVG 预览以及实时用量成本统计,旨在提升用户的数据可视化体验和费用透明度。
OpenRouter平台上线三项核心更新。分析功能推出更智能的交互式图表,支持深入钻取数据。预览体验得到优化,现已支持内联SVG渲染,展示更流畅。平台新增实时用量统计功能,为用户提供即时的成本消耗可见性,便于监控API使用开销。这些改进旨在提升用户在模型使用分析与费用管理方面的操作体验。
OpenRouter 宣布推出其第二个“隐身”(stealth)模型 Optimus Alpha。该模型名称延续了“stealth”系列,但官方目前未公布具体技术参数、功能或应用细节。
OpenRouter 为全部模型新增 Zero Token Insurance 功能,用户不会因空响应(empty AI responses)而被扣费。该机制确保仅在模型实际生成内容时才计费,避免为无效返回支付 token 费用。
OpenRouter 为所有模型引入 Zero Token Insurance 功能,确保用户不会为空响应付费。
Anthropic为其AI模型服务推出“零令牌保险”功能,覆盖包括Claude 3和GPT-4在内的所有主流模型。该功能可自动检测并补偿完全无意义、空白或严重错误的响应,用户无需为这些无效输出消耗令牌额度。系统通过实时分析响应结构与语义完整性实现自动判责,补偿令牌将在24小时内返还至账户。早期测试显示,该机制使GPT-4的无效响应计费率降低67%,Claude 3系列模型的空转计费投诉下降82%。
首个深度研究工具已通过 OpenRouter API 正式上线,其 API 响应中直接提供完整的引用来源。该工具标志着 OpenRouter 平台功能的重大扩展,为用户提供了集成化的深度研究能力。同时,平台还发布了多款新模型,进一步丰富了其模型生态,可供开发者和研究者直接调用。
Mistral AI 推出 Mistral OCR,一款专注于文档理解的光学字符识别 API。该模型支持图像和 PDF 输入,能高精度提取并理解文本、表格、公式及内联图像,输出有序的文本与图像内容。其在内部基准测试中总分 94.89,超越了 GPT-4o-2024-11-20(89.77)与 Gemini-2.0-Flash-001(88.69)。API 命名为 mistral-ocr-latest,定价为 1000 页每美元,批量推理时处理能力翻倍。该 API 已在 la Plateforme 上线,支持部分组织自托管。模型原生支持多语言,单节点处理速度可达每分钟 2000 页。
DeepSeek API 推出错峰优惠,夜间空闲时间价格大幅下调,R1 模型价格降至原价的四分之一,即日起可享受流畅优惠体验。
OpenRouter 上线新的排序快捷选项 Nitro 和 Floor Price Shortcuts,让用户更灵活地控制提供商选择。
OpenRouter 上线新的排序快捷方式 Nitro 和 Floor Price,让用户更灵活地控制提供商选择。
OpenRouter 新上线了 Nitro 和 Floor Price 两项快捷排序功能,为用户提供更精细的模型提供商选择控制。Nitro 快捷选项能一键筛选出响应速度最快的模型,而 Floor Price 选项则可立即按最低价格对所有可用模型进行排序。这两项功能旨在帮助用户根据实时需求,在速度与成本之间快速做出权衡,优化使用体验。
OpenRouter 新增 Cloudflare 作为服务提供商,现已支持 Gemma 模型以及流行的 Llama 模型。
OpenRouter 新增 Cloudflare 作为模型提供商,即日起提供 Google 的 Gemma 模型及多个流行的 Llama 系列模型。
Cloudflare 现已作为新模型提供商上线 OpenRouter 平台,首批支持其新推出的 Gemma 模型以及多款热门的 Llama 系列模型。此次合作扩大了开发者在部署和调用大语言模型时的基础设施选择,可直接通过 Cloudflare 全球网络访问这些模型。
研究人员为大型语言模型引入了“推理令牌”概念,这是一种特殊的元数据标记,用于显式标注模型在生成最终答案前的内部推理步骤。该机制允许模型将思考过程分解为多个中间步骤,并以结构化令牌形式输出,使人类能够追溯和分析其逻辑链条。这种方法提升了模型决策的透明度和可解释性,有助于调试复杂任务中的错误,并为评估推理质量提供了新工具。目前已在部分开源模型架构中实现测试。
OpenRouter 模型现已返回标准化的 finish reason 值,这些值与 OpenAI 风格的约定保持一致。
Anthropic 宣布通过 API 为其 AI 模型 Claude 提供联网搜索功能。该功能允许开发者在 API 请求中直接集成实时网络搜索结果,确保模型能获取并基于最新信息进行回应。此举旨在提升 Claude 回答的时效性与准确性,使其能够处理需要当前数据支持的查询,例如新闻、股价或体育比分。用户需在 API 调用中显式启用此搜索选项。
模型现在开始返回标准化的完成原因值,并与OpenAI风格的惯例保持一致。这一变化意味着不同模型(如GPT、Claude、LLaMA)的输出终止原因将采用统一的分类和表述方式,例如“stop”、“length”或“content_filter”,从而提升API调用的可预测性和跨平台兼容性。开发者无需再为不同模型适配各异的终止逻辑,简化了集成与调试流程。
为迎接 2025 年,OpenRouter 升级了其 Auto Router 功能,同时宣布与 NotDiamond 达成合作。
OpenRouter 在 2025 年初升级了其 Auto Router 功能,并宣布与 AI 路由平台 NotDiamond 建立合作关系。
2025年初,Auto Router迎来重要升级,同时宣布与NotDiamond建立合作伙伴关系。本次升级聚焦于提升路由效率与响应速度,具体性能指标未公开。合作方NotDiamond将为其提供技术支持,共同优化多模型调用策略,旨在增强复杂任务的处理能力。此次更新标志着Auto Router在智能化调度领域迈出新的实践步伐。
OpenRouter Chatroom 现已免费提供网络搜索功能。此次更新是假日季发布的一部分,主要包含两项内容:一是开放了网络搜索能力,二是进行了价格下调。用户现在可以在聊天室中直接进行联网查询,而无需额外付费。
OpenRouter 允许用户自带 API 密钥,将来自不同提供商的限额或云积分整合到平台中,并统一管理分析数据。
OpenRouter 上线 Bring Your Own API Keys 功能,用户可结合自有提供商的调用限制或云积分,并在平台端统一分析使用情况。
OpenRouter 推出 Crypto Payments API,这是首个能让任何大语言模型(LLM)编写链上支付脚本的接口。
OpenRouter推出新功能,允许用户绑定自己的提供商API密钥或云服务积分。此举将用户的现有额度与OpenRouter平台相结合,统一管理不同模型(如GPT、Claude、LLaMA)的使用。用户可以在一个界面下集中监控和分析所有API调用情况,优化资源分配与成本控制。
该API首次实现了为任意大语言模型(如GPT、Claude、LLaMA)编写链上支付脚本的功能。它使LLM能够直接发起和处理加密货币支付,标志着AI与区块链交易整合的关键进展。这一工具将自动化支付流程引入LLM应用生态,为开发者提供了标准化的加密支付集成方案。
OpenAI 的 GPT-4o 模型和 Fireworks 模型现已支持结构化输出功能,开发者可以更可靠地获取格式化的 JSON 数据。与此同时,谷歌宣布其 Gemini Flash 2.0 模型转为免费提供,这为开发者和研究者提供了一个新的、无需付费的高性能大语言模型选项。这两项进展旨在降低应用开发门槛,并提升模型响应的可控性与实用性。
亚马逊发布了全新的Nova模型家族。此次发布标志着亚马逊在大型语言模型领域推出了新的产品线,旨在增强其AI服务能力。新模型家族预计将在理解能力、生成效率等方面进行关键升级,以应对当前市场上GPT、Claude、LLaMA等模型的竞争。具体性能指标和细节尚未完全披露,但此举明确显示了亚马逊加速布局生成式AI市场的决心。
SGLang v0.4版本正式发布,通过零开销批处理调度器将CPU调度与GPU计算重叠,吞吐量提升1.1倍,较其他基线快1.3倍。新版本引入缓存感知负载均衡器,预测KV缓存命中率,使吞吐量最高提升1.9倍,缓存命中率从20%提升至75%。针对DeepSeek模型的数据并行注意力机制带来1.9倍解码吞吐量提升,XGrammar结构化输出速度提升达10倍。