IT之家（RSS）
消息称 OpenAI 通过系统底层优化，将 AI 模型推理成本减半
阅读原文· ithome.comAI 摘要
OpenAI 工程师在内部透露，公司通过一系列系统底层优化，将 AI 模型的推理（运行）成本降低了 50% 以上。此次优化主要得益于提升现有服务器资源利用率，而非新增计算芯片投入，使得所需英伟达芯片更少。节省的成本可用于降低 API 定价或提高用户使用限额。
原文
IT之家 6 月 30 日消息，据 The Information 报道，OpenAI 工程师在内部透露，公司已通过一系列全新的系统底层优化，成功将 AI 模型的推理（运行）成本降低了 50% 以上。
据IT之家了解，推理成本指的是模型在实际运行并响应用户请求时所消耗的计算资源。
此次优化主要得益于现有服务器资源利用率的提升，而非依赖新增计算芯片的投入。这使得运行其 AI 系统所需的英伟达芯片更少，这些节省的成本可用于降低 API 定价或提高用户使用限额。