Meta 的 Muse Spark 1.1 在 Artificial Analysis 智能指数中取得 51 分,与同类模型相比,在成本和模型 token 效率上表现更优。
Muse Spark 1.1(xhigh)在三个月内比 Muse Spark 1.0(43 分)提升了 8 分。它与 GLM-5.2(max)、GPT-5.4(xhigh)和 GPT-5.6 Luna(max)在 51 分上基本持平,落后于 Grok 4.5(high,54 分)3 分,而领先梯队为 Claude Fable 5(60 分)、GPT-5.6 Sol(max,59 分)和 Claude Opus 4.8(max,56 分)。
其提升主要集中在科学推理、编程和知识领域;智能体知识工作方面在 GDPval-AA v2 上表现滞后。
@AIatMeta 在公开发布前与我们分享了访问权限以进行基准测试。祝贺 @AIatMeta、@finkd 和 @alexandr_wang 发布此版本!
关键要点: ➤ Muse Spark 1.1 相比首个 Muse Spark 版本有显著提升。这尤其得益于智能体知识工作(GDPval-AA v2)和编程(SciCode、TerminalBench)方面的进步。在 Humanity's Last Exam 上,它达到 45%,与 Claude Opus 4.8(max,46%)相差不到 1 分,并领先于 GPT-5.5(44%)和 Grok 4.5(high,40%) ➤ 在 51 分这一档位中,它是模型 token 效率最高的模型之一,也是运行成本较低的模型之一。Muse Spark 1.1 运行智能指数测试使用了 9400 万输出模型 token,少于 GPT-5.4(xhigh,1.09 亿)、GPT-5.6 Luna(max,1.25 亿)和 GLM-5.2(max,1.41 亿)。我们估算,按 Meta 的 $1.25/$4.25 定价,每次智能指数任务成本约为 $0.26——低于 GLM-5.2($0.37),大约是 GPT-5.4($0.89)的三分之一 ➤ AA-Omniscience 分数的提升是由弃答而非准确率驱动的。该分数从 4 分增长到 18 分,增长超过四倍,同时模型幻觉率下降了 35 个百分点(从 73% 降至 38%),答题率从 95% 降至 82%,准确率基本持平(从 45% 降至 41%)
其他模型细节: ➤ 上下文窗口:100 万模型 token,高于 Muse Spark 1.0 的 26.2 万 ➤ 定价:每 100 万输入/输出模型 token 分别为 $1.25/$4.25;缓存命中折扣至每 100 万 $0.15 ➤ 输出速度:在 Meta 第一方 API 上中位数约为每秒 114 个模型 token,首个回答模型 token 的生成时间约为 21 秒 ➤ 可用性:发布时通过 Meta 第一方 API 提供