François Chollet@fchollet

2026-07-07 05:22·1天前

AI 摘要

将基准测试结果报告为标量数字，例如“XYZ 上 75%”，目前完全无意义。你应该总是报告效率分数，例如“每任务成本 $10 下 75%”。

Reporting benchmark results as a scalar number， e.g. "75% on XYZ" is completely meaningless at this point. You should always report efficiency scores， e.g. "75% at a cost per task of $10."

大佬观点评测/基准

在 X 查看原推导出 Markdown

François Chollet@fchollet · X

47导出 Markdown

2026-07-07 05:22·1天前

在 X 看原推· x.com

AI 摘要

将基准测试结果报告为标量数字，例如“XYZ 上 75%”，目前完全无意义。你应该总是报告效率分数，例如“每任务成本 $10 下 75%”。

Reporting benchmark results as a scalar number， e.g. "75% on XYZ" is completely meaningless at this point. You should always report efficiency scores， e.g. "75% at a cost per task of $10."

大佬观点评测/基准

在 X 查看原推x.com