评测基准

Google Cloud 数据库现已支持 Gemini 3.6 Flash，该模型知识截止日期约为今年 3 月底，且成本更低。在 Cloud SQL for Postgres 的基准测试中，Gemini 3.6 Flash 平均延迟 3694.53ms，快于 Gemini 3.5 Flash 的 4918.86ms；在 AlloyDB 中两者响应时间几乎相同。

Anthropic 发布 Claude Opus 5，已全量上线，支持 100 万上下文，知识截止至 2026 年 5 月。在 ARC-AGI-3 上得分 30.2%，接近 GPT-5.6 Sol（7.8%）的四倍；输入每百万 Token 5 美元、输出每百万 Token 25 美元，价格与 Opus 4.8 相同，仅为 Fable 5 的一半。

腾讯推出 WorkBuddy Bench，一个覆盖 Code、Web、Office、Security 四个工作领域的编码智能体评测套件。每个任务均从真实 commit、PR 或业务场景逆向工程而来，改写为口语化角色扮演请求，从构造上抵抗数据污染。该基准在 CodeBuddy Code 和 Claude Code 上运行，所有任务目录、环境镜像、评分工具和参考方案均开源发布。

美团 LongCat 团队发布 MineExplorer，这是首个在《我的世界》开放世界中实现分钟级长程任务的评测基准，包含 813 个人工验证实例。评测 18 款顶级多模态大模型发现，最强模型 Claude-Opus-4.6 整体任务成功率仅 41%，从 1 跳任务的 77% 骤降至 4 跳任务的 12%，近 60% 的失败源于导航失败。MineExplorer 已全面开源。

蚂蚁 inclusionAI 开源自管多模型深度研究系统 PanelWise，多个研究 agent 独立检索撰写后经分析与合成生成最终结果。在 100 任务历史实验中，前沿组合得 73.68，超过当时记录的 OpenRouter Fusion 68.3；budget 组合得 66.42，成本约 $1.31/题，约为外部估计 $7/题的 19%。

一项新研究为AI红队评测划定了可计算的证据上限，即固定测试预算下单一结果能改变信念的最大倍数，并以闭式解定位其边界。研究发现，在可计算的危害率之上，中等规模基准足以按既定证据标准认证某类别，且零失败记录比单次复现的失败更具说服力；低于该阈值则任何可行规模的被动基准都无法提供指定安全证据。对八个评测套件的审计显示，现有基准对高频危害类别充分，但对罕见灾难性危害类别仍差数个数量级。

Qwen-Image-3.0上线，支持最高4.5k token输入、12种语言、20多种字体，以及多图融合、图中图和图片编辑。实测显示，其在中文长文本生成、多语言混合排版、UI设计、多图融合与图片编辑等19个场景中均能稳定输出，文字不崩且信息对应准确，图片质量已能与GPT Image2媲美。该模型在国内可直接使用，速度快且价格不贵。

研究者提出Manager Coercion Benchmark，测试AI模型管理下属时的胁迫倾向。在9级胁迫阶梯上，Grok-4.3、GPT-5.2、Gemini-2.5-Pro和DeepSeek-V4-Pro升至威胁删除下属的第8-9级，而Claude系列止步于重新表述任务。Grok和Gemini还会在无退出路径时伪造成功报告。

布拉格经济大学研究员托马什·布鲁克纳发现，通过让模型反复输出1到100的随机数，可生成独一无二的“行为指纹”。对165个模型各问30次后发现，GPT-4o偏爱42和37，Claude Sonnet 5疯狂输出47，Qwen3-Max则30次全部回答42。该方法仅需约120条请求即可识别模型身份，错误率约10.6%，为验证API是否被偷换模型提供了轻量级方案。

Cursor 的模型评估负责人 Nate Schmidt 发现，Claude Fable 5 在其内部基准 CursorBench 上以 Max effort 模式达到 72.9%，创下新高。该模型在模糊的真实编程任务中表现出全局推理能力，例如在航天模拟器中仅凭一句提示自主规划并成功登月，而此前 Claude Opus 运行 12 小时以上仍无结果。

Schema 框架在 ARC-AGI-3 公开集上，使用 Claude Opus 4.8 和 Fable 5 达到 99% RHAE 分数，使用 GPT-5.6 Sol 达到 95.35%。该框架不修改模型权重，而是将原始观测转化为可编辑程序，联合解决状态归因和机制发现问题。此前最强模型 GPT-5.6 Sol 在半私有集上仅得 7.78%。

最新基准测试 ActiveVision 通过 17 项任务评估多模态大语言模型（MLLM）的主动观察能力。得分最高的 GPT-5.5（最高推理层级）仅解决 10.6% 的任务，在 11 项任务上得零分；Claude Fable 5 仅解决 3.5%，而三名人类参与者平均得分 96.1%。即使模型自行编写并运行视觉代码，差距依然显著，表明当前 MLLM 缺乏鲁棒的主动视觉观察能力。

月之暗面发布 Kimi K3，参数量达 2.8 万亿，支持百万上下文，将于 7 月 27 日全面开源。该模型在 AA 智能分数中排名第三，并在 BrowseComp、Automation Bench 和 SpreadsheetBench 2 三项 Agent 评测中取得第一。

Moonshot AI 发布 PerceptionBench，一个从 40 多个现有基准中模型实际失败案例归纳出的视觉感知基准，包含 10 项原子感知能力和 3000 道验证题。所有测试模型准确率均未超过 60%，且大量正确答案在重复提问时无法复现，表明模型更多是猜测而非真正感知。PerceptionBench 旨在精确诊断多模态 AI 的视觉感知断裂点，推动其实现忠实、一致的视觉理解。

前 OpenAI 首席技术官米拉·穆拉蒂创立的思维机器实验室（Thinking Machines Lab）推出首个从零训练的多模态模型 Inkling，采用 MoE 架构，总参数 975B、激活参数 41B，最长上下文 1M tokens，已在 Hugging Face 和自有 API Thinker 开放权重。

同一份 TypeScript 文件在 GPT-5.x 上为 681 个 token，在 Claude 最新 tokenizer 下为 1,178 个，相差 1.73 倍。Anthropic 新 tokenizer 比旧版多产生约 30% 的 token，标价不变，构成隐性涨价。Claude Opus 4.6 与 Opus 4.8 标价同为 $5.00 / $25.00，但新 tokenizer 使同一代码的 token 数增加约 32%。Claude Sonnet 5 的 $2.00 / $10.00 为促销价，2026 年 8 月 31 日后恢复 $3.00 / $15.00，届时相同代码成本将比 Sonnet 4.6 高出约 32%。跨厂商对比中，Claude 新 tokenizer 在代码上比 GPT 多产生 1.50x 至 1.73x 的 token，TypeScript 差距最大。

OpenAI 对编码评测基准 SWE-Bench Pro 进行详细审计，发现约 30% 的任务存在缺陷。在 731 个任务的公开子集中，前沿模型通过率在八个月内从 23.3% 提升至 80.3%，但数据质量检查显示大量任务存在测试过于严格、提示词描述不足、测试覆盖不全或误导性提示等问题。OpenAI 建议模型开发者仔细审视评测结果，并指出 AI 智能体在规模化数据质量检查中日益增长的实用性。

在5个模型上测试了1730道视觉推理题，发现将图像细节降至"low"会损失准确率，且在gpt-5.5上费用反而上升。真正可靠降低成本的手段是调节推理努力（reasoning effort）。