软件开发的模式已然改变——工程师不再手动输入大部分代码，而是描述意图，由 AI 智能体规划任务、跨文件编辑、运行测试并提交 Pull Request。许多工具已能在有限监督下直接部署到生产环境。这篇指南对比了 Atoms、Devin、Windsurf、Cursor、Warp 等主流 AI 编码代理与开发平台，帮助开发者选择最适合需求的工具。

Chubby♨️@kimmonismus

53

Chubby♨️: So we can expect The Elder Scrolls VI to be fully prompt-generated, right? Matt Shumer made this with Fable 5 in three.j...

歸藏(guizang.ai)@op7418

49

用户在 26 万行代码的 CodePilot 代码库中测试 Fable 5，发现其在漏洞分析和 bug 寻找方面表现出色，能找出大量问题。但在代码生成上，Fable 5 并非万能，写出的代码常有明显 bug，需要多次修复才能完成，属于偏科严重的模型。与之前的版本 4.8 相比，Fable 5 某些方面提升巨大，另一些方面虽更好但提升有限。

歸藏(guizang.ai): 在我 26 万行代码的 CodePilot 代码库中尝试 Fable 5,看一下它能找出多少问题

数字生命卡兹克@Khazix0918

83

Anthropic今日发布Claude Fable 5（加安全限制）与Mythos 5（底层相同），价格每百万输入token $10、输出$50。即日起至6月22日，Pro/Max/Team/企业版订阅用户可免费使用Fable 5，之后仅API可用。跑分全面碾压，三方基准达SOTA。案例：Stripe用Fable 5一天迁移5000万行Ruby代码；纯视觉通关宝可梦火红；自建3D CAD编辑器并设计可打印模型；Mythos 5加速药物设计10倍，基因组学自主训练模型超越Science论文成果。

Workflow-GYM是专门评估AI智能体在专业领域和专用软件环境下执行长周期GUI任务的基准。实验表明，即使是最强模型，成功率也仅略高于30%，凸显出专业长周期GUI工作流对当前智能体的巨大挑战。进一步分析发现，智能体难以维持工作流一致性，频繁出现阶段遗漏、错误传播、目标漂移以及对专业软件环境理解不足等问题。这些发现揭示了当前智能体的局限性，并为下一代GUI智能体研究指明了关键方向。

meng shao@shao__meng

53

meng shao: 我这次用 Step 3.7 Flash 测了一个真实 Coding Agent 任务: 把一组 Agent Memory 的运行痕迹,做成本地可检查的 Memory Inspector。 输入不是干净需求文档,是一个已有 Local Age...

karminski-牙医@karminski3

64

用户测试 Anthropic Fable 5，使用 xhigh 模式让其从零编写光追渲染器。生成的 PBR 与 BRDF 代码质量出色，但出现变量声明晚于引用的错误，导致代码直接报错。推测模型过度关注核心算法逻辑，忽略了变量声明等细节。此外，成本高昂，仅生成该网页就花费 2 美元。作者调侃 AI 超越人类还为时尚早——因为自己的工资负担不起。

Anthropic 发布 Claude Fable 5 与 Claude Mythos 5，后者无安全分类器。两模型均支持 1M token 上下文窗口、128k 最大输出 token，知识截止至 2026 年 1 月，定价为 Opus 4.5/4.6/4.7/4.8 的两倍（$10/百万输入 token，$50/百万输出 token）。Simon Willison 测试发现 Fable 5 知识更丰富、响应更详细（如列出其开源项目远超 Opus 4.8 的准确度），但速度慢且价格高昂，推测为迄今最大模型之一。Anthropic 称 Fable 5 与 Mythos 5 性能相同，但安全护栏更严格，API 新增回退机制及护栏触发通知。

Berryxia.AI@berryxia

51

海外博主 Matthew Berman 对 Fable 5 进行了一周实战测评。结论是 Fable 5 价格高昂，不适合普通 Vibe Coding 场景，仅在专业领域、超长时任务中可能有所发挥。相比之下，Opus 和 GPT 等模型更可靠、更具性价比，建议普通用户优先选择 Opus 和 GPT。

Berryxia.AI: http://x.com/i/article/2064479983104602112

大语言模型在医学考试中已达专家级水平，但MedMisBench基准测试揭示其结构性脆弱：在误导性上下文中，模型平均准确率从原题的71.1%骤降至38.0%，攻击成功率达51.5%。MedMisBench包含10,932道医学题和48,889组误导性上下文–选项对，覆盖医学推理、智能体能力和患者旅程评估。最有效的攻击是权威式虚假陈述（69.5%）和例外投毒声明（64.1%）。来自7国的14名临床医生评审认定38.2%的案例存在严重潜在危害。

为填补现有AI智能体在真实科研场景中评估的空白，SciAgentArena被提出，包含约200个跨领域科学任务，支持逐步验证与交互式评估。测试发现，当前AI智能体在任务结构与评价标准明确的特定数据分析流程中能有效发挥作用，但在生成新颖见解、持续自主探索以及为开放式科研问题构建稳健方案方面仍表现不均。该基准为衡量科学领域AI智能体的进展提供了实用框架，相关代码、任务与数据集已开源。

本研究对比大五人格与计划行为理论（TPB）在LLM自我报告与行为一致性上的表现。在四项行为任务与11个前沿LLM中，同一对话内TPB达到人类水平一致性，大五不能；跨对话时，仅对训练形成的隐性偏见等行为保持一致性，对上下文启动的谄媚等行为则崩溃；角色提示使自我报告更一致，但不改变行为。结论：粗粒度人格框架（如大五）不适合测试部署行为。

Berryxia.AI@berryxia

62

Matthew Berman 一周实测 Fable（Mythos），认为这是真正的下一代模型，但存在明显怪癖。优点：Workflow 模式能瞬间拉起几百个 agent 并行全量代码审查，找出 bug 和边缘 case 的数量是 Claude/GPT 的一倍以上；自主性极强，敢于长时间自主完成超长时域任务。缺点：极度啰嗦、信息密度过高；喜欢反复问澄清问题；速度慢，简单任务五分钟才输出几千 token。建议把 effort level 调到最低。总结：Fable 5 是当前最强模型，适合最复杂的任务，但价格高昂，简单任务不推荐。

Orange AI@oran_ge

74

Claude Fable 5 基于 Mythos 底座并增加安全护栏，是自 4.5 以来最重大进步。在软件工程、知识工作等基准中领先，任务越复杂优势越明显。价格：输入 10 美金、输出 50 美金、缓存输入 1 美金，长文本一句话可达 10 美金。已原价上线 Cola。

Artificial Analysis@ArtificialAnlys

67

HiDream 发布 O1-Image-1.5，在 Artificial Analysis 文生图排行榜中位列第三，超越 Google Nano Banana 2。该闭源模型可生成高达 2K 分辨率图像，基于自研 Unified Transformer（UiT）架构，将原始像素、文本和任务条件编码到统一 token 空间。质量仅次于 OpenAI，与 GPT Image 1.5 (high)、Nano Banana 2（Gemini 3.1 Flash Image Preview）及 Cosmos3-Super-Text2Image 相当。定价 $80/千张，现可通过 HiHarness 及 Vivago 平台使用。

Artificial Analysis@ArtificialAnlys

61

Artificial Analysis 宣布将于6月11日（周四）在旧金山举办 Coding Agent Benchmarks 活动。演讲嘉宾包括 Cognition 高级研究副总裁 Silas Alberti、Cursor 工程师 Nate Schmidt、Kernel Labs 创始人兼 Latent Space 播客联合主持人 Alessio Fanelli，以及 Artificial Analysis 联合创始人 George Cameron。更多嘉宾待公布，活动将在 Kernel Labs 举行，可通过 Luma 链接申请参会。

Nathan Lambert@natolambert

63

Mercor: Claude Fable 5 takes #1 on APEX-SWE: 65.5% Pass@1 overall. It scores ~18pp higher than Opus 4.8. We tested @claudeai Fab...

swyx@swyx

70

Mythos正式上线FrontierCode基准测试，旨在衡量AI生成可维护代码的能力。该基准包含超1000小时维护者验证的任务，并引入3000+评分标准防奖励攻击。最高难度FC Diamond上，Opus 4.8得分仅13.8%，且Opus 4.8与GPT 5.5均未随effort扩展提升。Mythos/Fable后训练将test time compute用于数小时级长任务。基准已在Devin上线，ACU成本仅1.4倍。FC Extended中最易的1/3任务在2025年末被快速攻克——Opus从41%升至74%，标志着AI编码进入“维护可读代码”新时代。

swyx: It's finally out!!! @METR_Evals found that more than half of SWEBench results is unmergeable slop. FrontierCode represen...

Noam Brown@polynoamial

68

Noam Brown: http://x.com/i/article/2057694226981257216

Rohan Paul@rohanpaul_ai

66

Cognition 发布 FrontierCode 编码基准，评测 AI 生成的代码是否达到维护者可合并的质量，而非仅通过测试。基准含 150 个任务（Main 最难 100 个，Diamond 最难 50 个），由 20 余位开源维护者设计，每个任务耗时超 40 小时。评分设阻隔项（如破坏行为、缺失逻辑等）和加权项（可读性、类型安全等）。额外包含反向测试、范围检查、自适应评分。在 Diamond 子集上，Claude Opus 4.8 得分 13.4%，GPT-5.5 6.3%，Gemini 3.1 Pro 4.7%，开源最佳 Kimi K2.6 3.8%，显示顶尖模型在可合并代码上仍表现糟糕。

Cognition: Introducing FrontierCode: a coding eval that raises the bar for difficulty & quality. Each task took 40+ hrs of work by ...

AI评估结果规模庞大但报告不一致，导致读者难以跨来源比较、识别遗漏或追溯结论。Evaluation Cards通过整合基准元数据、评估运行数据和模型元数据，形成统一记录。方法包括：(1)从52篇论文和10次利益相关者访谈中推导报告模式；(2)实现四个可解释信号（可复现性、文档完整性、来源与风险、分数可比性），并针对研究与非研究受众提供不同读者模式；(3)部署监控工具，覆盖5816个模型、635个基准和101843个结果，揭示当前报告实践中的系统性缺口。

SpatialWorld 是为评估多模态智能体在复杂真实任务中的交互式空间理解而设计的统一基准。它整合 8 个异构模拟后端，包含 760 个人工标注任务，覆盖家庭日常、旅行、社交协作等场景。智能体需在仅视觉部分可观测条件下主动收集第一人称证据，并通过统一文本动作接口输出决策。对 15 个先进多模态智能体的评测显示，最强闭源模型 GPT-5 平均任务成功率仅 17.4%，最强开源模型 Qwen-3.5 达 14.1%。分析表明任务成功与执行效率存在脱节，不同领域性能差异显著，主动探索与长程规划仍是瓶颈。

meng shao@shao__meng

52

开发者用 Step 3.7 Flash 测试真实 Coding Agent 任务：将已有 Local Agent Memory MVP 的运行痕迹（memory_events、structured_facts、memory_chunks 等 9 个场景测试数据）生成为单文件本地 HTML 工具 agent_memory_inspector.html。页面展示 8 条 memory events、9 条 structured facts、8 个 memory chunks、9/9 场景测试通过、敏感信息过滤前后对比、recall 命中内容及 retrieval 类型与分数、跨 session 记忆连续性。模型先读取现有代码和测试输出，检索 Letta、LangSmith 等工具展示方式后编写代码。测试环境：Cursor Agent + step-3.7-flash，本地 HTML 输出。

meng shao@shao__meng

72

Cognition 发布 FrontierCode，含 150 个任务（来自 36 个开源仓库，每任务 40+ 小时），按难度分 Extended/Main/Diamond 三层。沿行为正确性、回归安全等六维度衡量 mergeability，指标为 Pass rate 与 Score。Diamond 子集最高分：Claude Opus 4.8 达 13.4%，GPT-5.5 为 6.3%，Gemini 3.1 Pro 4.7%；Main 子集 Opus 4.8 为 34.3%。开源最佳 Kimi K2.6 仅 3.8%。GPT-5.5 token 用量约为 Opus 四分之一，性价比更优。

Cognition: Introducing FrontierCode: a coding eval that raises the bar for difficulty & quality. Each task took 40+ hrs of work by ...

P3D-Bench是用于评估多模态大语言模型参数化3D生成与结构推理的基准。它覆盖Text-to-3D、Image-to-3D和Assembly-3D三个任务族，从可执行性、几何保真度、拓扑、文本约束、多视图语义对齐和部件级结构六维评分。基于400个文本案例、400个图像案例及203个标注装配体对前沿MLLMs和纯文本LLMs的评测发现了三个结论：装配体任务最困难，模型无法将多部件组合成连贯结构；模型能恢复目标物体的全局形状与语义身份，但无法精确复现输入指定的参数化几何；部件级建模普遍薄弱，既无法还原每个部件的几何，也无法输出正确的部件数量。

ComBench是一个面向奥林匹克级组合数学的基准，包含100个人工标注的竞赛级别问题，分为分析型（侧重严谨数学论证）和构造型（需要明确构造及正确性证明）。评估结合评分指南的证明评分与确定性构造验证，揭示证明质量与构造有效性的差异。前沿模型在该基准上远未饱和：最强模型整体平均分65.4%，Best@4达75.3%。Kimi-K2.6在分析型证明评分上落后于GPT-5.5，但在构造型Best@4上反超；存在性和构造类问题对所有代表性模型始终最难。

swyx@swyx

62

Cognition 发布 FrontierCode 编码评估，每任务由顶级开源维护者花费 40+ 小时编写。METR 发现 SWEBench 超一半结果为不可合并的垃圾代码。FrontierCode 含 3000+ 评分标准，首次衡量代码是否可合并。最高难度 FC Diamond 上，Opus 4.8 仅得 13.8%。在 FC Extended 最易任务中，Opus 在 2025 年底 4 个月内从 41% 提升至 74%，标志 AI 编码进入"可维护代码"时代。

Cognition: Introducing FrontierCode: a coding eval that raises the bar for difficulty & quality. Each task took 40+ hrs of work by ...