HiL-Bench 基准测试旨在评估智能体在任务信息不完整或模糊时，能否判断何时应自主执行、何时需向人类求助。该测试包含人为设置的障碍信息，核心指标 Ask-F1 综合衡量提问精准度与障碍召回率，以平衡过度提问与盲目猜测。评估显示，当前前沿模型在判断求助时机上存在普遍缺陷，其完整信息性能仅能恢复一小部分。失败模式主要体现为三种：过度自信未察觉信息缺口、虽检测到不确定性但仍持续出错、以及提出宽泛模糊的求助。通过基于 Ask-F1 的强化学习训练，一个 32B 模型在求助质量与任务通过率上均获得提升，且能力可跨领域迁移，表明判断力可通过训练改进。
Rohan Paul@rohanpaul_aiGPT-5.5 Pro achieves a new high score of 159 on the Epoch Capabilities Index! ECI is our statistical tool that combines ...
Epoch AI@EpochAIResearch
阿绎 AYi@AYi_AInotes通过ZenMux平台的PK模式实测，DeepSeek V4 Pro在处理结构化任务（如马斯克思维模型分析）时，输出逻辑清晰、表达母语化，质量达到Claude的85%，但价格仅为其七分之一。作者建议将80%的日常工作（如写代码、调研）交由DeepSeek处理，20%需要顶级文笔的任务使用Claude，可节省70%以上API费用。ZenMux提供免费测试额度、PK对比模式、保险赔付和可观测性工具，帮助用户规避依赖单一API厂商的风险并提升选型效率。
兄弟们,DeepSeek V4 Pro在ZenMux上免费放开了,登录就能跑,实测能替掉你80%的Claude活。视频是我早上实测的和Claude opus 4.7同时跑一个昨SaaS产品网站的任务,效果真的炸裂! 说个前情,老朋友都知道我...
现有视觉语言模型（VLM）的空间智能评估存在系统性缺陷：基于点云标注的问答对在视频评估中因重建误差和标注伪影导致答案错误或模糊，且评估常假设全场景访问，而实际模型仅处理稀疏采样帧。为提升评估有效性，我们提出ReVSI基准，通过重新标注5个数据集的381个场景并严格生成可信问答对，确保问题在模型实际输入下可答且答案正确。该基准提供多种帧预算变体及细粒度物体可见性元数据，支持可控诊断分析。在ReVSI上的评估揭示了以往基准掩盖的系统性故障模式，实现了更可靠、更具诊断性的空间智能评估。
研究团队提出PSP（音素替换剖面），一种用于量化评估印度语种TTS系统口音的可解释基准方法。PSP将口音分解为六个互补维度：卷舌音坍缩率、送气音保真度、元音长度保真度、泰米尔语卷舌近音保真度、Frèchet音频距离以及韵律特征散度。通过在印地语、泰卢固语和泰米尔语上测试五个TTS系统，研究发现：卷舌音错误率随音系难度递增；PSP评估结果与传统可懂度指标排序存在差异；没有单一系统在所有维度上均表现最优。团队同时开源了包括母语参考中心向量、评分代码在内的一系列资源。
每年系统故障导致损失超万亿美元，工程师需通过分析时间序列数据快速定位问题。时间序列问答（TSQA）是关键运维任务，对AI模型构成挑战。为此，研究团队推出ARFBench基准，基于Datadog真实内部事件及遥测数据构建。测试显示，当前领先的大型语言模型、视觉语言模型和时间序列基础模型在ARFBench上表现均有较大改进空间。团队提出混合TSFM-VLM模型，其整体性能接近前沿水平，为TSQA任务提供了新评估框架和改进方向。
一款名为OSS Agent的开源智能体在谷歌Gemini-3-flash-preview模型上运行，成功登顶终端操作基准测试TerminalBench榜首。该智能体由开发者独立构建，其GitHub仓库地址已公开。这一成果在技术社区Hacker News上获得了113个点赞，引发了广泛关注。
elvis@omarsar0构建自进化AI代理必须依赖可靠的评估体系，否则将浪费资源。@FutureAGI_ 开源其平台，整合了领先的评估工具与方法，为开发者提供完整基础设施。该平台涵盖幻觉、毒性、偏见等多维度可修改评估器，集成六种提示优化算法，支持多轮模拟测试与实时安全防护，并提供多语言追踪及兼容OpenAI的网关。其开源特性旨在建立可信任的评估基础，推动自进化AI代理领域发展。
Kimi.ai@Kimi_Moonshot
karminski-牙医@karminski3作者同步了DeepSeek-V4的测试进度，并重点介绍了一项新设计的“大模型工程能力测试”。该测试以约20万行代码的SillyTavern项目为基础，要求大模型通过tool_call创建新的数值系统（如属性、状态），并能注入JS代码与现有系统交互。测试使用魔改的kimi-cli来监督实现过程、统计token与工具使用情况，并运行定制黑盒测试。此外，通过为酒馆增加CLI模式，测试还评估了大模型的Agent能力，使其能自行测试并迭代代码。目前测试仍在进行中。
Anthropic 为 Opus 4.7 更换了分词器（tokenizer）。OpenRouter 通过分析用户从 Opus 4.6 迁移至 4.7 的使用量变化，测算了新分词器对实际成本的影响。
Anthropic在Claude Opus 4.7版本中更新了分词器。通过对比4.6到4.7版本的实际使用数据，分析发现这一技术调整改变了文本转换为令牌的方式，直接影响API计价。相同的文本输入可能产生不同数量的令牌，从而导致用户的实际使用成本发生可量化的变化。这一调整虽不改变模型能力，但关乎运营开销，是开发者和企业用户需评估的关键因素。
为实现真正的数字自主性，研究团队推出了AutoGUI-v2基准，旨在评估智能体对图形用户界面（GUI）的深度功能理解与交互结果预测能力。该基准通过一种新颖的视觉-语言模型与人类协作流程构建，递归解析多平台截图，生成了涵盖六个操作系统的2,753项任务，严格测试区域与元素级语义理解、功能定位及动态状态预测。评估结果显示，基于智能体数据微调的开源模型在功能定位上表现优异，而商业模型则在功能描述上领先。关键发现是，所有模型在面对非常见操作的复杂交互逻辑时均表现不佳，表明深度功能理解仍是当前面临的核心挑战。
François Chollet@fchollet62.1% on ARC-AGI-3 would be the score if they used the same scoring as ARC-AGI-1/2
François Chollet@fcholletthere's a chance ARC-AGI-3 is already solved with GPT-5.5-xhigh + tools
OpenAI宣布停止使用SWE-bench Verified基准评估前沿编码能力。该基准基于GitHub历史问题构建，其任务分布已无法准确反映当前AI编码助手需解决的实际问题类型。随着模型性能提升，基准测试集趋于饱和，区分度下降，现有模型表现已接近人类水平。因此，团队将转向更具挑战性和现实复杂度的新评估方法。
一项新基准测试让GPT-5.4和Claude Opus 4.6等顶级模型处理初级投资银行家的日常任务。评审结果显示，没有任何一个AI输出被评定为可直接交付客户，其内容存在不精确或完全错误的问题。尽管如此，超过半数的银行家表示，他们会将AI输出作为工作的起点。
阿绎 AYi@AYi_AInotes一位印度开发者详细介绍了Claude的12个关键代码功能，包括CLAUDE.md、Plan Mode、MCP等，并建议开发者使用AI模型聚合平台。针对Claude可能封号的风险，推荐使用Zenmux平台，该平台集成了包括Claude Opus、GPT-5.4和DeepSeek V4 Pro在内的多种最新大模型，国内可直连。平台提供PK对比模式、保险赔付机制和详细的可观测性工具。特别指出，DeepSeek V4 Pro在Zenmux上目前有免费额度，经测试能处理大部分Claude的工作流，建议用户自行测试以进行模型选型。
兄弟们,DeepSeek V4 Pro在ZenMux上免费放开了,登录就能跑,实测能替掉你80%的Claude活。视频是我早上实测的和Claude opus 4.7同时跑一个昨SaaS产品网站的任务,效果真的炸裂! 说个前情,老朋友都知道我...
ClawMark是一个针对长期协作智能体的新型基准测试，旨在模拟外部环境独立变化的真实工作场景。它构建于一个状态可动态演化的沙盒环境，包含文件系统、电子邮件等五类服务，覆盖13个专业场景下的100项任务。评估完全依赖1537个确定性Python检查器对服务状态进行评分，未使用LLM作为评判工具。对七个前沿智能体系统的测试表明，最强模型加权得分为75.8，但严格任务完成率仅为20.0%，说明智能体常能取得部分进展却难以完整达成工作流。分析发现，性能在首次环境更新后普遍下降，适应动态变化仍是核心挑战。
elvis@omarsar0Great paper on improving proactive agents. (bookmark it) Proactive agents act before you do. But how do you evaluate som...
研究人员发布了人工智能的λ演算基准测试，旨在评估AI模型理解和执行函数式编程核心概念的能力。该基准测试包含一系列基于λ演算的挑战性问题，用以检验模型的逻辑推理、符号操作和算法实现水平。初步测试结果显示，当前主流大语言模型在该基准上的表现差异显著，部分模型得分不足50分，凸显了AI在形式化推理方面的现有局限。这一工具为衡量AI的抽象思维与计算能力提供了新的量化标准。
文章对在Firefox浏览器上运行的Mythos进行了快速体验评估，并对其市场热度提出质疑。Mythos作为一款备受关注的新应用或平台，此次在Firefox上的运行表现是评测重点。文中提及了实际体验中的具体变化或性能指标，但未详细列出核心数据。最终观点指向Mythos可能被过度炒作，其实际体验并未完全达到市场宣传的预期水平。
elvis@omarsar0微软新论文引入DELEGATE-52基准，模拟52个专业领域的长文档编辑工作流。测试19个模型，包括Gemini 3.1 Pro、Claude 4.6 Opus和GPT-5.4等前沿模型，发现在长工作流结束时平均损坏25%的文档内容。代理工具使用未能改善表现。论文还提供了其他相关见解。
Orange AI@oran_ge阿绎 AYi@AYi_AInotes作者通过ZenMux平台的PK模式，将DeepSeek V4 Pro与GPT-5.4、Claude Opus 4.6进行同屏实测对比。结果显示，在日常项目中，V4 Pro能处理约80%的任务，且成本显著低于Claude Opus；剩余20%对稳定性要求极高的关键任务则仍由Claude兜底。作者认为模型分层策略至关重要，未来将是模型组合的时代。他推荐ZenMux平台，因其PK对比功能、输出异常保险赔付机制及细致的成本观测工具，能有效提升效率并规避单一API供应商风险。目前V4 Pro和Flash版均有免费测试额度。
针对生成式AI模型评估成本高昂的问题，本文提出主动评估框架ProEval。该框架利用迁移学习与预训练高斯过程代理模型，将性能估计建模为贝叶斯积分，将故障发现建模为超水平集采样，从而主动选择高信息量的测试输入。理论证明其估计器具有无偏性与有界性。在推理、安全对齐和分类任务上的实验表明，ProEval仅需8-65倍更少的样本即可实现误差在1%以内的性能估计，同时在严格评估预算下能发现更多样化的故障案例，效率显著优于基线方法。
karminski-牙医@karminski3作者在收到DeepSeek-V4的推送后，已开始对其进行测试。本次测评将重点关注其编程能力，并计划将其与近半年来发布的其他主流大模型（如GPT、Claude、LLaMA等）进行横向比较。完整的评测视频将在所有测试完成后发布，目前会先放出速报。
Ethan Mollick@emollickI had a range of models "build me a procedurally generated 3D simulation showing the evolution of a harbor town from 300...
Ethan Mollick@emollick
Chubby♨️@kimmonismusDEEEPSEEK 4 RELEASED!! Holy!! Lets go
针对交互式视频生成模型缺乏公平比较基准的问题，本文提出了首个统一测试平台WorldMark。它包含三个核心部分：一个将共享WASD动作映射到各模型原生控制的统一接口，确保六大模型能在完全相同的场景与轨迹上对比；一个涵盖500个测试案例的分层测试集，覆盖不同视角、风格与难度等级；以及一个支持视觉质量、控制对齐和世界一致性评测的模块化工具包。所有数据与代码均已公开，同时上线的在线平台World Model Arena支持模型并排对比与实时排名。
小互@xiaohu在独立评测中，GPT-5.5以3分优势超越Anthropic和Google的模型，重回性能榜首。其API定价大幅上涨，输入与输出费用分别达到每百万5美元和30美元，但token消耗减少了约40%。模型通过自我编写的算法进行了优化，使token生成速度提升超过20%。尽管知识准确率达到57%的历史新高，但其幻觉率也高达86%，显示出性能与可靠性之间的显著矛盾。
研究团队推出了AgentSearchBench，这是一个用于评估真实场景下AI智能体搜索能力的大规模基准。该基准从多个提供方收集了近10,000个真实世界智能体，将智能体搜索形式化为可执行任务查询和高级任务描述下的检索与重排序问题，并利用基于执行结果的性能信号来评估相关性。实验表明，语义相似性与智能体实际性能之间存在持续差距，暴露了仅基于描述进行检索和重排序方法的局限性。研究进一步证明，轻量级的行为信号（包括执行感知探测）能显著提升排序质量，凸显了将执行信号纳入智能体发现过程的重要性。相关代码已开源。
尽管GPT-5.5的官方API尚未发布，但作者利用OpenAI为OpenClaw等工具开放的订阅集成机制，通过反向工程开源Codex CLI，开发了一个LLM插件。该插件允许付费订阅用户通过Codex后端API调用GPT-5.5模型。文章以生成“骑自行车的鹈鹕”SVG图像为例，展示了其使用效果，并指出高推理强度设置能显著提升输出质量，但耗时更长。目前，OpenAI表示正与合作伙伴制定API大规模服务的安全要求。
关联讨论 1 条IT之家（RSS）研究系统评估了用于评估其他模型输出的视觉-语言模型（VLMs）的可靠性。通过引入超过40个扰动维度、涵盖4000多个扰动实例的基准测试，对4个主流VLMs在图像到文本和文本到图像任务中的表现进行了检验。结果显示，当前评估型VLMs存在显著盲点：它们时常无法检测出质量已下降的输出，在某些情况下漏检率超过50%；尤其难以识别细粒度的组合性与空间错误；对于与输入图像相矛盾的幻觉内容也常不敏感。尽管成对比较范式相对更可靠，但失误率依然存在。这些发现凸显了当前评估型VLMs的不可靠性，警示在将其用于基准测试和开发决策时需保持谨慎。相关代码与数据已公开。
本研究提出一个结合语言控制与感知标注的多语言TTS受控多维配对评估框架。针对10种印度语言的5000余条原生及语码混合句子，对7个前沿TTS系统进行了评估，收集了超过1900名母语评分者提供的12万对以上比较数据。评分者除整体偏好外，还从可懂度、表现力、音质、生动性、噪声和幻觉六个感知维度进行判断。研究通过Bradley-Terry模型构建多语言排行榜，利用SHAP分析解读人类偏好，并分析了排行榜的可靠性及各模型在不同感知维度上的优势与权衡。
针对大语言模型客服代理评估效率低、难以发现深层故障的难题，研究团队提出了DIVERT框架。该框架采用基于快照和覆盖引导的用户模拟方法，在关键决策点保存完整对话状态并从中断点恢复，避免了相同对话前缀的重复计算。通过从每个决策点生成多样化的用户响应以探索不同交互路径，DIVERT能够更高效、更全面地发现由罕见用户行为引发的深层故障模式。实证结果表明，与标准的线性蒙特卡洛展开方法相比，DIVERT在单位计算量内能发现更多故障，并扩展了可识别故障的任务范围。
