Elon Musk@elonmusk39
Grok Voice brutally dominates the top of the τ-voice Bench Grok scores 67.3%, while Gemini sits at 43.8% and GPT Realtim...
标签「评测/基准」清除
全部 AI 动态
AI 相关资讯全量信息流
5月2日
15:41
Elon Musk@elonmusk13:49
TestingCatalog News 🗞@testingcatalog66
🚨 Google updated Gemini 3 Flash in arena It still has the same name "Gemini 3 Flash". However, output quality is two ti...
06:47
05:47
François Chollet@fchollet56
GPT-5.5 & Opus 4.7 on ARC-AGI-3 - GPT-5.5: 0.43% - Opus 4.7: 0.18% We found 3 failure modes: - True local effect, false ...
03:47
François Chollet@fchollet精选70
GPT-5.5 Scores .43% on ARC AGI 3! - GPT-5.5: 0.43% - Opus 4.7: 0.18% - GPT-5.4: 0.20% - Claude 4.6: 0.45% - Gemini 3.1: ...
推荐理由：Chollet 用 ARC AGI 3 冷冰冰的数字撕开了 RL 的局限，GPT-5.5 0.43% 的得分说明在未知领域模型会做完全不相干的事，比任何安全论文都来得更直击要害。
5月1日
19:15
PixVerse@PixVerse_49
SeeDance 2.0 vs HappyHorse 1.0 Very quick text-to_video comparison. Which do you prefer? Universal Prompt: "Aesthetic: l...
18:47
The Decoder：AI News（RSS）
58
英国 AI 安全研究所评估发现，OpenAI 的 GPT-5.5 成为第二个能够自主完成完整网络攻击模拟的 AI 模型。其表现与 Anthropic 的 Claude Mythos 几乎持平，后者目前仍仅限小范围使用。GPT-5.5 现已通过 ChatGPT 和 API 向公众广泛提供。
15:47
TestingCatalog News 🗞@testingcatalog55
This release shows increased cost efficiency to run the Artificial Analysis Intelligence Index, with Grok 4.3 sitting co...
14:40
Rohan Paul@rohanpaul_ai43
LongCat团队推出LARYBench基准，旨在评估AI模型是否从视频中真正学习动作，而非仅在后端机器人策略中表现良好。该基准聚焦模型从视频提取的潜在动作表示，通过超过120万视频片段等数据，将评估拆分为动作分类与控制回归两个清晰测试。关键发现是，通用自监督视觉模型（如V-JEPA 2和DINOv3）表现优于专用具身模型，表明强大视觉表示已蕴含丰富动作知识，且潜在特征空间比像素重建更利于机器人控制映射。这为利用丰富视频数据解决机器人训练数据稀缺问题提供了新方向。
14:14
HuggingFace Daily Papers（社区热门论文）
59
Claw-Eval-Live 是一个用于评估工作流智能体的实时基准，它将可定期刷新的公共需求信号层与可复现的时间戳快照相分离。该基准基于当前版本中 ClawHub Top-500 技能构建了 105 项涵盖商业服务与本地工作空间修复的受控任务。评估过程全面记录执行轨迹、审计日志、服务状态与运行后产物，并综合使用确定性检查与结构化大模型评判。在对 13 个前沿模型的公开统一测试中，领先模型仅通过 66.7% 的任务，无一达到 70%。失败多集中于人力资源、管理及多系统业务工作流，而本地修复任务相对容易但仍有提升空间。结果表明，工作流智能体评估需同时基于新鲜的外部需求与可验证的智能体执行动作。
14:14
Artificial Analysis@ArtificialAnlys57
上周，Kimi K2.6、MiMo V2.5 Pro和DeepSeek V4 Pro三大领先开源模型发布，在Artificial Analysis Intelligence Index上得分达52-54分，与顶尖闭源模型GPT-5.5的60分差距缩小至6分以内，相比一年前22分的开源模型进步显著。这些模型均为万亿参数规模的MoE架构。然而，在复杂推理、智能体编码及知识准确性方面，开源模型与闭源模型仍存在明显差距。例如在HLE、CritPt和TerminalBench Hard等专项评估中得分大幅落后；在Omniscience评估中，DeepSeek V4 Pro的幻觉问题尤为突出。
11:14
HuggingFace Daily Papers（社区热门论文）
55
本文针对非专业低代码用户指令模糊、质量低的现实瓶颈，提出了首个多模态交互式网站生成基准InteractWeb-Bench。该基准通过四类用户智能体与基于人物角色的指令扰动，系统模拟了包含模糊、冗余和矛盾在内的多样化用户行为，并提供了一个支持澄清、实现、验证和提交统一行动的交互式执行环境，以实现迭代式意图细化与代码合成。大量实验表明，当前前沿的多模态大语言模型智能体仍受困于“盲目执行”模式，在意图识别与自适应交互方面存在明显局限。
08:44
elvis@omarsar058
测试者使用 DeepSeek-V4-Pro 在 Pi 编码智能体上构建了一个 LLM 知识库，对其开箱即用的表现感到震撼。这是首个在推理能力上媲美 Claude 和 Codex 的开源权重模型，且成本效益高，支持 100 万上下文长度。该模型无需复杂配置即可在基础框架中直接运行，擅长智能体编码和知识密集型推理任务，能跨公司文档、论坛、论文和代码库进行多步骤研究、代码生成与上下文推理。其高效运行得益于 Fireworks 的市场最快推理速度及混合注意力设计，将 KV 缓存降至 10%，推理计算量减少近 4 倍，实现了快速且低成本的实践部署。
08:16
Ethan Mollick@emollick61
xAI has launched Grok 4.3, achieving 53 on the Artificial Analysis Intelligence Index with improved agentic performance,...
08:00
HuggingFace Daily Papers（社区热门论文）
51
本文提出了首个针对真实世界自然场景表格图像的问答基准WildTableBench。该基准包含从在线论坛和网站收集的402张高信息密度表格图像，以及涵盖五大类别、17种子类型的928个人工标注验证问题。研究对21个前沿的专有和开源多模态基础模型进行了评估，结果显示仅有一个模型准确率超过50%，其余模型准确率介于4.1%至49.9%之间。诊断分析进一步揭示了模型在结构感知和数值推理方面存在的持续弱点。该基准为深入评估和提升表格图像理解能力提供了重要的诊断工具。
07:45
OpenRouter@OpenRouter精选68
推荐理由：Grok-4.3 降价但性能反升，agentic 跑分直接到 1500，如果之前觉得 Grok 贵而没试过，这次可以上车了。
04:39
Rohan Paul@rohanpaul_ai58
前沿AI已能以超人速度和近乎零边际成本自主完成端到端的复杂专家级网络攻击链。在AISI的网络安全评估中，GPT-5.5与Mythos Preview表现相当，均远超GPT-4o等早期模型。GPT-5.5在包含32个步骤的企业网络攻击模拟中成功完成端到端攻击，而人类专家需约20小时。在一项人类专家需12小时完成的反向工程任务中，GPT-5.5仅用11分钟、花费1.73美元即告解决。
OpenAI's GPT-5.5 is the second model to complete one of our multi-step cyber-attack simulations end-to-end 🧵
04:12
Chubby♨️@kimmonismus60
在@atomic_chat_hq平台的本地LLM游戏开发竞赛中，Gemma 4 31B与Qwen 3.6 27B于MacBook Pro M5 Max上对决。尽管Qwen生成速度更快（32 tokens/秒）且回答更具创意，但Gemma仅用3分51秒和6209个token，输出了更简短、清晰、逻辑性强的答案。在具体的吃豆人游戏逻辑实现上，Gemma在点击反应、与墙壁/幽灵的交互及粒子效果处理方面表现更优。作者强调此为单次测试，Qwen或可通过调整设置提升表现，并邀请社区验证。
03:14
Artificial Analysis@ArtificialAnlys65
蚂蚁集团InclusionAI实验室发布开源非推理模型Ling 2.6 1T。该模型拥有1万亿参数，在Artificial Analysis Intelligence Index上得分为34分，较前代Ling-1T提升15分，智能水平接近DeepSeek V3.2等同类模型。其在科学推理与知识任务上表现扎实，GPQA得分达75%。模型运行效率较高，执行该指数仅需约1600万输出tokens，成本效益突出，通过官方API运行全套指数成本约95美元。但其事实可靠性较弱，在AA-Omniscience基准上得分为-51分，主要因幻觉率高达92%。模型权重已在Hugging Face公开。
03:14
Artificial Analysis@ArtificialAnlys46
在名为CritPt的尖端科学评估中，GPT-5.5 Pro (xhigh) 以比前代GPT-5.4 Pro (xhigh) 低60%的成本和令牌使用量，实现了0.5个百分点的性能提升，将得分推至30.5%。CritPt评估包含全球30多家机构的60多名研究人员贡献的研究生级别物理问题。自2025年11月发布以来，最高分从Gemini 3 Pro Preview的9%跃升至GPT-5.4 Pro的30%。OpenAI指出，GPT-5.5 Pro相比GPT-5.5“使用了更多计算资源进行深度思考，以提供更稳定的优质答案”。该模型每令牌定价相同，但通过使用更少的令牌完成了评估。
02:42
Chubby♨️@kimmonismus46
OpenAI's GPT-5.5 is the second model to complete one of our multi-step cyber-attack simulations end-to-end 🧵
01:44
Sam Altman@sama43
GPT-5.5 is on par with Claude Mythos - GPT-5.5 average pass rate of 71.4% (±8.0%) - Mythos Preview 68.6% (±8.7%) - GPT-5...
00:13
Artificial Analysis@ArtificialAnlys64
阿里巴巴开源了Qwen3.6系列两款模型：27B密集模型和35B A3B混合专家模型。其中，Qwen3.6 27B在Artificial Analysis智能指数上得分46，成为150B参数以下最智能的开源模型，领先于Gemma 4 31B等。但其运行完整测试消耗的输出token约为后者的3.7倍，成本高出约21倍。两款模型均采用Apache 2.0许可，支持262K上下文，具备多模态能力。值得注意的是，其幻觉率较前代大幅下降，但准确率基本持平。更大的Plus和Max Preview版本未开源。
4月30日
22:11
Artificial Analysis@ArtificialAnlys56
腾讯发布开源混合专家模型Hy3-preview，总参数量2950亿，激活参数量210亿。其在Artificial Analysis综合智能指数上得分42，落后于近期开源的GLM-5.1、DeepSeek V4 Flash及Qwen3.6 27B等推理模型。具体评测表现不均衡：在真实世界任务基准GDPval-AA上落后于主要竞品，但在研究级物理评测CritPt上与高分模型GLM-5.1持平；其相对弱项在于AA-Omniscience指数，幻觉率较高。模型采用Tencent HY社区许可协议，商业使用受限，已在Hugging Face和SiliconFlowAI平台提供。
19:10
阿绎 AYi@AYi_AInotes64
今天看到一条容易被刷掉的消息,但越想越觉得有意思。 LMArena 文本榜最新更新,文心 5.1 Preview 拿下 1476 分,国内第一,全球前十五唯一国产模型,排在 GPT-5.5 和 DeepSeek-V4-Pro 前面。 这事本...
16:09
SemiAnalysis@SemiAnalysis_53
在 DeepSeek-V4 Pro 1.6T 模型上，采用机架级解耦设计的 GB300 NVL72 系统性能达到 B200 的 6.5 倍。这一高吞吐配置得益于 DeepSeek-AI 的 MegaMoe 内核，该内核将专家分派、专家组合及 GEMM 运算完全融合并重叠至单一内核中。性能突破由 Radixark、LMSYS 和 NVIDIA AI 的工程师团队快速实现。CoreWeave 为此项开源性能优化贡献了临时的 GB300 NVL72 机架资源，使整个社区受益。
08:00
HuggingFace Daily Papers（社区热门论文）
47
研究团队发布了EDU-CIRCUIT-HW数据集，包含1300多份大学STEM课程的真实学生手写解答。该研究利用专家核对的转录文本与评分报告，同步评估了多种多模态大语言模型的上游识别准确性与下游自动评分性能。评估发现，模型识别的手写内容中存在大量潜在错误，表明其在高风险教育场景中用于自动评分等理解型任务的可靠性不足。一项案例研究表明，通过识别错误模式进行预先检测与纠正，仅需极少人工干预（例如将3.3%的作业交由人工评分），即可有效提升AI评分系统的鲁棒性。代码与数据集已开源。
08:00
HuggingFace Daily Papers（社区热门论文）
55
WindowsWorld是一个跨应用工作流基准，旨在系统评估GUI代理在模拟真实专业活动的复杂多步骤任务中的性能。该基准采用由16种职业引导的多智能体框架，生成包含四个难度级别及中间检查的任务，经人工审核后在模拟环境中执行。基准包含181个任务，平均每个任务有5.0个子目标，覆盖17种常用桌面应用，其中78%为跨应用任务。实验结果显示，当前领先的大模型与代理在跨应用任务上表现不佳（成功率低于21%），远低于简单单应用任务；在需要跨三个及以上应用进行条件判断与推理的任务中大多失败，且执行效率低下。相关代码、基准数据与评估资源已开源。
06:08
05:13
Anthropic：Research（发表成果 · 网页）
精选63
Anthropic团队开发了BioMysteryBench生物信息学基准测试，用于评估Claude在分析真实数据集、解决开放式研究问题上的能力。测试发现，Claude的生物学科学能力正快速迭代，当前模型表现已与人类专家相当，最新模型甚至解决了部分专家小组未能破解的问题，且有时策略迥异。该基准旨在应对科学评估的固有挑战，如生物学研究中存在多种合理的“正确”方法，以及研究决策的高度主观性。
推荐理由：Anthropic 用 99 道真实生物信息学题测 Claude，发现最新模型在人类解不出的难题上也能答对 30%，而且解题策略和人类完全不同。做生物信息的同行值得看看这个 benchmark 的设计思路，比刷分数字有意思得多。
01:39
Hugging Face：Blog（RSS）
精选62
AI评估成本已突破关键阈值，正重塑其可及性。Holistic Agent Leaderboard花费约4万美元运行了2万多次智能体推演，单次前沿模型测试成本可达2829美元。研究显示，相同任务成本差异可达33倍，脚手架选择是核心成本驱动因素。虽然静态基准可通过压缩技术实现百倍成本缩减，但智能体评估因轨迹长、噪声大而压缩有限。高支出未必带来更好结果：例如在GAIA测试中，2828美元方案准确率28.5%，而1686美元方案反达57.6%。当评估包含模型训练时，成本将完全超越常规API框架。
推荐理由：这篇把分散的评估成本数据拉通了算总账，曾经便宜的评测现在动辄上万美元，独立评估正被价格挤出牌桌，做Agent的人必须意识到排行榜的代价。
4月29日
22:45
22:10
Hacker News 热门（buzzing.cc 中文翻译）
48
一项测试显示人工智能在计算碳水化合物摄入量时存在显著不一致性。测试要求AI进行27000次计算，结果每次答案均不相同，无法保证重复性。这一发现突显了AI系统在精确计算任务中的不可靠性，尤其对医疗健康管理等需要高可靠性的领域构成挑战。测试基于糖尿病技术网站的文章，相关讨论在Hacker News上获得116点关注，引发对AI算法稳定性的质疑。
17:08
Chubby♨️@kimmonismus44
17:08
Chubby♨️@kimmonismus63
GPT-5.5 Pro achieves a new high score of 159 on the Epoch Capabilities Index! ECI is our statistical tool that combines ...
15:35
阿绎 AYi@AYi_AInotes66
蚂蚁集团推出的Ling-2.6-1T模型在免费测试期表现突出，处理复杂任务速度可比竞品快6倍，并具备主动思辨能力。其核心优势在于极高的token效率，能将成本降至可比模型的四分之一，同时综合智能接近GPT-5.4非推理水平，实现了高智能与低生产成本的结合。该模型在SWE-bench、AIME26等生产相关评测中领先，擅长代码、Agent编排等实际应用。蚂蚁依托支付宝场景与海量数据，通过开放API策略推动行业竞争重点从刷榜转向生产落地。
说个暴论,2026 年 AI 行业的转折点,不是 GPT-5.5,也不是 o3,是蚂蚁@AntLingAGI 刚刚发布的 Ling-2.6-1T。 我用 Ling-2.6-1T 跑了一个查理芒格的 100 个思维模型的硬核任务, 结果真的太...
14:38
HuggingFace Daily Papers（社区热门论文）
54
为评估AI智能体在自主科学研究中的文献发现能力，研究者推出了AutoResearchBench基准测试平台。它包含两项任务：“深度研究”需通过多步探索定位特定论文；“广度研究”需全面收集满足条件的论文系列。该基准具有研究导向性、文献聚焦性和开放探索性三大特点，对智能体的科学理解与精细推理能力提出高要求。实验显示，即使最强大的大语言模型在深度研究任务上准确率仅为9.39%，在广度研究任务上的IoU指标仅为9.31%，凸显了任务的艰巨性。相关数据集与代码已开源。
10:38
HuggingFace Daily Papers（社区热门论文）
48
针对现有基准在环境隔离、任务单一和意图假设完美等方面的局限，本文提出了DV-World基准。该基准包含260个任务，旨在真实工作流中评估数据可视化智能体。它涵盖三大领域：支持原生电子表格图表创建与诊断的DV-Sheet、要求跨编程范式重构可视化以适应新数据的DV-Evolution，以及通过模拟模糊需求测试主动意图对齐的DV-Interact。基准采用结合数值对齐与多模态大模型语义视觉评判的混合评估框架。实验表明，当前最先进模型整体表现不足50%，凸显其处理真实世界复杂挑战的能力存在严重缺陷。DV-World为引导智能体发展企业级综合专业知识提供了现实测试平台。
10:30
09:35
阿绎 AYi@AYi_AInotes精选76
蚂蚁集团发布Ling-2.6系列模型，通过MoE架构与Fast-Thinking机制，将推理激活率降至7%，在实现接近GPT-5.4非推理水平综合智能的同时，大幅降低token成本。该模型在SWE-bench Verified等真实Agent场景测试中表现领先，旨在解决Agent规模化应用的成本痛点。目前已在OpenRouter提供免费API并即将开源，推动行业焦点从刷榜转向生产落地。其高效率特性尤其适合高频任务，在部分任务中速度比Claude Sonnet 4.6快6倍、成本低50倍。
后续来了兄弟们,卧槽真的太炸了,同样的任务,同样的配置,速度比Claude Sonnet 4.6还快 6 倍,成本低约 50 倍, openrouter 和 官方 API 均限时免费 1 周使用时间,白嫖的机会,冲啊兄弟们! 我上周那条讲E...
推荐理由：把 token 成本砍到对手四分之一而智能分不降，Agent 规模化终于有了真正的成本解决方案，做 Agent 的必看。