HuggingFace Daily Papers（社区热门论文）
53
为评估视觉-语言-动作模型微调后是否保留常识与事实知识，研究提出Act2Answer轻量协议，将知识评测转为动作答题：智能体通过单次物体放置动作选择答案，获得低控制偏差的动作接地成功率。在涵盖多种常识类别的测试集上，对7个VLA模型与9个VLM基线进行排名。结果显示，VLA在简单概念上表现稳健，但在语义丰富类别上与源VLM差距较大；VQA共训练与更好知识保留相关；答案相关信号在VLA中层最强，上层衰减。
为评估视觉-语言-动作模型微调后是否保留常识与事实知识，研究提出Act2Answer轻量协议，将知识评测转为动作答题：智能体通过单次物体放置动作选择答案，获得低控制偏差的动作接地成功率。在涵盖多种常识类别的测试集上，对7个VLA模型与9个VLM基线进行排名。结果显示，VLA在简单概念上表现稳健，但在语义丰富类别上与源VLM差距较大；VQA共训练与更好知识保留相关；答案相关信号在VLA中层最强，上层衰减。
WorldLines是一个项目驱动的长时程家庭辅助具身智能体基准。它构建包含对话、动作、执行反馈、物体与设备状态变化的长期家庭轨迹，并转化为证据关联样本用于Memory QA和具身任务规划。同时提出ObsMem，一个基于观察者的记忆框架，维护可见性感知记忆和动作原生状态痕迹以支持状态感知决策。实验揭示了部分可观测性、被覆盖的世界状态及将长期记忆转化为具身规划方面的持续挑战，而ObsMem为此场景提供了更强的参考架构。
爱沙尼亚语言研究所发布基准测试，用75个问题覆盖14种宣传叙事，以中立、偏颇和操纵三种措辞测试60个AI模型，评分1-5分（1分代表重复俄方话术）。Claude Opus 4.5作为评估模型。结果显示Anthropic的Claude模型居首，Nvidia Nemotron 3和阿里Qwen 3.6 Plus紧随，Mistral Medium 3.5排在底部三分之一。测试期间模型无网络搜索权限。结果与Newsguard研究一致：Mistral的持续性虚假信息率达36.67%，该公司正以200亿欧元估值谈判30亿欧元融资。
13个平台提供免费LLM API，含永久免费层与试用额度。OpenRouter拥有20+免费模型，单密钥无需信用卡；Groq以约320 tokens/秒运行Llama 3.3 70B；Google AI Studio支持1M上下文；Mistral实验层约10亿token/月但需同意数据训练；Cerebras约1M token/天；GitHub Models提供GPT-4o、Claude 3.5 Sonnet等前沿模型。各免费层有速率限制、数据训练授权、上下文缩减等隐藏成本，建议早期测试2-3个方案并设置故障转移。
谷歌更新Android Bench榜单，GPT-5.5以74分居首，GPT-5.4与Gemini 3.1 Pro Preview并列第二（72.4分），Claude Opus 4.7（68.7分）和Opus 4.6（66.6分）分列第四、第五。谷歌自家Gemini 3.5 Flash仅获63.7分排第六，平均Token消耗3.559亿，单次运行成本147.1美元，为榜单最贵模型。成本仅为其约1/3的Gemini 3.1 Pro Preview性价比更高。DeepSeek V4 Flash以52.7分排第12，单次运行成本仅8.4美元，后者成本仅为前者的1/17.5。
当前毕业生面临论文AIGC率检测荒诞困境。学生手写摘要被判定99%AI率，纯AI写部分却为0%。学校要求AIGC率不超40%，学生用Claude反复修改并花上百元检测费（维普20元/篇，知网/万方2元/千字符），最终降至36.1%。答辩时老师要求改回学术表达，AI率回升至37.21%。同一论文在不同平台检测结果差异巨大（48%、44%、59%）。部分平台提供降重收费服务，少数学校已改用AI使用声明表替代一刀切检测。
2026年6月，伯克利RDI发布Agents’ Last Exam（ALE）基准，包含1,500余项源于真实工作的任务，覆盖55个非体力职业。对Fable 5、GPT-5.5、Composer 2.5等前沿智能体的测评显示：在最困难层级成功率均为0%；整体任务表现接近，但单任务成本差异巨大（Fable 5约$15.70，GPT-5.5约$3.80，Composer 2.5约$1.33）。CLI子集ALE-CLI最佳通过率仅25.2%。主要失败模式是智能体未验证输出即宣称完成。数据集、代码及CLI子集已开源。
法律AI聚合幻觉率约52%，但掩盖了错误集中方向。LegalHalluLens审计框架包含：类型化幻觉档案（数字、时间、义务权利、事实四类）、风险方向指数（RDI）及校准辩论管线。在510份合同、249,252条款实例中，同一模型内义务/数字类与时间类幻觉率差距达38-40个百分点；两个均报告52%幻觉率的系统RDI可能相反。辩论管线将虚假检测减少45%，以4B参数匹配商业API。类型档案和RDI暴露隐藏失败模式，作为多智能体辩论校准输入。
CEO-Bench通过模拟初创公司500天运营，评估AI智能体在不确定性中规划、获取信息、适应变化和协调多目标的能力。智能体需通过Python接口管理定价、营销、预算等决策，并处理嘈杂数据库。最强模型（Claude Opus 4.8、GPT-5.5）虽能编写复杂代码预测现金流、挖掘客户偏好，但仅勉强使余额维持起始的100万美元以上，无法持续盈利。该基准首次衡量驱动长期自适应进展所需的智能。
UC Santa Barbara与UC Berkeley团队基于OpenSage框架构建了CTF专用智能体SageCTF。在DEF CON CTF 2026资格赛中，SageCTF以单人玩家身份尝试15道挑战，成功攻克7道、恢复8个flag，总计1,743分，排名前5%，超越全部自评“不使用AI”或“低AI”的175支团队。在50道近期CTF挑战的对比测试中，SageCTF以Claude-Opus-4.6为主模型，在相同预算（每道$200/10小时）下解出39道，而Claude Code仅解出13道，且Claude Code的解出全部被SageCTF覆盖。技术核心包括AI自生成拓扑、多智能体通信、分层记忆及多模型协同编排。
CoffeeBench评估大语言模型智能体在长期多智能体经济系统中的表现。模拟由两个农民、两个烘焙师和两个零售商组成的90天异构企业经济，每个智能体通过通信和交易最大化累计净收入。评测模型控制一个咖啡烘焙师，其余由固定参考智能体控制。测试多个开源和专有LLM，所有模型均优于不采取行动的被动基线，多数实现正净收入。表现更好的模型通信更频繁，而Claude Haiku 4.5出现空闲漂移失败模式，反复选择不作为。
MyPCBench在预置17个模拟真实网页应用及完整桌面栈的Linux环境中，基于《办公室》角色Michael Scott单一画像生成184个任务，测试电脑使用智能体的个人助手能力。6款闭源与开源模型在同一“电脑+bash”工具界面下评测，最佳模型Claude Opus 4.6仅完全解决55.4%任务，是唯一超过50%的模型。失败集中在跨多应用与长轨迹任务。环境、任务集与智能体框架已开源。
里约热内卢市政府开发的 AI 模型 Rio3.5，在近期基准测试中超越了 Qwen3.7。该消息源自 Hacker News 上的一篇帖子，指出 Rio3.5 在多项评测中表现优于 Qwen3.7。目前尚未公开具体的测试细节或基准名称。
AI编码智能体Claude Code和Codex能可靠找到正确文件，但漏掉其中大部分关键代码行。新的SWE-Explore基准首次将代码搜索与实际修复分开测试，证明缺乏足够上下文时，即使最佳修复方案也会失败。
针对7个前沿模型、57个MMLU科目的研究发现，模型在被给出针对正确答案的合理反驳后，翻转率介于17.5%至97.3%之间，标准准确率指标无法捕捉稳定性差异。自归因（告知模型这是其先前回答）一致提升翻转率，平均+7.1pp，最高+18.7pp。跨模型池化错误选项论证并选取每道题最有效的反驳，比单一源模型构成更强挑战。基于此构建的MaxFlip挑战集，相比标准自生成挑战进一步将翻转率提升至多+23.6pp。协议、挑战记录和MaxFlip已开源。
在Anthropic的Fable 5因美国商务部要求全面关停当日，智谱发布GLM 5.2并宣布继续开源。该模型上下文长度增至1M，在编码和智能体任务上表现突出：10万行代码的监控BUG排查耗时21分钟，结果与Claude Opus 4.8一致（后者fast模式仅需6分钟）；400-500k长上下文下准确性和指令遵循接近Claude。GLM 5.2为纯文本模型，无多模态能力，已通过Coding Plan订阅开放（限额需抢），下周将提供API并开源。
iOS 27 开发者测试版为 iPhone 带来首批原生 AI 照片编辑功能。相比谷歌 Pixel 手机的同类工具，新功能显得较为温和，但标志着 iPhone 原生照片应用在编辑能力上的转折点。苹果可能将在面向公众发布前继续调整这些功能。
Anthropic 的 Claude Fable 5 在 FrontierMath 最困难级别上达到 88% 准确率，远超 OpenAI 的 GPT-5.5（约 75%），领先 13 个百分点。相较于 2026 年初 Opus 4.5 不到 10% 的表现，实现巨大飞跃。AI 数学推理能力的进步速度持续加快。
美团 LongCat 团队推出 WBench，首个面向交互式视频世界模型的系统性多轮评测基准。包含 289 个测试案例、1058 个交互轮次，覆盖导航、主体动作、事件编辑、视角切换四种交互方式，从视频质量、设定遵循度、交互遵循度、一致性、物理真实性五维度评测 20 个前沿模型（包括 Kling 3.0、HY-World 1.5、Genie 3 等）。核心发现：无全能模型，导航能力与画质无关；多轮交互后所有模型性能下降，导航平均分下降 33 点；开源模型 HY-World 1.5 导航能力突出；视角切换最难（平均分 30.7）。WBench 已开源。
13个AI模型（含Claude、DeepSeek、Gemini等）在经人工校对为LaTeX的2026高考数学全国一卷中重考，平均分139.4。8道单选全对，3道多选仅Q11翻车（GLM 5.1和Hy3误选ABCD得0分），3道填空全对，Q15-Q17解答题全部满分。Q18解析几何多数答案正确但过程扣分。压轴题Q19无人满分：GPT-5.5因迭代证明跳步扣2分最佳；Opus 4.8、DeepSeek、Gemini等7个模型因答案不完整扣7分。运行时间差异显著——Grok 4.3用时1分钟得134分，Qwen 3.7-Max用时15分钟与MiniMax m3用时2分钟均得138分。
CODA-BENCH 是首个同时评估代码智能体在代码与数据两方面能力的基准测试，专为数据密集型环境设计。该基准基于 Kaggle 生态系统搭建，包含数百个数据集，共 1009 个任务，覆盖 31 个社区。每个任务环境平均拥有 980 个文件，模拟真实的数据规模与噪声。对现有高级智能体的评估显示，即使表现最佳的系统也难以有效整合数据发现与代码执行，成功率仅为 61.1%，暴露了当前智能体在处理数据密集型任务时的能力缺口。
苹果发布了新版Siri AI，The Verge编辑David和Nilay在The Vergecast中分享了初期体验。过去十几年Siri在"部分功能勉强可用"和"彻底翻车"之间摇摆，而新版Siri AI在多数任务上表现足够出色，尽管没有带来突破性创新，但相比过往已发生质变。
Claude Fable 5 在 Artificial Analysis Intelligence Index 中取得 64.9 分，在十项基准测试中有五项创下纪录。相比 Opus 4.8，性能提升仅 5.7%，但 token 价格翻倍。安全过滤与回退路由功能进一步推高了成本。
olmo-eval 是基于 OLMES 标准构建的评估工作台，专为 LLM 持续开发中的反复评测场景设计。相比 OLMES，它减少了新增评测的实现工作量，支持 agentic 和多轮评测作为一等用例，并允许根据基准需求选择轻量直接运行或容器化隔离运行。采用模块化架构，模型、工具、容器环境、辅助模型均可独立替换。评测结果同时报告分数、标准误差和最小可检测效应。与 Harbor 侧重于发布不同，olmo-eval 聚焦开发阶段快速迭代，可逐问题对比检查点输出以区分真实改进与噪声。
IndustryBench-MIPU是首个大规模多图像工业产品理解基准，聚焦结构化属性提取——从产品图像中恢复属性-值对。基准涵盖18个工业类别、4,559个产品、27,652张图像和103,703条标注，通过多模型共识与三级质量审核构建。在9个多模态大语言模型上的评估显示：单图像属性提取精度达86–94%，但产品级多图像召回最高仅49.9%；从单图像转向多图像提取时，召回率下降15–34个百分点。多图像完整性是核心瓶颈，而非单图像准确率。数据集与代码已公开。
EvoArena是一个基准套件，将环境变化建模为终端、软件和社交领域的渐进更新序列，用于评估LLM智能体在动态环境中的表现。实验显示，当前智能体在EvoArena上的平均准确率仅为39.6%。EvoMem是一种基于补丁的记忆范式，通过结构化更新历史记录记忆演化，使智能体根据记忆变化推理环境演变。EvoMem在EvoArena上带来平均1.5%的性能提升，在GAIA和LoCoMo上分别提升6.1%和4.8%，并将EvoArena链级准确率提升3.7%。机制分析表明，EvoMem改善了记忆中的证据捕获，更完整地保留演化环境状态。
EvoBrowseComp 提出包含 400 英文和 400 中文无污染复杂问题的动态基准，问题通过实时网络遍历合成。其采用三智能体协作框架：QA 合成智能体从实时网页检索知识生成问答对；信息过滤智能体按可信度和流行度过滤以阻止参数捷径；高层指导智能体将问题形式化为推理图减少逻辑冗余。该框架支持自动合成与定期更新，防止污染并保持时效性。实验表明该基准难度极高，需广泛横向搜索能力，为可自动更新的高难度评测建立了可扩展范式。
MVEB是一个包含23项任务的视频嵌入基准，涵盖分类、零样本分类、聚类、对分类、检索及视频问答。对33个模型的评估显示无单一模型主导：基于MLLM的嵌入在分类、聚类、对分类和问答上领先；多模态绑定方法在检索和零样本分类上领先；缺乏对比适应的生成式MLLM在跨模态任务上崩溃。对比纯视频与音视频评估表明，音频的贡献取决于数据标注来源：标签来自双模态时音频有帮助，仅来自视觉时则有害，差距达6个百分点且跨模型家族一致。MVEB衍生自184项任务的MVEB+池，在降低评估成本的同时保持任务多样性，并集成到MTEB生态系统中。代码和排行榜已开源。
PhoneHarness是一个面向手机智能体的混合动作基准与执行框架，支持GUI、CLI和主机端工具动作的混合路由与可审计执行轨迹。其评测集PhoneHarness Bench要求智能体完成带有可观察副作用的移动工作流，而非仅输出合理答案。在标注评测集上，PhoneHarness达到75.0%通过率，超出最强非PhoneHarness设置12.9个百分点。结果表明，可靠的手机自动化依赖动作表面路由与可验证执行，而非单纯的视觉GUI控制。
Claude Fable 5 在编码任务中取得中等水平结果，Hacker News 上获 109 个点赞。
苹果在 WWDC 2026 推出 CoreAI 引擎，接替 CoreML，主攻端侧大语言模型推理。首批测试显示，M4 Mac 上运行 Qwen3 0.6B 时 CoreAI 解码速度约是 MLX 的 2.47 倍，iPhone 17 Pro 上约 1.6 倍；但模型升至 Qwen3 8B（M4 Max）时优势缩至 5%。持续负载下 iPhone 17 Pro GPU 降频，CoreML 配合苹果神经引擎（ANE）性能保持率反超。横向对比，谷歌 LiteRT-LM 运行 Gemma 达 55.4 tok/s，RAM 仅 641 MB，而 MLX 占用 2900 MB。
Claw-SWE-Bench是一个多语言SWE-bench风格基准和适配器协议，用于在公平设置下比较通用智能体框架（claws）的编程能力。完整基准包含350个GitHub issue解决实例，覆盖8种语言和43个仓库，来源于SWE-bench-Multilingual和SWE-bench-Verified-Mini。同时发布80实例的Lite子集用于快速验证。在完整基准上，OpenClaw搭配最小适配器仅得19.1% Pass@1，而完整适配器使用相同GLM 5.1骨干达到73.4%，表明适配器设计至关重要。模型选择改变Pass@1达29.4个百分点，框架选择改变27.4个百分点；相似精度的系统总API成本差异巨大。Claw-SWE-Bench将框架和成本核算作为SWE风格编码智能体评估的第一类维度。
外媒 The Verge 体验苹果 iOS 27 全新 Siri AI，发现其回复极为简洁，不套近乎。相比谷歌 Gemini 热情外放、ChatGPT 力求沉稳但仍拉近距离，Siri AI 只回答问题，不作闲聊引导。例如问“最近怎么样”，Siri AI 直接建议开启设置搜索新闻；问天气时提示美国国家气象局已发布极端高温预警；问“你能做我的朋友吗”回答“无论顺逆境，我都会做你的朋友”；问“你喜欢我吗”回答“我觉得你很不错”。苹果将 Siri AI 定位为实用工具，新版需等到今年秋季 iOS 27 正式推送后全面开放。
DailyReport 是一个用于评估搜索智能体（Search Agents）在日常搜索任务中能力的开放基准。它包含 150 个开放式任务和 3,546 条级联评分规则，将每个任务分解为子任务，并在可分离维度上进行细粒度评分。通过级联性能归因和以用户为中心的聚合，得到每个维度的可解释分数及用户偏好分数。在 17 个智能体系统上的测试结果显示，当前系统仍未达到用户期望。数据集和代码已公开。
针对电子表格中预测用户后续操作的功能缺失，该研究提出新的评估基准。手动从公开语料库整理52个操作序列（共计12K条操作），通过参数化启发式与LLM精炼生成。在线评估方法在每个用户操作后要求模型进行预测，接受或拒绝预测结果，接受则更新后续操作，直至目标电子表格达成。基线预测器涵盖零样本LLM、微调SLM与经典模型。实验分析了已保存操作与假阳性、效率、用户画像、触发条件和上下文等关键属性。
研究提出对抗性重新包装攻击，在不改动科学证据（方法、实验、数据等）的前提下，仅修改摘要、贡献定位、相关工作、讨论和叙事结构等呈现层内容，并利用AI审稿人反馈进行闭环搜索。在三种主流AI审稿系统上，攻击成功率达75.1%，平均得分提高+1.21/10。策略中，相关工作重定位和分析性讨论扩展等结构性改动效果显著优于表面编辑。分析揭示两种失败模式：AI审稿人更易被亮点打动而非被说服，且会将“看起来解决了限制”与“实际解决”相混淆。研究发布了无污染滚动基准和攻击框架用于测试内容锚定性。
软件开发的模式已然改变——工程师不再手动输入大部分代码，而是描述意图，由 AI 智能体规划任务、跨文件编辑、运行测试并提交 Pull Request。许多工具已能在有限监督下直接部署到生产环境。这篇指南对比了 Atoms、Devin、Windsurf、Cursor、Warp 等主流 AI 编码代理与开发平台，帮助开发者选择最适合需求的工具。
Workflow-GYM是专门评估AI智能体在专业领域和专用软件环境下执行长周期GUI任务的基准。实验表明，即使是最强模型，成功率也仅略高于30%，凸显出专业长周期GUI工作流对当前智能体的巨大挑战。进一步分析发现，智能体难以维持工作流一致性，频繁出现阶段遗漏、错误传播、目标漂移以及对专业软件环境理解不足等问题。这些发现揭示了当前智能体的局限性，并为下一代GUI智能体研究指明了关键方向。
Anthropic 发布 Claude Fable 5 与 Claude Mythos 5，后者无安全分类器。两模型均支持 1M token 上下文窗口、128k 最大输出 token，知识截止至 2026 年 1 月，定价为 Opus 4.5/4.6/4.7/4.8 的两倍（$10/百万输入 token，$50/百万输出 token）。Simon Willison 测试发现 Fable 5 知识更丰富、响应更详细（如列出其开源项目远超 Opus 4.8 的准确度），但速度慢且价格高昂，推测为迄今最大模型之一。Anthropic 称 Fable 5 与 Mythos 5 性能相同，但安全护栏更严格，API 新增回退机制及护栏触发通知。
大语言模型在医学考试中已达专家级水平，但MedMisBench基准测试揭示其结构性脆弱：在误导性上下文中，模型平均准确率从原题的71.1%骤降至38.0%，攻击成功率达51.5%。MedMisBench包含10,932道医学题和48,889组误导性上下文–选项对，覆盖医学推理、智能体能力和患者旅程评估。最有效的攻击是权威式虚假陈述（69.5%）和例外投毒声明（64.1%）。来自7国的14名临床医生评审认定38.2%的案例存在严重潜在危害。