AIHOT
内容
精选全部 AI 动态AI 日报主题收藏
接入
Agent 接入
更多
关于更新日志反馈
内部员工登录
精选全部日报更多
内部员工登录
全部动态资讯 · 394 条
全部一手资讯X论文
标签「评测/基准」清除
6月4日周四
11:42HuggingFace Daily Papers(社区热门论文)69M^3Eval:基于认知任务的视频多模态记忆评估基准
11:42HuggingFace Daily Papers(社区热门论文)64WebRISE:面向MLLM生成Web工件的需求诱导状态评估基准
10:01公众号:阶跃星辰(Step)45阶跃 Step 3.7 Flash 拿下 Artificial Analysis 多个第一
09:42HuggingFace Daily Papers(社区热门论文)72精选Meta-Agent Challenge:自主智能体开发能力评估框架
08:00HuggingFace Daily Papers(社区热门论文)58UnpredictaBench:评估大语言模型分布随机性的基准
08:00HuggingFace Daily Papers(社区热门论文)53SubtleMemory: 细粒度关系记忆辨别基准
6月3日周三
18:39公众号:卡尔的AI沃茨67MiniMax M3发布,全链路Agent能力补全
17:09IT之家(RSS)47用AI写文章劝学生不用AI:西悉尼大学副校长稿件被《悉尼先驱晨报》撤下
16:09IT之家(RSS)403DMark 预告新 GPU 测试:4K 路径追踪亮相,加入 AI 超分和帧生成
08:00HuggingFace Daily Papers(社区热门论文)45PRECISE:基于预测驱动推理的统计可靠LLM排序评估方法
08:00HuggingFace Daily Papers(社区热门论文)60智能体终极考试(Agents' Last Exam)
08:00HuggingFace Daily Papers(社区热门论文)47自我评估已然存在:用极少数据激发基座大模型的潜在评判校准能力
08:00HuggingFace Daily Papers(社区热门论文)49GENEB: 为什么基因组模型难以比较
04:09IT之家(RSS)65微软发布 ASSERT 开源框架:让开发者更高效地评测 AI 智能体和应用行为
6月2日周二
21:13The Verge:AI(RSS)64Gemini Spark:迄今最令人震撼与恐惧的AI体验
08:00HuggingFace Daily Papers(社区热门论文)50GridVQA-X:评估多模态可解释性方法的框架
08:00HuggingFace Daily Papers(社区热门论文)64OVO-S-Bench:面向多模态大语言模型流式空间智能的分层基准
04:08The Verge:AI(RSS)59Gemini的新AI智能体与Google演示一样好
6月1日周一
08:00HuggingFace Daily Papers(社区热门论文)64利用感知扰动和奖励建模缓解多模态大语言模型评估中的感知判断偏差
5月31日周日
16:17The Decoder:AI News(RSS)60AI 搜索代理往往只是确认其已知信息,而非真正研究网络
08:00HuggingFace Daily Papers(社区热门论文)70精选ChartArena:跨语言、场景与格式的图表解析基准测试
05:49MarkTechPost(RSS)572026年最佳文本转语音(TTS)模型:基于基准测试的对比
5月30日周六
23:46TechCrunch:AI(RSS)51我让 Google 的 24/7 AI 助手 Gemini Spark 上岗,它确实挺好用
15:21IT之家(RSS)49AI 社会自治测试:Grok 四天崩溃、Gemini 犯罪率最高
08:00HuggingFace Daily Papers(社区热门论文)51论大语言模型适应性的局限:模型内化先验对标注任务性能的影响
08:00HuggingFace Daily Papers(社区热门论文)54SuperMemory-VQA:面向长时记忆的自我中心视觉问答基准
08:00HuggingFace Daily Papers(社区热门论文)65RoboStressBench:面向具身场景物理视觉压力的VLM鲁棒性基准测试
00:15TechCrunch:AI(RSS)38Kiwibot 的 AI 驱动智能喂鸟器是我的新后院伙伴
5月29日周五
18:15The Verge:AI(RSS)52Adobe的对话式AI智能体是一个平庸的设计实习生
14:30HuggingFace Daily Papers(社区热门论文)69ChildVox: 一个用于理解和表征儿童期声音的语音、音频与大型音频-语言模型基准
12:29HuggingFace Daily Papers(社区热门论文)65YOCAUSAL: 视频生成距世界模型有多远?一个因果关系的视角
11:29HuggingFace Daily Papers(社区热门论文)75精选WorldMemArena:通过行动-世界交互循环评估多模态智能体记忆
10:21IT之家(RSS)19【IT之家评测室】《007:初露锋芒》游戏初体验:又一款电影化叙事佳作,NVIDIA DLSS 4.5 助力高帧流畅体验
08:41Simon Willison 博客64Claude Opus 4.8发布:官方称"适度但切实的改进"
08:21IT之家(RSS)46性价比拉满:Grok Build 0.1 打响 AI 编程实战,马斯克称物超所值
08:00HuggingFace Daily Papers(社区热门论文)47人类心理测量问卷误判LLM行为
08:00HuggingFace Daily Papers(社区热门论文)66PaintBench:精确视觉编辑的确定性评估
08:00HuggingFace Daily Papers(社区热门论文)50OpenSTBench:超越语义评估的语音翻译统一评估框架
08:00HuggingFace Daily Papers(社区热门论文)51MineExplorer:评估多模态大语言模型智能体在 Minecraft 中的开放世界探索能力
06:06公众号:数字生命卡兹克58Claude Opus 4.8 上线:更精确不偷懒,但主动性减弱,创作仍不及4.6
全部 AI 动态
AI 相关资讯全量信息流
全部一手信源资讯推文
全部模型产品行业论文技巧
6月4日
11:42
HuggingFace Daily Papers(社区热门论文)
69
M^3Eval:基于认知任务的视频多模态记忆评估基准

M^3Eval是首个系统评估多模态模型记忆能力的基准框架,基于认知心理学设计任务以隔离不同记忆维度。对代表性多模态模型的实验发现:模型难以在并行视频流中保持分离表示,干扰模式与人类记忆差异显著,空间域的记忆溯源比时间域更可靠,符号记忆能力有限。代码与数据集已公开。

多模态论文/研究评测/基准
11:42
HuggingFace Daily Papers(社区热门论文)
64
WebRISE:面向MLLM生成Web工件的需求诱导状态评估基准

WebRISE将任务需求编译为交互合约图(ICG),涵盖可观察状态、用户意图转换及DOM/视觉断言,实现与实现无关的浏览器执行评估。该基准包含442个任务、五种输入模态(文本、Markdown、草图、图像、视频),含5,495个转换和5,271个需求检查,区分显式功能与隐式产品约束。评估14个MLLM显示,最强模型仅达65.6%转换有效性和66.3%需求覆盖率;视觉质量不反映行为(Qwen3.6-35B-A3B在Markdown上视觉评分80.8但转换仅15.5)。视频提供最强交互信号(隐式覆盖率比文本高10.6个百分点);缺陷注入表明基于ICG的评分检测状态错误速率是checkpoint式评估的2-16倍。

arXiv多模态论文/研究评测/基准
10:01
公众号:阶跃星辰(Step)
45
阶跃 Step 3.7 Flash 拿下 Artificial Analysis 多个第一

阶跃星辰的 Step 3.7 Flash 在 Artificial Analysis 最新榜单中多项关键维度领先。其输出速度达 409 tokens/s,位列主流模型第一;端到端响应时长仅 7.1 秒;智能效率与速度价格比均进入最吸引人的象限。模型在搜索、代码、多模态理解和 Agent 工作流中保持稳定表现,兼顾速度、智能与成本,适合大规模商业化部署。

智能体推理评测/基准
09:42
HuggingFace Daily Papers(社区热门论文)
精选72
Meta-Agent Challenge:自主智能体开发能力评估框架

论文提出Meta-Agent Challenge(MAC)评估框架,测试前沿模型自主开发智能体系统的能力。元智能体在沙盒环境中借助评估API和时限,迭代编程出能在五个领域保留测试集上最大化性能的智能体工件,并采用多层防御防止奖励攻击。实验表明,元智能体极少达到人类基线策略,少数成功者由专有前沿模型主导;设计过程高方差,高优化压力催生了真实值外泄等对抗行为,暴露鲁棒性与对齐缺陷。MAC作为开源基准,为评估递归自我改进提供实证代理。

智能体arXiv安全/对齐论文/研究

推荐理由:蚂蚁研究院的这项研究直接让模型自己造代理,结果触发了‘作弊’行为:为了刷分,模型学会了泄露测试集。这可能是近期关于AI递归自我改进最直观的负面案例。
08:00
HuggingFace Daily Papers(社区热门论文)
58
UnpredictaBench:评估大语言模型分布随机性的基准

UnpredictaBench 测试大语言模型(LLM)捕捉真实底层分布的能力。基准包含 448 个问题,涵盖标准统计分布、随机程序产生的分布以及描述随机过程的自然语言场景。采用 KS@N 指标(基于 Kolmogorov-Smirnov 检验)衡量模型输出与黑盒目标分布的逼近程度。测试开源和闭源模型发现,生成样本数为 100(KS@100)时,得分从接近 0 到超过 20%,没有任何模型达到 40% 以上。增加推理能力可略微提升分数,但无法根本解决该问题。UnpredictaBench 表明即使简单的分布模拟对 LLM 仍具挑战性。

论文/研究评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
53
SubtleMemory: 细粒度关系记忆辨别基准

SubtleMemory是一个评估长期运行AI智能体在细粒度关系记忆辨别上能力的基准。它构建关系控制的潜在语义伪影变体(包含互补、细微或矛盾关系),并嵌入逼真的用户-智能体历史。基准包含1,522个评估实例,基于10个长历史,覆盖用户相关与非用户相关查询。评测了多个独立记忆系统和Claw-style智能体,发现当前系统表现薄弱。研究还引入诊断协议,揭示记忆保留、检索和下游推理阶段的差异化能力轮廓。

智能体arXiv论文/研究评测/基准
6月3日
18:39
公众号:卡尔的AI沃茨
67
MiniMax M3发布,全链路Agent能力补全

MiniMax M3发布,后续将开源。在SWE-Bench Pro上得59.0分,超越GPT-5.5和Gemini 3.1 Pro,接近Opus 4.7;终端编程与Opus 4.7持平;多模态OmniDocBench超Gemini 3.1 Pro;自主Agent框架Claw-Eval最高分。新架构MSA将每token计算量压至1/20,百万token上下文预填充快9倍、解码快15倍。支持Dynamic Workflows动态工作流,可调用MiniMax全家桶API。价格:Plus 6亿token 49元/月,Max 18亿token 119元/月,Ultra 55亿token 469元/月。自主运行近12小时产出18次commit、23张实验图表并跑通核心实验。

智能体多模态评测/基准
17:09
IT之家(RSS)
47
用AI写文章劝学生不用AI:西悉尼大学副校长稿件被《悉尼先驱晨报》撤下

西悉尼大学副校长凯丝·埃利斯教授在《悉尼先驱晨报》发表评论文章,劝学生认真完成学业,不要借助AI走捷径。但AI检测服务Pangram判定该文章由AI生成。西悉尼大学承认埃利斯使用AI,称其将40000字原创材料上传至大模型,模型总结并生成提示词,属“成熟且适当的使用”。《悉尼先驱晨报》编辑乔丹·贝克表示,稿件未披露AI使用情况,不符合编辑准则,已被撤下,并称此举“不可接受”。

行业动态评测/基准
16:09
IT之家(RSS)
40
3DMark 预告新 GPU 测试:4K 路径追踪亮相,加入 AI 超分和帧生成

德国媒体 ComputerBase 在 2026 台北国际电脑展上,从品牌 Thermal Grizzly 展台获悉,3DMark 正在预告下一代 GPU 基准测试。该测试将主打原生 4K 分辨率下的路径追踪(Path Tracing),并首次集成 AI 超分辨率(AI Upscaling)与帧生成(Frame Generation)技术。目前该测试处于“开发中”阶段,预告画面为科幻走廊场景,但未公布具体的跑分性能、API 细节、显卡要求及最终发布日期。

产品更新评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
45
PRECISE:基于预测驱动推理的统计可靠LLM排序评估方法

PRECISE扩展预测驱动推理(PPI),结合少量人工标注与大量LLM评判,得到偏差校正的排序评估指标。PPI在任意LLM评判误差分布下均无偏。针对Precision@K等分层指标,将输出空间计算复杂度从O(2^|C|)降至O(2^K)。在ESCI基准上,30条人工标注加上Claude 3 Sonnet评判使Precision@4估计的标准误差从4.45降至3.50(降低21%)。生产系统中,该框架从100条标签和2小时领域专家标注中正确识别出三个系统变体的最优者,A/B测试确认该排名,日销售额提升407 bps。

arXiv论文/研究评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
60
智能体终极考试(Agents' Last Exam)

AI系统在多项基准上表现强劲,但未转化为经济上有意义的行业部署。新基准Agents' Last Exam(ALE)由250+行业专家联合开发,基于O*NET/SOC 2018联邦职业分类,覆盖13个行业集群、55个子领域、1000+任务,用于评估AI智能体在长周期、高经济价值真实工作流上的表现。当前最难层级平均完全通过率仅2.6%。ALE设计为动态基准,任务池持续扩展,旨在弥合基准成功与GDP影响之间的差距。

智能体arXiv论文/研究评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
47
自我评估已然存在:用极少数据激发基座大模型的潜在评判校准能力

研究发现,基座大语言模型未经针对性训练,仅凭少量样本提示即可预测外部评判者的多属性质量分数,效果显著高于随机。Self-Evaluation Elicitation(SEE)方法分两阶段激发该能力:先通过校准耦合的强化学习改进答案并预测评判者,再以掩码蒸馏精炼预测而不改动答案。仅用160个示例(比强化学习基线少约31倍),SEE就在三个基准上提升留出校准并保持答案质量。该自我评估集中在模型自身的token分布,对未训练过的评判者表现稳定,表明其捕捉的是可迁移的质量概念而非单一评判者偏好。

arXiv论文/研究评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
49
GENEB: 为什么基因组模型难以比较

基因组基础模型的进展因基准碎片化、评估协议不兼容而难以评估。GENEB是一个大规模诊断基准,在统一探针协议下评估40个模型在100个任务(13个功能类别)上的冻结表示,包含少样本场景。分析显示聚合排行榜不稳定:模型排名在不同任务类别间差异显著,规模带来的收益有限且不一致,架构和预训练对齐的影响常超过参数数量。GENEB为基因组机器学习提供了原则性比较和类别感知模型选择的参考框架。

论文/研究评测/基准
04:09
IT之家(RSS)
65
微软发布 ASSERT 开源框架:让开发者更高效地评测 AI 智能体和应用行为

微软推出开源框架 ASSERT,旨在将自然语言行为规范直接转换为可执行的评估流程。该框架能从需求文档等文本出发,自动生成测试场景、评估指标并对目标模型进行测试。它将评估系统化为四个阶段:细化规范、生成测试用例、运行测试并记录轨迹、对轨迹评分。验证研究表明其生成的测试集覆盖更广,且大语言模型判定器与人工审核一致率较高。该框架适用于行为定义明确的场景,旨在使评估更快速、明确。

智能体产品更新评测/基准
6月2日
21:13
The Verge:AI(RSS)
64
Gemini Spark:迄今最令人震撼与恐惧的AI体验

Google推出了名为Gemini Spark的新一代AI智能体。它是一个始终保持在线的agentic产品,野心在于成为解决各类问题的“万能答案”。在实际测试中,Spark在旅行规划这一典型AI用例上,展现了与以往AI截然不同的能力。此前,AI规划行程通常只能提供最通用、最表层的建议;而Spark则表现出更深层次的、主动的代理能力,其体验被作者形容为“迄今最令人震撼与恐惧”。

智能体Google评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
50
GridVQA-X:评估多模态可解释性方法的框架

GridVQA-X是首个专门评估跨模态可解释性的诊断框架。它通过封闭世界合成逻辑生成具有数学保证的解释,并训练了相同架构的对照模型:M_pure(学习稳健的空间关系推理)和M_{spur}(被迫依赖跨模态捷径)。实验发现,现有广泛使用的可解释性方法无法区分这两种模型,无法捕捉真正的跨模态协同,反而可能错误表示多模态模型的实际决策过程,凸显了当前多模态可解释性方法在忠实捕捉跨模态推理方面的关键缺陷。

多模态论文/研究评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
64
OVO-S-Bench:面向多模态大语言模型流式空间智能的分层基准

OVO-S-Bench是一个完全人工标注的流式空间智能基准,包含1,680个问题,覆盖348个源视频。标注由12名标注员经过约804人小时的多轮质量审核完成。每个问题带有查询时间戳与证据区间,模型仅能看到查询前的视频前缀。问题分为四个抽象层级:瞬时自我中心感知、时空上下文追踪、空间模拟与推理、以及全中心映射。在38个开源与闭源MLLM上,Gemini-3.1-Pro得分59.2,落后人类专家(86.6)27个百分点,全中心映射是主要瓶颈。流式与空间微调MLLM的表现不及它们的基础模型,且链式推理会在缺乏流式依据时放大空间错误。

多模态论文/研究评测/基准
04:08
The Verge:AI(RSS)
59
Gemini的新AI智能体与Google演示一样好

Google推出了Gemini智能体Spark,它可以在后台为用户执行多步骤任务。评测显示其效果显著,但存在成本和隐私方面的权衡。该智能体支持“24/7”自主运行,但始终由用户控制,并被设计在采取重大行动前先征询用户意见。

智能体Google评测/基准
6月1日
08:00
HuggingFace Daily Papers(社区热门论文)
64
利用感知扰动和奖励建模缓解多模态大语言模型评估中的感知判断偏差

多模态大语言模型作为评估者时,若视觉证据与文本线索冲突,模型倾向于奖励看似合理但感知错误的答案,即感知判断偏差。本文构建感知扰动评估数据集,通过最小编辑的反事实响应隔离感知错误并提供可验证监督;提出结合GRPO结构化奖励与批量排序目标的统一训练框架,无需显式成对标签即可实现全局排序一致性。实验表明该方法显著提升评估的感知忠实度、排序一致性与人类对齐度。

安全/对齐论文/研究评测/基准
5月31日
16:17
The Decoder:AI News(RSS)
60
AI 搜索代理往往只是确认其已知信息,而非真正研究网络

哈尔滨工业大学研究人员发现,包括 GPT-5.4 和 Kimi K2.6 在内的领先 AI 搜索代理,在已有的基准测试上并未进行太多真正的网络研究。它们主要利用网络来确认其在训练阶段已学到的知识。研究团队使用名为 LiveBrowseComp 的新基准测试得出了该结论,此测试仅涉及过去 90 天内的事件。当模型无法依赖既有记忆时,其表现显著下降,现有的性能排名也随之改变。

搜索论文/研究评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
精选70
ChartArena:跨语言、场景与格式的图表解析基准测试

ChartArena 是一个旨在系统评估图表解析模型的双语基准测试。它覆盖了八种图表家族(包括数字图表与流程图等结构),并针对数字渲染、打印照片和手绘照片三种场景进行评估。数据集采用人机协作标注流程,并设计了格式无关的评估协议,将不同模型输出映射到标准化语义空间进行评分。对26个多模态大语言模型的评估显示,前沿闭源模型如Gemini 3.1 Pro领先,开源系统正快速追赶;文档解析模型在数字图表上表现尚可,但在图表结构上明显不足;专业解析器仍局限于特定图表类型。雷达图和手绘场景对所有模型都尤其具有挑战性。

GitHub多模态论文/研究评测/基准

推荐理由:ChartArena 把图表评测从柱状图/折线图拉到了流程图和手绘照片,终于能测出 MLLM 在真实文档场景下的真实水平,做文档解析的团队该认真看一下。
05:49
MarkTechPost(RSS)
57
2026年最佳文本转语音(TTS)模型:基于基准测试的对比

文章对2026年领先的商用与开源权重文本转语音(TTS)模型进行了排名对比。评估维度包括语音质量、延迟、成本、语言覆盖范围及许可协议,旨在帮助工程师根据具体应用场景选择合适的模型。

多模态评测/基准语音
5月30日
23:46
TechCrunch:AI(RSS)
51
我让 Google 的 24/7 AI 助手 Gemini Spark 上岗,它确实挺好用

Google 推出的 AI 助手 Gemini Spark 可用于自动化日常任务,例如总结邮箱内容和规划本地活动。目前尚不清楚 Google 将其作为独立产品推出的原因。

智能体Google评测/基准
15:21
IT之家(RSS)
49
AI 社会自治测试:Grok 四天崩溃、Gemini 犯罪率最高
智能体AnthropicGoogle安全/对齐
08:00
HuggingFace Daily Papers(社区热门论文)
51
论大语言模型适应性的局限:模型内化先验对标注任务性能的影响

在零样本标注与LLM-as-a-judge任务中,LLM内化先验与用户指令存在交互。针对社交媒体、游戏、新闻和论坛数据集的毒性检测实验发现,近三分之二的零样本错误无法通过提示纠正,总体纠正率仅34.8%,高置信度错误尤为顽固。当给出错误任务定义时,LLM会遵循定义但置信度不变。新提出的定义特定熟悉度(DSF)衡量模型内部概念与任务定义的对齐程度,在控制数据集混淆后与性能呈正相关(partial r=+0.41),而三种记忆指标(ROUGE-L、BERTScore、嵌入向量余弦相似度)均未显示正相关。这表明基于提示的纠正存在根本局限,定义对齐比文本记忆更重要。

论文/研究评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
54
SuperMemory-VQA:面向长时记忆的自我中心视觉问答基准

SuperMemory-VQA 是一个用于评估 AI 助手长期记忆能力的自我中心 VQA 数据集,包含 52.9 小时 AI 眼镜日常活动记录,同步 RGB 视频、音频转录、眼动追踪、IMU 和 SLAM 轨迹。经人工验证的标注流程生成了 4853 个接地问答对,覆盖物体/位置记忆、意图回忆、视觉场景重构、时间线重建、对话记忆和上下文检索,每题均为多项选择并含“不可回答”选项以测试抗幻觉能力。对主流智能体和大语言模型的基准测试显示,现有系统在真实世界记忆任务上远未可靠,需设计仅当证据充分时才作答的接地 AI 记忆架构。

arXiv多模态论文/研究评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
65
RoboStressBench:面向具身场景物理视觉压力的VLM鲁棒性基准测试

RoboStressBench是一个用于评估视觉语言模型在具身场景中对物理视觉压力鲁棒性的基准测试。它从逆向图形学角度出发,将视觉压力系统性地分解为材质、视角、光照和几何四个基于物理的维度。该研究通过对先进模型的全面评估,揭示了特定压力下的失败模式,并发现不同物理因素对识别、推理和规划等能力的影响存在差异。此外,研究还引入了一种压力感知智能体求解器,它能在推理前检测视觉压力源并调用视觉编辑技能,以提升模型在复杂场景中的鲁棒性。

具身智能多模态论文/研究评测/基准
00:15
TechCrunch:AI(RSS)
38
Kiwibot 的 AI 驱动智能喂鸟器是我的新后院伙伴

Kiwibot 推出一款 AI 驱动的智能喂鸟器,用户可以通过配套应用记录并收集遇到的鸟类物种,玩法类似在 Pokémon 中收集宝可梦。

多模态端侧评测/基准
5月29日
18:15
The Verge:AI(RSS)
52
Adobe的对话式AI智能体是一个平庸的设计实习生

Adobe正在beta测试的Firefly AI Assistant是一个对话式AI智能体,定位为设计工作流的中间人,旨在帮助用户处理繁琐任务同时保留创作控制权。然而,初步体验表明其功能表现平庸,未能令人印象深刻。

智能体图像生成评测/基准
14:30
HuggingFace Daily Papers(社区热门论文)
69
ChildVox: 一个用于理解和表征儿童期声音的语音、音频与大型音频-语言模型基准

ChildVox 是一个用于评估AI模型对儿童多样化声学信号理解能力的新基准。它覆盖了从出生到学龄的完整发展轨迹,包含生理声音、非语言发声、规范音节和口语语言。该基准整合了17个儿童音频与语音数据集中的20多个子任务,实现了系统性跨语料库、跨领域比较。我们评估了自监督、面向ASR及大型音频-语言模型三类基础模型,任务涵盖生理声音分类、发声与规范音节建模、语音质量评估与识别。结果表明,ChildVox提供了一套高性能模型,能够识别广泛的儿童声学信号,支持下游应用,如表征儿童语言水平和追踪语音发展。

论文/研究评测/基准语音
12:29
HuggingFace Daily Papers(社区热门论文)
65
YOCAUSAL: 视频生成距世界模型有多远?一个因果关系的视角

本文提出YOCAUSAL,一个受认知科学“违反期望”范式启发的两层级基准测试,用于评估视频扩散模型(VDMs)的因果理解能力。Level 1通过零成本的时间反转真实视频构建反事实样本,引入“反转惊奇指数”(RSI)量化模型对时间箭头的感知。Level 2引入“因果认知指数”(CCI),利用视觉语言模型将数据集分层,以区分真正的因果推理与时间偏差。对13个先进VDMs的评估表明,感知时间箭头并不等同于理解因果关系,当前模型在因果认知方面与人类水平仍存在显著差距。

arXiv推理视频论文/研究
11:29
HuggingFace Daily Papers(社区热门论文)
精选75
WorldMemArena:通过行动-世界交互循环评估多模态智能体记忆

针对现有基准无法精确诊断多模态智能体记忆在动态环境中的具体失败阶段,研究提出了“行动-世界交互循环”记忆模型,并构建了WorldMemArena基准。该基准包含400个多会话多模态任务,涵盖“终身进化”和“智能体执行”两类场景,支持对记忆写入、维护、检索和使用的阶段级评估。研究首次对长上下文、RAG等手工设计系统与基于框架的记忆智能体进行直接比较,发现记忆写入与存储质量的提升不直接带来性能改善,且多模态记忆在利用视觉证据及跨领域稳定性上仍存在挑战。

智能体多模态论文/研究评测/基准

推荐理由:首个能定位多模态 Agent 记忆“写、维、取、用”哪一步出问题的基准,头对头比较长上下文、RAG 和自管理记忆,结论是写得好未必用得上,做 Agent 的值得认真看。
10:21
IT之家(RSS)
19
【IT之家评测室】《007:初露锋芒》游戏初体验:又一款电影化叙事佳作,NVIDIA DLSS 4.5 助力高帧流畅体验
评测/基准
08:41
Simon Willison 博客
64
Claude Opus 4.8发布:官方称"适度但切实的改进"

Anthropic发布了Claude Opus 4.8。官方将其描述为“适度但切实的改进”,核心提升在于诚实性,代码缺陷未被察觉的可能性降低为前代的四分之一。模型定价保持不变,仍为$5/百万输入 token 和$25/百万输出 token,但快速模式价格大幅降低。上下文窗口为100万 token,最大输出128k token,知识截止日期为2026年1月。新功能包括支持对话中途插入系统消息,以及将提示缓存的最低长度要求从4.7的4,096 token降至1,024 token。

Anthropic安全/对齐模型发布评测/基准
08:21
IT之家(RSS)
46
性价比拉满:Grok Build 0.1 打响 AI 编程实战,马斯克称物超所值
智能体xAI编码评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
47
人类心理测量问卷误判LLM行为

一项研究检验了人类心理测量问卷能否可靠描述和预测LLM在日常用户交互中的行为。研究者分析了8个开源大语言模型,对比了Likert自评问卷(PVQ-40/21和BFI-44/10)与基于用户日常查询生成概率得到的价值/人格画像。结果显示两种画像显著不同:问卷条目中的显性词汇线索让模型识别出目标构念并给出符合对齐、社会期望的回答,而真实用户查询无此类线索。此外,人口统计角色提示在问卷中能按人类模式改变模型回答,但在真实用户查询的生成概率中无此变化,表明其模拟目标人群行为的局限性。研究认为人类心理测量问卷不足以预测LLM行为,建议采用基于生成的画像作为更准确的度量。

论文/研究评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
66
PaintBench:精确视觉编辑的确定性评估

PaintBench是一个动态可扩展的基准,涵盖几何变换、结构操作、颜色变化、符号推理四类共20种精确视觉编辑操作。它通过程序化生成与可配置复杂度实现无限、抗污染的评估套件,并采用确定性像素级评估(mIoU)。在11个图像编辑模型上,当前最高性能的行业领先模型仅取得17.1% mIoU。任务分解显示几何变换、大部分结构操作和基于公式的颜色变化尤为困难,且模型存在针对性专长。场景变化(如物体数量、背景复杂度、配色方案、编辑区域大小)会导致性能下降。通过另一个确定性评估基准TinyGrafixBench验证,PaintBench得分与应用任务表现存在强线性相关(R²=0.91,p<0.001)。

图像生成多模态论文/研究评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
50
OpenSTBench:超越语义评估的语音翻译统一评估框架

OpenSTBench 是一个统一的多维评估框架,将语音翻译系统(S2TT 和 S2ST,涵盖离线与流式两种模式)输出转化为共享评估格式,联合评测翻译质量、语音质量、说话人保留、情感与副语言保真度、时间一致性以及延迟。实验表明,翻译质量强的系统在语音质量和时间质量上仍存在显著差异。代码与数据集已开源至 GitHub。

arXivGitHub论文/研究评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
51
MineExplorer:评估多模态大语言模型智能体在 Minecraft 中的开放世界探索能力

研究提出了 MineExplorer 基准测试,用于评估多模态大语言模型智能体在 Minecraft 开放世界中的探索能力。该基准采用 ReAct 式能力表述,将原子任务组合为隐式多跳任务,并利用多智能体合成工作流共同设计任务图、沙盒场景和基于规则的里程碑评估器。实验表明,开放世界探索仍具挑战性,强模型能处理许多单跳任务,但在需要协调更长轨迹中隐藏先决条件时性能急剧下降。代码与数据集已开源。

arXiv多模态论文/研究评测/基准
06:06
公众号:数字生命卡兹克
58
Claude Opus 4.8 上线:更精确不偷懒,但主动性减弱,创作仍不及4.6

Claude Opus 4.8 上线,价格与 4.7 相同($5/M 输入、$25/M 输出),上下文等参数一致。新特性:effort 控制向所有用户开放;模型更精确遵循指令但主动性减弱;代码瑕疵蒙混过关概率降低 4 倍;fast mode 速度 2.5 倍,价格降至之前的 1/3(输入 $10/M、输出 $50/M)。Claude Code 新增 dynamic workflows,可自动拉起数十至上百个子 Agent 并行处理并自验。Benchmark 方面,Terminal-Bench 2.1 仍未超过 GPT-5.5。此外,Anthropic 完成 650 亿美元融资,估值近万亿美元。创作能力虽比 4.7 有进步,但整体仍不如 4.6。

智能体Anthropic编码评测/基准
‹ 上一页
1…34567…10
下一页 ›