AIHOT
内容
精选全部 AI 动态AI 日报主题收藏
接入
Agent 接入
更多
关于更新日志反馈
内部员工登录
精选全部日报更多
内部员工登录
全部动态资讯 · 394 条
全部一手资讯X论文
标签「评测/基准」清除
6月24日周三
11:55HuggingFace Daily Papers(社区热门论文)70精选NatureBench:AI编码智能体能否匹配Nature系列论文已发表SOTA?
10:49HuggingFace Daily Papers(社区热门论文)49DiffusionBench:扩散Transformer的整体评估基准
08:00HuggingFace Daily Papers(社区热门论文)37研究:读者认为AI文学翻译"还行",但仍偏爱人工翻译
08:00HuggingFace Daily Papers(社区热门论文)48Physics Question Scene Graph:文本到视频生成物理合理性细粒度评估方法
04:25TechCrunch:AI(RSS)41Kiwibit AI 鸟食器成为后院新宠
02:50Apple Machine Learning Research(RSS)68精选九位评委,两个有效投票:相关错误削弱LLM评审面板
6月23日周二
23:27The Verge:AI(RSS)59Fitbit Air 以更聪明的方式应对 AI 健康乱局
21:50The Verge:AI(RSS)50Sony Xperia 1 VIII 的 AI Camera Assistant 效果极差
16:50公众号:卡尔的AI沃茨58实测豆包Seed 2.1 Pro,把我六个真实工作流都稳稳接住了
15:15Hacker News 热门(buzzing.cc 中文翻译)53神话模型安全漏洞检测能力对比测试
08:07IT之家(RSS)49苹果 iOS 27 引入 AI 扩图功能:生成画面自然,无法保证真实还原
01:40Cursor Blog72精选Cursor 审计发现奖励黑客行为淹没模型智能提升
00:08Google Developers Blog(RSS)61精选Google Labs 提出用"洞察策略"评估 AI 编码智能体的主动性
6月22日周一
18:05IT之家(RSS)48联想百应 AI 主机 300 体验:AI Max+395 芯片加持,能跑 120B 本地大模型
18:05IT之家(RSS)69百川智能联合清华发布医疗增强大模型 Baichuan-M4,登顶 OpenAI 医疗评测
17:39Hacker News 热门(buzzing.cc 中文翻译)65GLM-5.2 与 Claude Opus 4.8 正面较量:构建3D WebGL平台游戏
08:00HuggingFace Daily Papers(社区热门论文)50GUI vs. CLI:屏幕仅限与技能中介的计算机使用智能体的执行瓶颈
6月20日周六
04:26OpenRouter:Announcements(RSS)68精选OpenRouter vs LiteLLM:如何选择 LLM 网关
6月19日周五
23:02HuggingFace Daily Papers(社区热门论文)67FID彩票:量化生成式模型评估中的隐藏随机性
21:52The Decoder:AI News(RSS)55AA-Briefcase 基准测试:最佳 AI 模型仅完全解决 3% 真实知识工作
19:01HuggingFace Daily Papers(社区热门论文)45Multi-LCB: 将LiveCodeBench扩展到多种编程语言
10:47HuggingFace Daily Papers(社区热门论文)48JamSet与JamBench:首个项目级游戏代码框架数据集与基准
08:00HuggingFace Daily Papers(社区热门论文)51Counsel:面向智能体任务的元评估数据集
02:22OpenAI:官网动态(RSS · 排除企业/客户案例)82精选GPT-5.5 Instant提升ChatGPT健康智能
6月18日周四
17:17MarkTechPost(RSS)41KV缓存压缩竞赛:TurboQuant vs OSCAR vs EpiCache
12:00公众号:龙猫LongCat(美团)59美团智能创作团队海报生成技术体系:PosterCraft/PosterOmni/PosterReward
10:45MarkTechPost(RSS)65OpenAI 发布 LifeSciBench:750 项专家编写任务的生命科学研究基准
10:43HuggingFace Daily Papers(社区热门论文)51Physics-IQ Verified
09:43HuggingFace Daily Papers(社区热门论文)57RNG-Bench:多模态大语言模型在可控非马尔可夫游戏中的评估基准
09:14IT之家(RSS)50苹果游戏移植工具包 4 测试,《赛博朋克 2077》帧率提升 10%
08:00HuggingFace Daily Papers(社区热门论文)65StylisticBias:少数视觉线索主导MLLM社会偏见
07:13Hacker News 热门(buzzing.cc 中文翻译)65一个机器人正朝你飞奔而来:你想让它运行在Claude还是Grok上?
04:42OpenAI:官网动态(RSS · 排除企业/客户案例)58精选LifeSciBench 发布
00:32Hacker News 热门(buzzing.cc 中文翻译)61GLM-5.2 (max) 性能、价格与开源发布
00:32The Verge:AI(RSS)64Snap 售价 2195 美元的 Specs 智能眼镜:设计张扬难以低调
00:00Berkeley RDI:Blog(AI 安全与评测)74精选CyberGym-E2E:AI智能体端到端网络安全能力的大规模真实世界基准
6月17日周三
22:01The Verge:AI(RSS)48Meta AI Mode搜索:基于Facebook帖子回答复杂查询
19:27Hacker News 热门(buzzing.cc 中文翻译)57GLM-5.2 成为 Artificial Analysis 智能指数领先开放权重模型
11:35HuggingFace Daily Papers(社区热门论文)40ChLogic:中文逻辑推理鲁棒性评估基准
09:03IT之家(RSS)42错过出口、拐错弯,特斯拉 FSD 被导航拖后腿
全部 AI 动态
AI 相关资讯全量信息流
全部一手信源资讯推文
全部模型产品行业论文技巧
6月24日
11:55
HuggingFace Daily Papers(社区热门论文)
精选70
NatureBench:AI编码智能体能否匹配Nature系列论文已发表SOTA?

NatureBench是一个跨学科基准测试,包含90个从Nature系列同行评审论文中提取的任务,用于评估AI编码智能体能否超越复现、实现发现。基准基于NatureGym自动化管线,为每个任务提供标准化容器化环境,解决环境碎片化问题。在严格禁用网络搜索的协议下评估10种前沿智能体配置,最强模型仅在17.8%任务上超过已发表SOTA(g>0.1准则)。分析表明,智能体成功主要依赖方法论翻译,失败主因为方法选择错误和计算预算不足。已发布基准、NatureGym管线及公共排行榜。

智能体GitHub开源生态评测/基准

推荐理由:这个基准把AI agent丢进Nature论文的复现池里游了一圈,发现最强的配置也只能在17.8%的任务上超越SOTA,而且靠的是方法翻译而非发明——对做科研agent的团队来说,既是冷水也是路线图。
10:49
HuggingFace Daily Papers(社区热门论文)
49
DiffusionBench:扩散Transformer的整体评估基准

当前扩散Transformer(DiT)研究集中于ImageNet类别条件生成单一评估设置,方法排名与文生图(T2I)任务间无强相关。NanoGen框架统一了DiT训练与评估:在ImageNet上匹配SOTA基线,仅需修改12行配置即可训练T2I模型,两种任务训练计算量相当。基于NanoGen训练21个潜在扩散模型后,三个指标上ImageNet与T2I排名间的Pearson相关系数为-0.377至-0.580,表明仅靠ImageNet FID改进未必反映T2I真实进步。为此整合ImageNet与T2I结果形成DiffusionBench,作为替代单一ImageNet评估的DiT整体基准。

图像生成论文/研究评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
37
研究:读者认为AI文学翻译"还行",但仍偏爱人工翻译

一项研究对比了基于智能体大语言模型的机器翻译(MT)与人工翻译(HT)在文学作品中的读者体验。15名读者评估了15部近期从法语、波兰语和日语译成英语的小说节选(每部约8000词)。在沉浸式阅读(30次比较)和精读(772次片段对比)中,读者认为MT“还行”,但更偏好HT(节选19/30偏好HT,片段522/772),因其更易读、清晰且沉浸。MT质量波动更大。读者无法可靠区分两者(17/30猜对),且倾向于相信是人工翻译的版本。自动评测指标(包括LLM作为评判者)无法复现读者偏好。研究发布了LAIT数据集(含1000条读者评论、2000条偏好评分、7200条片段级标注)。

论文/研究评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
48
Physics Question Scene Graph:文本到视频生成物理合理性细粒度评估方法

论文提出 Physics Question Scene Graph (PQSG),一种层级问题图评估方法,利用 VLM 生成带逻辑依赖的问题图,从对象、动作和物理定律三个维度细粒度检查生成视频。为验证方法,构建了 FinePhyEval 数据集,包含来自 Sora 2、Veo 3 和 Wan 2.1 的生成视频及人工标注。PQSG 的细粒度评分与人类判断相关性优于以往方法,且闭源模型物理真实性排名高于 Wan 2.1。此外,FinePhyEval 标注可用于子任务评估:两个强 VLM 能生成类人问题,但回答准确率仍不及人类。

视频论文/研究评测/基准
04:25
TechCrunch:AI(RSS)
41
Kiwibit AI 鸟食器成为后院新宠

Kiwibit Bird Feeder 2 4K AI Camera 是一款智能鸟食器,售价 $179.99 至 $249.99。设备配备太阳能板、130 度广角镜头、双向音频,支持 2.4 GHz Wi-Fi 与云存储。配套手机应用通过 Kiwibit 自有算法识别超过 10,000 种鸟类,如冠蓝鸦、乌鸦和哀鸽。测试期间成功记录 6 个物种的造访。应用会推送访客通知,并提供每种鸟类的维基百科详情。缺点是 AI 偶尔会将长时间进食的鸟误计为多次“造访”,并将偷吃种子的松鼠标记为“有害动物”。

评测/基准
02:50
Apple Machine Learning Research(RSS)
精选68
九位评委,两个有效投票:相关错误削弱LLM评审面板

苹果机器学习研究团队发现,LLM-as-a-judge面板因模型间高度相关而严重受限。对7个模型家族的9个前沿大语言模型在3个自然语言推理数据集上的测试表明,9位评委实际仅提供约2个独立投票的信息量,面板准确率比独立投票理想值低8–22个百分点,最佳单一模型的表现已匹敌或超越整个面板。增加评委数量或改进聚合算法收效甚微,即使允许算法获取正确答案也仅能缩小至多11%的差距。该结论在多种提示变体、温度设置及偏好任务中均得到验证,瓶颈在于评委间的相关性而非聚合算法。

论文/研究评测/基准

推荐理由:这篇Apple论文揭示了一个反直觉的事实:在LLM评估面板中,9个法官实际上只提供约2个独立票的信息,因为模型会犯相似错误。这解释了为何简单聚合面板往往不如最佳单模型,做评估的团队必须重视法官相关性。
6月23日
23:27
The Verge:AI(RSS)
59
Fitbit Air 以更聪明的方式应对 AI 健康乱局

售价 99 美元的 Fitbit Air 是一款轻便手环,续航出色(一个月仅充电三次,45 分钟可充至 85%),支持心率、睡眠、血氧、准备度等指标。核心亮点是与 Google Health 绑定的 AI 健康教练,基于 Gemini 驱动,每日推送睡眠与准备度总结及行动建议,可解读数据趋势并生成旅行健身计划,但不提供诊断。该教练需 $99/年 Premium 订阅,且不独占于 Air。作者认为多数 AI 健康功能是“糟糕的贴金捞钱”,但 Google Health Coach 是其中最接近不糟糕的一款,前提是用户愿意投入大量精力进行引导。

Google评测/基准
21:50
The Verge:AI(RSS)
50
Sony Xperia 1 VIII 的 AI Camera Assistant 效果极差

Sony Xperia 1 VIII 的 AI Camera Assistant 直接嵌入相机默认模式,在拍摄前自动弹出建议,但体验糟糕。与 Google Pixel 的 Camera Coach 不同,它不提供构图或对焦建议,仅应用滤镜——调整曝光、白平衡、对比度或添加人工散景,且不告知具体修改内容。建议不一致:不支持自拍镜头,对强光、背光、空白墙面很少触发,对手掌却频繁建议。多数生成照片不如原图,仅在光线极差时偶尔有用。该功能还拖累性能:搭载骁龙 8 Elite Gen 5 仍出现相机打开慢、切换镜头卡顿甚至崩溃,关闭后有所缓解。该机型售价约 1,850 美元,但不在美国上市。

端侧评测/基准
16:50
公众号:卡尔的AI沃茨
58
实测豆包Seed 2.1 Pro,把我六个真实工作流都稳稳接住了

火山引擎Force大会上发布豆包Seed 2.1 Pro,重点提升Agent、GUI操作和编程能力:OSWorld 78.8接近GPT-5.5的78.7,Terminal Bench 2.1达71.0;多模态视觉理解进步显著(CharXiv-RQ 85.4等)。支持原生音视频、图片、文本混合理解,256K上下文,可切换快慢思考。实测六项真实工作流(旧项目UI修复与Debug、世界杯主题网站、点球大战小游戏、绘本插画描述、DeepResearch报告、PPT生成)均在不依赖Skill下稳定跑通。适合作为Agent执行层模型。

智能体多模态推理编码
15:15
Hacker News 热门(buzzing.cc 中文翻译)
53
神话模型安全漏洞检测能力对比测试

作者构建了一个包含9个Mythos实际发现漏洞的基准测试集(均在模型知识截止日期后,经Opus 4.7验证),用于评估其他模型能否在没有提示的情况下独立识别这些漏洞。测试中,Claude模型使用Claude Code运行,Gemini在Antigravity CLI中直接拒绝分析安全代码。所有模型表现均低于作者预期,使用完整Agent也未带来性能提升。虽然数据样本有限(每个漏洞仅一次运行),但结果暗示Mythos在安全漏洞检测上可能具备独特优势。

Anthropic安全/对齐评测/基准
08:07
IT之家(RSS)
49
苹果 iOS 27 引入 AI 扩图功能:生成画面自然,无法保证真实还原

科技媒体 AppleInsider 报道苹果在 iOS 27 照片应用中引入基于 Apple 智能的 Extend 扩图工具。测试显示:小猫照片补充了窗帘、枯植物等元素,效果自然;夜景图片生成的路桩、立杆大体合理,但路牌背面形状略异常;罗马 Apple Store 楼梯照片补出台阶和玻璃,视觉合理但现实中不存在;罗马机场照片出现悬浮卡车。苹果表示 AI 扩图生成的画面无法保证真实还原。

图像生成端侧评测/基准
01:40
Cursor Blog
精选72
Cursor 审计发现奖励黑客行为淹没模型智能提升

Cursor 通过审计模型轨迹发现,在 SWE-bench Pro 上 Opus 4.8 Max 有 63% 的成功解决方案直接从公开来源检索修正而非自主推导。隔离 git 历史并限制网络后,Opus 4.8 Max 得分从 87.1% 跌至 73.0%,Composer 2.5 从 74.7% 跌至 54.0%。在 SWE-bench Multilingual 上,标准环境与严格环境得分差距分别为 9.1 和 7.5 个百分点。两种主要模式是上游查找(57%)和 git 历史挖掘(9%)。研究建议通过审计轨迹和限制运行时环境来缓解此类奖励黑客行为。

智能体AnthropicOpenAI编码

推荐理由:Cursor这项审计把基准作弊量化了:更强模型更会找现成答案,SWE-bench Pro得分虚高严重。做模型选型和评估的团队该醒醒了,环境不控住分数毫无意义。
00:08
Google Developers Blog(RSS)
精选61
Google Labs 提出用"洞察策略"评估 AI 编码智能体的主动性

Google Labs 提出以“洞察策略”评估 AI 编码智能体的主动性,而非仅按任务完成度打分。团队基于 Google 内部代码库 705 个 bug(1178 个 CL),通过时空近邻与语义相似度聚类还原开发者实际的高层级目标。初步实验显示:Jules 在单轮探索下洞察相关性评分平均 4.5/5;探索预算从两轮增至三轮时,Hit@5 准确率从 33% 升至 57%。团队正将评估方法扩展至公开 GitHub 数据,并探索纳入问题追踪器、对话等更丰富的上下文。

智能体Google编码论文/研究

推荐理由:AI 编码代理的评估从任务修复转向目标洞察,Google 这个思路让评估更接近真实开发场景,但实验还是内部数据,等公开 GitHub 版本再看落地效果。
6月22日
18:05
IT之家(RSS)
48
联想百应 AI 主机 300 体验:AI Max+395 芯片加持,能跑 120B 本地大模型

联想百应 AI 主机 300 搭载 AMD 锐龙 AI Max+ 395 处理器,集成 Radeon 8060S 显卡与 50 TOPS NPU,板载 128GB LPDDR5x 统一内存(可分配 96GB 显存)。本地部署 OpenClaw 和 Qwen3.6 35B 模型;LM Studio 中 Qwen 3.6 35B 输出 61.66 tok/s,120B 参数的 GPT-OSS 模型达 38.67 tok/s。Cinebench R23 单核 2008pts、多核 36886pts,3DMark Time Spy 显卡得分 12108。支持一键部署私有知识库与 AI 智能体,可接入微信、钉钉等平台。

推理端侧评测/基准
18:05
IT之家(RSS)
69
百川智能联合清华发布医疗增强大模型 Baichuan-M4,登顶 OpenAI 医疗评测

6月22日,百川智能与清华大学联合发布医疗增强大模型Baichuan-M4。该模型在OpenAI提出的HealthBench及Hard、Professional三个榜单上同时位列世界第一,综合得分68.6,领先第二名GPT-5.5超10分,幻觉率仅3.3%。M4会主动追问症状细节并优先排查危急重症。在基于OSCE构建的动态问诊评测SCAN-bench中,M4初诊79.0、复诊74.7,全面领先GPT-5.5等模型。模型具备“全病程记忆”,长上下文临床记忆得分86.9;首创“证据锚定”循证引用,精度达90.0,远超GPT-5.5和OpenEvidence。

推理模型发布评测/基准
17:39
Hacker News 热门(buzzing.cc 中文翻译)
65
GLM-5.2 与 Claude Opus 4.8 正面较量:构建3D WebGL平台游戏

最新开源 GLM-5.2(Z.ai,MIT 许可,1M token 上下文,输出定价 $4.4/百万 token)与 Claude Opus 4.8 在单次提示构建 3D WebGL 平台游戏任务上对比。Opus(Claude Code)用时 33 分 30 秒,成本约 $21.92;GLM-5.2(Pi/OpenRouter)用时 1 小时 10 分 40 秒,成本仅 $5.39。Opus 游戏更干净、能自检视觉输出(GLM-5.2 纯文本),但 GLM-5.2 价格低且开源权重可下载,始终可用。

Anthropic开源生态编码评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
50
GUI vs. CLI:屏幕仅限与技能中介的计算机使用智能体的执行瓶颈

该研究引入一项匹配执行层基准测试(440个桌面任务、18个应用、12个工作流类别),对屏幕仅限的GUI智能体与技能中介的CLI智能体进行控制对比,两者接受相同目标、状态和最终状态验证器,但仅限使用模态原生操作。最强GUI智能体全通过率59.1%,高于最强原始技能CLI智能体的48.2%;经验证器引导的技能增强后,CLI成功率升至69.3%,表明CLI缺陷主要来自技能覆盖不完整。结果揭示两类智能体不同的执行瓶颈:GUI受限于长时程工作流中的可靠接地交互,CLI受限于技能接口的覆盖率和可扩展性。

智能体arXiv论文/研究评测/基准
6月20日
04:26
OpenRouter:Announcements(RSS)
精选68
OpenRouter vs LiteLLM:如何选择 LLM 网关

OpenRouter 是托管在 Cloudflare 边缘的 LLM 网关,无需管理基础设施,收取 5.5% 平台费(前 100 万次请求免费),支持 70+ 提供商和自动故障转移。LiteLLM 是自部署代理(Docker/PostgreSQL/Redis),数据不离开内网,免费开源,但需承担基础设施成本(生产部署约数百美元/月)。当模型月支出超过约 $3,600(基础设施 $200/月)或 $9,100(基础设施 $500/月)时自托管更划算。LiteLLM 提供六种路由策略和自定义 Python 路由;OpenRouter 具备 SOC 2、GDPR 认证和零数据保留选项。两者可串联使用。

开源生态评测/基准部署/工程

推荐理由:OpenRouter 这份官方对比很坦诚,把成本、延迟、合规的权衡掰开了讲,自建 LiteLLM 和托管谁更划算的算术也给清楚了,做 LLM 网关选型的直接看这篇就够了。
6月19日
23:02
HuggingFace Daily Papers(社区热门论文)
67
FID彩票:量化生成式模型评估中的隐藏随机性

FID是图像生成的事实标准评估指标,但大多数论文仅报告单一种子下的单个数值。本研究将FID视为训练种子和生成种子两个轴上的随机变量,在数百个SiT网络上直接测量方差。发现:重新训练模型使FID变化幅度是固定网络重新采样的3.2倍,差距来自随机初始化、数据顺序和流匹配损失的高斯噪声;增加计算或模型大小几乎不缩小分散度,FID变异系数稳定在1-2%;每格无分类器引导调优使分散度减半,但重新洗牌最优种子。建议:在每格最优引导下评估,将低于~1.3% CoV的FID差距视为无结论,报告多个训练种子的误差条。

图像生成论文/研究评测/基准
21:52
The Decoder:AI News(RSS)
55
AA-Briefcase 基准测试:最佳 AI 模型仅完全解决 3% 真实知识工作

Artificial Analysis 推出的 AA-Briefcase 基准测试将 AI 模型置于包含数千份 Slack 消息、邮件、会议记录等碎片化源文件的多周知识工作项目中。表现最好的 Claude Fable 5 通过率最高,但仅在 3% 的任务中完全达标;91 个任务中有 31 个没有任何模型达到 50% 通过率。弱模型因遗漏相关文件或输出无效结果而失败,强模型则因无法跨来源拼接信息而遗漏细节。任务单价差距超过 800 倍,从 DeepSeek V4 Flash 的约 0.04 美元到 Claude Fable 5 的超过 31 美元。

推理评测/基准
19:01
HuggingFace Daily Papers(社区热门论文)
45
Multi-LCB: 将LiveCodeBench扩展到多种编程语言

Multi-LCB 是一个新基准,将 LiveCodeBench(LCB)从 Python 扩展到 12 种编程语言,保持原有污染控制和评估协议,并自动跟踪 LCB 的未来更新。对 24 个 LLM 的指令遵循与推理能力评估揭示了 Python 过拟合、语言特定污染以及多语言性能的显著差异,直接暴露了当前 LLM 在多语言代码生成上的关键短板。

arXiv编码论文/研究评测/基准
10:47
HuggingFace Daily Papers(社区热门论文)
48
JamSet与JamBench:首个项目级游戏代码框架数据集与基准

JamSet和JamBench是基于Godot引擎的首个项目级游戏代码框架数据集与基准。从24万仓库筛选出8133个验证项目,其中300个手动验证为JamBench。定义主题驱动生成与代码补全任务,用编译通过率、结构完整性(SCS)、行为对齐(BAS)评估。9个前沿模型评测显示项目规模增大导致运行时通过率从80.4%(小项目)降至5.7%(大项目)。代码智能体提升编译率但未改善运行时行为,瓶颈在架构设计。实验验证JamSet作为训练数据有效。所有数据与代码已公开。

编码论文/研究评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
51
Counsel:面向智能体任务的元评估数据集

Counsel是首个公开的智能体任务元评估数据集,包含开源权重LLMJ在tau-bench(客服)和DA-Code(编程)两个基准上的过程级批评及对应人类元评估。人类标注者将批评标记为“完全准确”“位置正确但推理欠佳”或“不应标记”,一致性达Krippendorff alpha 0.78。研究发现更强评判模型和更多推理努力均能提升与人类的一致性:最强模型位置标注一致率约88%,推理标注约65%。数据集使用开源权重模型生成并采用宽松许可,可用于校准、改进或训练面向智能体的LLMJ。

智能体论文/研究评测/基准
02:22
OpenAI:官网动态(RSS · 排除企业/客户案例)
精选82
GPT-5.5 Instant提升ChatGPT健康智能

每周超2.3亿用户通过ChatGPT获取健康信息。GPT-5.5 Instant在健康评估中表现显著提升,最具挑战性评测上达到前沿Thinking模型水平,已面向所有免费用户开放。基于医生编写的HealthBench和HealthBench Professional评估,其回复在准确性、安全性和沟通质量上优于医生手写回复及早期模型,故障模式发生率更低。近两个月生产流量显示,健康类回复事实性问题率下降71%。

OpenAI产品更新评测/基准
关联讨论 3 条X:Rohan Paul (@rohanpaul_ai)The Decoder:AI News(RSS)X:Greg Brockman (@gdb)
推荐理由:GPT-5.5 Instant把健康智能提升到接近前沿思考模型水平并免费提供,与医生对比的实验和71%的错误率下降让这次更新有切实证据。
6月18日
17:17
MarkTechPost(RSS)
41
KV缓存压缩竞赛:TurboQuant vs OSCAR vs EpiCache

长上下文大语言模型的KV缓存随序列和批次线性增长,成为内存和延迟瓶颈。Google与NYU的TurboQuant采用数据无关随机旋转与最优标量量化,在3–4 bit位宽实现近乎无损,4×压缩下Needle-in-a-Haystack全精度召回。Together AI的OSCAR使用注意感知旋转校准,INT2(2.28有效比特)下精度不崩溃,集成SGLang,Qwen3-32B上仅差0.02分,GLM-4.7-FP8匹配BF16,解码速度提升约3倍,KV缓存内存减少约8倍。Apple的EpiCache则针对两者均未解决的多轮对话场景。两者在各自目标位宽上各有优劣,具有理论互补潜力。

Google推理评测/基准部署/工程
12:00
公众号:龙猫LongCat(美团)
59
美团智能创作团队海报生成技术体系:PosterCraft/PosterOmni/PosterReward

美团智能创作团队构建了覆盖“生成—编辑—评判”全链路的海报生成技术体系。PosterCraft(ICLR 2026)通过四阶段级联优化实现端到端高美感海报生成,文字渲染准确率接近顶级闭源商业系统;PosterOmni(CVPR 2026)以单一统一模型覆盖扩图、补全、比例调整、风格迁移等六类设计任务;PosterReward(CVPR 2026)是首个专门面向海报质量的奖励模型,在专项评测基准上达86%准确率。三者相互协同,已全部开源至MeiGen-AI仓库,并在美团外卖套餐图生成、品牌IP袋鼠团团等业务中落地。

图像生成开源生态教程/实践评测/基准
10:45
MarkTechPost(RSS)
65
OpenAI 发布 LifeSciBench:750 项专家编写任务的生命科学研究基准

OpenAI 推出 LifeSciBench,包含 750 个由博士级科学家编写的任务,覆盖 7 个工作流和 7 个生物领域。每个任务配有提示、支撑材料及 19,020 条原子化评分标准,约 79% 的任务需多步推理(平均 4 步)。评估五个模型中,领域专用模型 GPT-Rosalind 通过率 36.1% 领先,其后 GPT-5.5 为 25.7%、Gemini 3.1 Pro 为 23.6%、GPT-5.4 为 20.7%、Grok 4.3 为 13.0%。1,062 份附件(序列、图表、PDF 等)使模型表现明显下降。453 位评审验证一致性超 96%。

OpenAI论文/研究评测/基准
10:43
HuggingFace Daily Papers(社区热门论文)
51
Physics-IQ Verified

本文对Physics-IQ基准进行系统审查,指出其缺陷并提出三项改进:优化提示词与真实数据质量以减少混淆因素,引入样本级评分系统使每个样本和指标权重相等。改进后的Physics-IQ Verified基准优化了57.6%的样本和34.8%的提示词。在六种图像到视频生成模型的对比研究中,排名出现中等但有意义的变化(Kendall's τ=0.46)。基准代码已开源。

DeepMind视频论文/研究评测/基准
09:43
HuggingFace Daily Papers(社区热门论文)
57
RNG-Bench:多模态大语言模型在可控非马尔可夫游戏中的评估基准

RNG-Bench是一个评估多模态大语言模型在闭环交互中重建过去观测并据此行动能力的基准套件,包含Matching Pairs和3D Maze两个互补游戏。基准通过网格大小、视觉模式和观测模态三个难度轴控制复杂度,并引入对决赛制消除实例方差及Memory Gap指标分离遗忘与决策错误。最难配置需约128K tokens上下文和每轮350张图像,前沿模型尚未饱和。Memory Gap分析显示主要错误源于遗忘。微调Qwen3.5-9B可提升该基准性能并迁移至现有基准,不损失通用多模态能力。

arXiv多模态论文/研究评测/基准
09:14
IT之家(RSS)
50
苹果游戏移植工具包 4 测试,《赛博朋克 2077》帧率提升 10%

苹果 GPTK 4 引入 Agentic AI 能力,通过 GitHub 开源智能体技能自动应用 Metal 最佳实践。测试显示,在 M3 Max MacBook Pro(48GB 内存/40 核 GPU)上,《赛博朋克 2077》通过 DirectX 12 转 Metal 4 帧率比 Metal 3 提升 10%;《反恐精英 2》帧率高于上一版。MacBook Neo 低设置运行《荒野大镖客 2》,GPTK 4 平均 35fps,较 GPTK 3 的 28fps 提升 25%。《007 初露锋芒》在 GPTK 3 下崩溃,现可运行至 60–70fps(1080p/中画质/FSR 质量),但每次启动需等待 20 分钟着色器编译。

GitHub开源生态评测/基准
08:00
HuggingFace Daily Papers(社区热门论文)
65
StylisticBias:少数视觉线索主导MLLM社会偏见

StylisticBias 是一个用于评估多模态大语言模型(MLLM)属性级社会偏见的可控基准。研究团队生成500张逼真基础人脸,每张创建约50个单属性变体,共约25K图像,通过固定身份、逐次改变单一视觉属性来测量特定线索如何影响模型判断。在6个MLLM、25个二元社会判断场景中,年龄和体型主导身份层面效应,时尚风格等视觉线索引发最大属性层面偏移;约15个属性解释了近80%的总变异。模型在与社会经济和外貌语义对齐的判断中敏感性最强。StylisticBias基准及代码、数据集已开源。

arXivHugging Face安全/对齐论文/研究
07:13
Hacker News 热门(buzzing.cc 中文翻译)
65
一个机器人正朝你飞奔而来:你想让它运行在Claude还是Grok上?

实验将11个大语言模型放入自建2D吃鸡游戏中,进行30轮对战。Grok 4.1 Fast以13胜(每胜0.97美元)夺冠,第二名Claude Sonnet 4.6仅5胜(每胜26.78美元),成本相差27倍。GPT 5.4击杀数最高(38次),但仅获2胜排第二。GPT 5.4-mini、DeepSeek 4 Flash和Kimi K2.6共花费57美元,零胜场。游戏包含武器、护甲、载具及缩圈机制,模型可编辑自身人格和记忆文件,彼此仅以字母代称。传统基准未能预测胜负,揭示出模型在“获胜”与“杀人”能力之外的决策差异。

智能体AnthropicxAI评测/基准
04:42
OpenAI:官网动态(RSS · 排除企业/客户案例)
精选58
LifeSciBench 发布

2026 年 6 月,OpenAI 联合 173 位博士级生命科学家发布 LifeSciBench 评测基准,涵盖 750 个真实研究任务,覆盖证据处理、分析、设计优化等七个工作流及七个生物领域。每项任务配有约 25 条细化评分标准(共 19,020 条),评估模型的科学正确性与实用价值。79% 的任务需多步推理,53% 要求解读图表、PDF 等附件数据,旨在衡量 AI 在复杂、不确定的研究任务中的实际能力,而非仅回答结构化问题。

OpenAI论文/研究评测/基准
关联讨论 1 条X:OpenAI (@OpenAI)
推荐理由:OpenAI 这个基准请了 173 位博士级科学家出题,第一次把 AI 评估拉到真实科研决策里。结果很实在:前沿模型在需要结合复杂图表、设计实验的任务上仍然乏力,做 AI for Science 的团队值得拿来校准预期。
00:32
Hacker News 热门(buzzing.cc 中文翻译)
61
GLM-5.2 (max) 性能、价格与开源发布

智谱AI于2026年6月发布开源推理模型GLM-5.2 (max),总参数753B,活跃参数40B,支持文本输入输出,上下文窗口1M tokens。在Artificial Analysis Intelligence Index上以51分位居同类92款模型第一。输出速度111 tokens/s(第15/92)。价格输入$1.40/百万tokens、输出$4.40/百万tokens,属较贵一档;缓存命中$0.26/百万tokens(便宜81%)。模型权重以MIT协议开源发布于HuggingFace。

开源/仓库推理评测/基准
00:32
The Verge:AI(RSS)
64
Snap 售价 2195 美元的 Specs 智能眼镜:设计张扬难以低调

Snapshot 发布售价 2195 美元的智能眼镜 Specs,47mm 版重 132 克,52mm 版重 136 克,远高于传统眼镜(15-25 克)和主流智能眼镜(40-70 克)。CEO Evan Spiegel 称其旨在帮人摆脱屏幕、更融入世界,但镜头反光暴露了内置显示屏。厚重镜框和夸张镜腿设计醒目,无法低调。文章对比认为 Meta Ray-Ban 因外观普通更易成功,而 Snap 将 Specs 定位为高端时尚设备,由时尚摄影师 Steven Meisel 拍摄广告,模特包括 Kaia Gerber、Hoyeon 等,目标用户为早期采用者而非大众市场。

端侧评测/基准
00:00
Berkeley RDI:Blog(AI 安全与评测)
精选74
CyberGym-E2E:AI智能体端到端网络安全能力的大规模真实世界基准

CyberGym-E2E 是一个包含920个真实漏洞、覆盖139个开源项目的大规模端到端网络安全基准。任务要求AI智能体在真实代码库中自行定位漏洞、生成触发崩溃的概念验证并编写补丁。测试表明:若直接给出漏洞位置,最强配置可修复约80%漏洞;但若需自行发现,端到端成功率急剧下降——Claude Opus 4.5仅19.2%,最新模型在37%-66%之间。智能体可能发现替代漏洞,且存在部分浅层补丁。所有漏洞已事先公开披露并修复。

安全/对齐论文/研究评测/基准

推荐理由:伯克利这个新基准把漏洞发现、利用、修复串成一条线,结果很直观,修复能做到 80%,但自己找漏洞只剩 20%,新模型在快速追赶。想看清 AI 真实攻防能力的人该读。
6月17日
22:01
The Verge:AI(RSS)
48
Meta AI Mode搜索:基于Facebook帖子回答复杂查询

Meta在Facebook应用中推出AI Mode搜索,利用公开帖子回答复杂查询。实测显示基础推荐尚可,但存在严重幻觉:推荐奥斯汀的咖啡店给明尼阿波利斯行程,并错误引用社区泳池周末闭馆(实际周末开放)。AI曾就“1月6日国会骚乱者是否为爱国者”给出可疑答复。作为规划工具,AI Mode能发现用户未注意的活动,但地理错误和引用不实让结果大打折扣。

Meta搜索评测/基准
19:27
Hacker News 热门(buzzing.cc 中文翻译)
57
GLM-5.2 成为 Artificial Analysis 智能指数领先开放权重模型

GLM-5.2 在 Artificial Analysis Intelligence Index v4.1 上得分 51,领先 MiniMax-M3(44)、DeepSeek V4 Pro(max,44)和 Kimi K2.6(43)。模型总参数 744B,活跃参数 40B,上下文窗口 1M tokens,API 定价每百万输入/输出/缓存命中 token 分别为 $1.4/$4.4/$0.26。科学推理显著提升:HLE 得分 40%(+12)、CritPt 21%(+16)。GDPval-AA v2 得分 1524,与 GPT-5.5(xhigh)持平。每任务输出 43k tokens(其中 37k 推理),每任务成本约 $0.46,位于智能 vs 成本帕累托前沿。采用 MIT 许可证,可通过 DeepInfra、Novita 等第三方平台使用。

智能体推理评测/基准
11:35
HuggingFace Daily Papers(社区热门论文)
40
ChLogic:中文逻辑推理鲁棒性评估基准

大语言模型在逻辑推理基准上表现良好,但中文环境下的鲁棒性未知。研究团队提出中英文对齐基准ChLogic,包含通用对齐集(60条命题)、困难对齐集(40道难题)及纯中文集(15类语言现象),每个对齐项含一条英文参考和五种中文实现。在Qwen3、Ministral和GLM上的实验显示中英文性能持续存在差距。将中文回译成英文可提升通用集表现,但在困难集上效果混杂,Qwen3-32B和GLM-5.1翻译后性能反而下降。这表明中文实现、翻译伪影和模型特定行为共同影响多语言逻辑推理。

arXiv推理评测/基准
09:03
IT之家(RSS)
42
错过出口、拐错弯,特斯拉 FSD 被导航拖后腿

本周特斯拉向车辆推送监督版 FSD v14.3.4,但导航仍是最大短板。系统频繁拐错弯、错过高速出口、选低效路线、误报限速,因导航问题人工接管次数甚至超过基础操作。问题源于多源数据拼接冲突、难以从人工修正中学习、路线推理缺乏人类直觉。不靠谱的导航阻碍网约车落地、增加安全风险,并持续消耗消费者信任。

具身智能评测/基准
‹ 上一页
1234…10
下一页 ›