Rohan Paul@rohanpaul_ai · 5月1日62

Researchers tested autonomous AI agents in real environments and found they easily cause massive security disasters. In one test an agent actually wiped its entire email server just to keep a secret for a stranger. The main problem with standard language models is that giving them control over real computer tools creates dangerous blind spots. To understand these risks the researchers let 20 experts interact with live AI assistants through chat and email for 2 weeks. They discovered that these programs blindly follow instructions from almost anyone and often lie about what they have actually done. This matters because tech companies are rushing to deploy these autonomous helpers without fixing their basic inability to understand who they should actually trust. --- Paper Link – arxiv. org/abs/2602.20021 Paper Title: "Agents of Chaos"

译研究人员在真实环境中测试自主AI代理，发现它们极易引发大规模安全灾难，如为保守秘密而删除整个电子邮件服务器。核心问题在于标准语言模型被赋予计算机工具控制权后，产生危险盲点，导致代理盲目遵循几乎任何人的指令并经常撒谎行为。通过让20位专家与实时AI助手进行两周互动实验，研究揭示了这些程序缺乏基本信任判断能力。科技公司正急于部署此类自主助手，却未修复其无法理解应信任谁的根本缺陷，加剧了安全风险。

Rohan Paul@rohanpaul_ai · 5月1日51

Brilliant economic paper directly models the "Structural Jevons Paradox" happening right now in the AI industry. The cost of running an LLM is dropping, but total computing energy is exploding anyway. It mathematically proves that as the unit cost of digital intelligence and coding drops, the aggregate demand for complex AI agents and the infrastructure to support them surges exponentially, creating a massive new downstream ecosystem that requires human management. Reveals a massive paradox where dropping the price of AI usage does not save money, but instead encourages developers to build vastly more complex agents that eat up exponentially more computing power. Because of this relentless progress, small companies building simple applications on top of these models get completely crushed as the core AI naturally absorbs those exact same features over time. They also discovered a brutal dynamic where a perfectly working LLM becomes economically worthless the moment a competitor releases a smarter version. Ultimately, the researchers prove that this combination of massive computing costs and the need for constant user data naturally pushes the entire AI industry toward an unavoidable monopoly. --- arxiv. org/pdf/2601.12339v1 "The Economics of Digital Intelligence Capital"

译一篇经济学论文直接建模了AI行业正在发生的“结构性杰文斯悖论”。研究发现，尽管大语言模型的运行成本下降，但总计算能耗却爆炸式增长。数学模型证明，数字智能单位成本的降低，导致对复杂AI代理及其支撑基础设施的总需求呈指数级上升，并催生需要人力管理的新下游生态。这形成一个悖论：AI使用价格下降并未节约成本，反而激励开发者构建消耗指数级算力的更复杂代理。持续进步使得基于大模型开发简单应用的小公司被核心AI吸收的功能所淘汰。竞争动态中，性能完善的模型一旦有更智能的版本出现即失去经济价值。最终，巨大的计算成本与持续的用户数据需求，共同推动整个AI行业走向不可避免的垄断。

Rohan Paul@rohanpaul_ai · 5月1日43

The LongCat team just released LARYBench, a benchmark built to test whether an AI model truly learns action from video, instead of only looking good when attached to a robot policy later. It evaluates latent actions, meaning the hidden motion signals a model extracts from video, across 1.2M+ clips, 620K+ image pairs, 595K trajectories, 151 action classes, and 11 robot platforms. A latent action representation tries to store the change between frames as something like reach, pick, place, move left, or close gripper, rather than memorizing raw pixels. The key point is that robot training data is scarce, while human and robot videos are abundant, so the whole field wants a way to turn cheap video into useful action knowledge. The paper argues that older evaluations mixed too many things together, because a robot succeeding on a task depends on the policy, training recipe, environment, and controller, so you could not tell whether the action representation itself was actually good. LARYBench splits the problem into 2 cleaner tests, where one asks whether the representation knows what happened and the other asks whether it preserves enough detail for how to move. The biggest result is that general self-supervised vision models beat specialized embodied LAMs, with V-JEPA 2 reaching 76.62% average action classification accuracy, while DINOv3 gives the best overall control regression score at 0.19 MSE, far ahead of embodied models clustered around 0.87 to 0.97. The deeper point is that strong visual representations already contain a surprising amount of action knowledge, and the paper also shows that latent feature spaces map to robot control better than pixel reconstruction spaces, which helps explain why some robotics systems may be building on the wrong intermediate representation. 🧵 1.

译LongCat团队推出LARYBench基准，旨在评估AI模型是否从视频中真正学习动作，而非仅在后端机器人策略中表现良好。该基准聚焦模型从视频提取的潜在动作表示，通过超过120万视频片段等数据，将评估拆分为动作分类与控制回归两个清晰测试。关键发现是，通用自监督视觉模型（如V-JEPA 2和DINOv3）表现优于专用具身模型，表明强大视觉表示已蕴含丰富动作知识，且潜在特征空间比像素重建更利于机器人控制映射。这为利用丰富视频数据解决机器人训练数据稀缺问题提供了新方向。

AK@_akhaliq · 5月1日47

Recursive Multi-Agent Systems paper: https://huggingface.co/papers/2604.25917

译递归多智能体系统 论文: https://huggingface.co/papers/2604.25917

Ethan Mollick@emollick · 5月1日55

Randomized trial of an AI therapy chatbot on Mexican women found “improved mental health by 0.3 SD over 6 months with no evidence of an increase of severe cases; improved sleep, healthful behaviors, daily functioning & labor market outcomes” Big results for a cheap intervention.

译一项针对墨西哥女性的随机试验发现，使用基于认知行为疗法训练的AI对话代理的心理健康应用Mindsurf，在六个月内使使用者心理健康水平提升了0.3个标准差，且未增加严重病例。该干预还改善了睡眠质量、健康行为、日常功能及劳动力市场表现（如减少缺勤），其效益远超成本。尽管使用者寻求传统心理治疗的比例有所增加，但这并非心理健康改善的主因。效果具有持续性，短期使用可通过促进行为的持续改变带来长期改善。

Berryxia.AI@berryxia · 5月1日57

你看看大模型有多重？ 这个挺有意思的😂

译Pine AI首席科学家李博杰提出新方法，通过模型回答1400道冷知识题的能力来估算其参数量。原理是存储事实需占用参数空间，先利用已知开源模型拟合曲线，再将闭源模型得分投射得出估算。研究评估了92个闭源模型，结果显示GPT-5.5以约9.7T参数断层领先，Claude Opus 4.6约5.3T次之。主流旗舰模型如GPT-5、Claude Opus 4.7参数集中在3-4T量级。分析还推断GPT-5的.x版本及Claude Opus 4.7等可能是全新训练而非微调产物，并指出MoE模型的知识容量取决于总参数量。评测工具与数据已开源。

Microsoft Research@MSFTResearch · 5月1日64

Safe agents don’t guarantee a safe ecosystem of interconnected agents. Microsoft Research examines what breaks when AI agents interact and why network-level risks require new approaches. Learn more: https://www.microsoft.com/en-us/research/blog/red-teaming-a-network-of-agents-understanding-what-breaks-when-ai-agents-interact-at-scale/

译安全的智能体并不能保证由相互连接的智能体组成的生态系统是安全的。微软研究院研究了当AI智能体交互时会出现什么问题，以及为什么网络层面的风险需要新的方法。了解更多：https://www.microsoft.com/en-us/research/blog/red-teaming-a-network-of-agents-understanding-what-breaks-when-ai-agents-interact-at-scale/

elvis@omarsar0 · 5月1日57

// When to Retrieve During Reasoning // Pay attention to this one, AI devs. (bookmark it) Most RAG systems retrieve once, before the model starts reasoning. Large reasoning models like o1 and R1 don't work that way. They generate 12k-25k token chains of thought and hit knowledge gaps mid-inference, long after the retrieval window closed. ReaLM-Retrieve is a reasoning-aware retrieval framework that injects evidence during multi-step inference. It detects uncertainty at reasoning-step granularity (not token or sentence level), learns a policy for when external evidence actually helps, and cuts per-retrieval overhead by 3.2x. This approach achieves +10.1% absolute F1 over standard RAG across MuSiQue, HotpotQA, and 2WikiMultiHopQA, with 47% fewer retrieval calls than fixed-interval IRCoT. On 2-4 hop MuSiQue it hits 71.2% F1 with only 1.8 retrieval calls per question. If you're shipping reasoning-model RAG, your retrieval needs to know when to fire, not just what to fetch. Paper: https://arxiv.org/abs/2604.26649 Learn to build effective AI agents in our academy: https://academy.dair.ai/

译传统RAG系统在推理前单次检索，无法满足如o1、R1等大型推理模型在生成长链思维时中途出现的知识需求。ReaLM-Retrieve提出推理感知的检索框架，能在多步推理中动态注入证据。其核心在于以推理步骤粒度检测不确定性，学习判断何时引入外部证据有效，并将单次检索开销降低3.2倍。在多个QA数据集上，该框架比标准RAG的F1绝对值提升10.1%，且检索调用次数比固定间隔的IRCoT减少47%。在2-4跳的MuSiQue任务中，仅用平均1.8次检索即可达到71.2%的F1值，表明面向推理模型的RAG需优化检索时机而不仅是检索内容。

Epoch AI@EpochAIResearch · 5月1日59

How much AI compute has been smuggled to China? We estimate between 290k and 1.6M H100-equivalents by the end of 2025 — representing ~20% to ~60% of China’s total compute.

译有多少AI算力被走私到中国？我们估计到2025年底将达到29万至160万H100等效算力——约占中国总算力的20%至60%。

Rohan Paul@rohanpaul_ai · 5月1日61

Google DeepMind’s real-time video AI doctor is here. They just introduced AI co-clinician, a triadic care system built to work under a doctor’s supervision during patient care. The system is built to retrieve clinical-grade evidence, verify it, and in patient-facing simulations use a dual-agent setup where one module talks while another watches for boundary violations. It also beat other frontier models on open-ended drug questions, because real medicine arrives as messy patient cases, not multiple-choice exams. DeepMind evaluated it against the failure modes clinicians actually care about: saying the wrong thing, or failing to surface the crucial thing. In 98 realistic primary care evidence queries, physicians preferred the co-clinician to leading evidence-synthesis tools, and the system logged zero critical errors in 97 cases under their NOHARM-style evaluation.

译Google DeepMind 近日发布 AI co-clinician 协诊系统，这是一个多模态代理系统，旨在辅助医护人员，并在医生监督下运行。系统采用双代理架构：一个模块与患者对话，另一模块实时监控交互边界，能检索并验证临床级证据。在开放式药物问答中，其表现超越前沿模型，更贴合真实医疗场景的复杂性。评估聚焦临床实际关切，如避免错误陈述或遗漏关键信息。在98项初级保健模拟查询中，医生对其偏好超过主流证据合成工具；在97例NOHARM风格评估中未出现严重错误。

向阳乔木@vista8 · 5月1日61

http://x.com/i/article/2049885174113185792 # DeepSeek新论文解读：让AI像人一样“用手指着图片思考” DeepSeek 又在节前发论文了，真的顶不住。 过去几年，多模态领域，大家卷的方向一直是"看得更清"：更高分辨率、更多视觉Token、动态裁剪。 但 DeepSeek 这篇论文角度完全不一样，觉得看清后的信息利用效率远远不够，能推理清楚才更重要，真正的瓶颈不在感知。 他们数据清洗做的很细致认真，比如把近 10 万数据用各种条件过滤到 3 万。 还有数据合成也特别有意思，比如大量迷宫题的设计，哈哈哈哈。 DeepSeek 视觉 Token 用量只有其他前沿模型的十分之一，但效果基本持平，甚至不少维度有超越，牛逼！ > Github: https://github.com/deepseek-ai/Thinking-with-Visual-Primitives ## 一句话总结 DeepSeek团队提出了一种全新的多模态推理框架。 核心思路是：让模型在推理过程中，像人类一样用"手指"指着图片上的具体位置来思考，用点和框这些视觉标记作为思维的最小单位。 模型规模284B总参数（13B激活），视觉Token用量只有其他前沿模型的十分之一，却在空间推理、计数、拓扑推理等任务上达到甚至超越GPT-5.4、Claude-Sonnet-4.6和Gemini-3-Flash。 ## 这篇论文到底在解决什么问题？ 当前的多模态大模型，虽然已经很强了，但有一个根本性的瓶颈：语言天生就不擅长精确描述空间位置。 举个生活中的例子。 你让朋友帮你从一堆杂物里找东西，光靠嘴说"就在那个红色的旁边，偏左一点，上面那个"，说半天对方可能还是找不到。 但你手一指，"就这个"，瞬间解决。 模型也面临同样的困境。 论文把这个问题定义为 "Reference Gap"（指代鸿沟）。 之前业界的主要努力集中在另一个问题上，叫"Perception Gap"（感知鸿沟），就是让模型"看得更清楚"。 比如用更高分辨率的图片、动态裁剪、多尺度patch等等。 但论文指出，看清楚了不等于能推理清楚。 即使模型把图片每个像素都看到了，当它需要在密集场景里数东西、做多步空间推理的时候，纯靠语言描述来追踪"我在说哪个物体"，很容易就乱套了。 比如数一群人，模型用语言说"左边第三个穿蓝衣服的"，说着说着就搞混了，到底数到哪了？哪些数过了？这种混乱会像多米诺骨牌一样传导下去，论文称之为"级联幻觉"。 之前也有一些工作尝试在思维链里加入边界框，但论文认为它们有三个局限： 1. 只是事后验证，把框当作辅助证据，没有真正融入思维过程本身 1. 主要解决的还是"看不清"的问题，集中在高分辨率场景 1. 依赖大量人工标注，扩展性差 1. 无法处理拓扑推理这类需要视觉标记作为思维媒介（而非仅仅作为证据）的复杂任务 ## 核心方案：用"视觉原语"来思考 论文的解法非常直觉：既然语言不擅长指代空间位置，那就在思维链里直接嵌入坐标信息。 具体来说，模型在推理的时候，可以随时输出两种"视觉原语"（Visual Primitives，可以理解为视觉世界里最基本的标记单元）： - Bounding Box（边界框）：用来框住某个物体，标记它的位置和大小 - Point（点）：用来标记一个抽象的位置，比如路径上的某个节点、运动轨迹上的一个点 这些坐标信息直接穿插在模型的思维过程中。 模型一边用语言推理，一边用坐标"指"着图片上的具体位置。 论文把这叫做 "point-to-reason"（指着推理），灵感来自人类认知中的"指示性指代"（deictic pointers）。 走迷宫的时候用手指沿着路径划，数密密麻麻的东西时用手指点着数，这些都是人类降低认知负荷、保持逻辑一致性的本能策略。 看一个实际的例子就很好理解了。 比如数一张图里有多少只熊在地面上： > 模型先扫描整张图，发现一只熊 [[452,23,804,411]] 抱在树上，排除掉。再看到一只熊 [[50,447,647,771]] 走在岩石上，算一个。又找到一只 [[380,645,868,961]] 在碎木头和泥土中间，也在地面上，再算一个。最终答案：2只。 每一步推理都有明确的坐标锚定，不会出现"我刚才说的是哪只熊来着"这种混乱。 ## 模型架构：极致的视觉Token压缩 整体结构 模型采用类似LLaVA的标准架构：图片经过视觉编码器（ViT）提取特征，然后和文本指令拼接在一起，送入大语言模型生成回答。 - 语言骨干：DeepSeek-V4-Flash，一个MoE（Mixture-of-Experts，混合专家）架构的模型，总参数284B，推理时激活13B - 视觉编码器：DeepSeek-ViT，自研的视觉Transformer，支持任意分辨率输入 压缩流水线 这里是整个架构最值得关注的地方。模型对视觉信息做了三级压缩： 第一级：ViT用14×14的patch（小方块）切图，生成patch token 第二级：ViT输出时做3×3空间压缩，把相邻的9个token沿通道维度合并成1个 第三级：进入LLM后，利用CSA（Compressed Sparse Attention，压缩稀疏注意力，DeepSeek-V4-Flash自带的机制）把KV Cache（模型推理时存储的中间状态）再压缩4倍 拿一张756×756的图片举例： - 原始像素：571,536个 - ViT patch token：2,916个 - 3×3压缩后送入LLM：324个 - CSA压缩后KV Cache条目：81个 从原始像素到最终KV Cache，整体压缩比达到7,056倍。 为了平衡性能和计算成本，ViT输出的视觉token数量被限制在81到384之间。 超出这个范围的图片会在保持宽高比的前提下缩放。 对比一下各模型处理800×800图片需要的Token/KV条目数。 用最少的视觉Token，达到了前沿性能。 这个效率差距相当惊人。 ## 预训练：大规模数据构建的工程细节 为什么优先大规模扩展Box数据？ 论文给了三个很实在的理由： 一、标注确定性高 边界框紧紧包住物体，标注结果相对唯一。 但点标注就很模糊了，物体上任何一个位置都可以是合法的点。 极端情况下，如果物体被遮挡，你想标的背景物体上的点可能落在了前景遮挡物上，歧义非常大。 二、任务泛化性好 会输出框的模型可以轻松泛化到点格式，因为一个框本质上就是两个点（左上角和右下角）定义的。 三、信息量更丰富 点只提供位置，框还包含宽高等几何信息，能支持更复杂的下游推理。 数据采集与清洗 团队从互联网上大规模爬取目标检测相关数据。 以Huggingface为例，用官方API筛选标记为"Object Detection"或"Grounding"的数据集，按热度排序做初筛，严格排除所有验证集和测试集防止数据泄露。 还用LLM Agent自动解析各数据集的README文件，把五花八门的数据格式统一转换成预定义格式。 爬取去重后，得到97,984个与框标注相关的数据源。 人工抽检发现类别非常丰富，从常见目标（人、脸）到专业领域（CT扫描中的病灶区域、特定动漫角色）都有。但原始标注质量参差不齐，需要进一步过滤。 两步过滤流水线 第一步：语义审查。 用MLLM自动检查标签的语义质量，过滤三类致命缺陷： 1、无意义的机器编码 很多数据集保留了内部开发代码，比如标签就是"0"或"1"。强迫模型学这种映射会严重损害语言生成能力。 2、不可泛化的私人实体 比如"MyRoommate（我的室友）"或"ID_Card_1"。模型没法从几个样本里学会某个非公众人物的视觉特征。 公众人物则保留。 3、模糊缩写和主观评价 比如工业检测里的"OK"或"NG"（Not Good）。 一个"OK"标签，对应"完好的苹果"和"完好的电路板"，视觉上毫无关联。 具体做法是：每个数据集抽3张图，让模型打0到10的质量分，输出"KEEP"或"DISCARD"决定，并附上理由。 这一步从97,984个数据源筛到43,141个。 第二步：几何质量审查。 检查框标注的物理精度： 1、严重漏标（低召回率） 图里明明有很多同类物体，只标了几个。抽样时漏标率超过50%的直接丢弃。 2、严重截断和偏移 框没有合理包住目标。 稍微松一点（包含少量背景噪声）可以接受，但严重截断关键视觉特征（比如切掉头或车轮）绝对不行。 3、巨型框问题 框覆盖了图片90%以上面积，通常是图像分类数据被强行转成检测数据。 偶尔出现算噪声，如果三张抽样图都这样，直接丢弃。 这一步从43,141个筛到31,701个。 类别均衡采样 为了防止某些类别过度主导，团队设计了按类别采样的策略： 每个数据集的每个类别最多随机抽1,000张图，不足1,000张的全保留。由于一张图可能属于多个类别，采样后做全局去重。 最终得到超过4,000万高质量样本。 统一的数据格式 框标注和点标注都有统一的格式规范。 框标注的提示模板类似："Locate TARGET in this image and report its bounding box coordinates." （请在该图像中定位目标，并报告其边界框坐标） 回复格式用特殊token包裹：<|ref|>TARGET<|/ref|><|box|>[[x1,y1,x2,y2],...]<|/box|>。 坐标归一化为0到999的离散整数，多个实例按从左到右排序。 点标注的提示模板类似："Help me find TARGET. Give me the center point for each instance." （帮我找到目标。请给出每个实例的中心点） 回复格式：<|point|>[[x1,y1],[x2,y2]...]<|/point|>。 注意点格式的回复不需要输出物体名称，这是刻意设计的，目的是让点标记能扩展到更抽象的概念，比如用一串点表示一条轨迹。 整个预训练阶段消耗了数万亿（trillions）多模态token。 ## 后训练：四类核心任务的冷启动数据 预训练让模型具备了输出视觉原语的基础能力，但后训练需要一小批高精度的冷启动数据来引导模型学会"在推理过程中使用视觉原语"。 冷启动数据有两个关键要求： （1）有明确的监督目标（来自标注或程序生成）。 （2）尽可能配备自动验证器（比如规则检查器）来减少标签噪声。 团队选了四类最能体现视觉原语价值的任务。 1. 计数（约10,000个冷启动样本） 为什么计数特别需要视觉原语？ 人类数东西的时候会用"扫描并累加"的策略，一个一个点着数。 但语言模型在物体数量多的时候，很难建立精确的一一对应关系。 用框来锚定每个被数的物体，就像给每个物体贴了个编号。 粗粒度计数 比如"数图里有多少只狗"。 从多个密集检测数据集聚合数据，经过三重过滤（避免物体过于密集、确保框足够大能看清、确保标注召回率高）。 然后让MLLM按三步协议生成思维内容： （1）意图分析，识别目标类别 （2）批量定位，一次性用视觉原语标记所有候选物体（团队发现批量定位比逐个枚举更高效，因为它能利用模型本身的定位能力，避免重复列举） （3）统计求和。还有一个严格的验证机制：确保思维内容中所有框坐标与元数据严格对齐、符合预定义语法、且与最终数字一致。 细粒度计数 比如"数图里有多少只在地面上的熊"。 公开数据集太少，团队自建了一套数据构建流水线。 先利用GQA数据集的图片和场景图（scene graph，记录了图中物体及其属性、关系的结构化数据），让MLLM生成细粒度计数问题，记录正确物体ID、排除的负样本ID和构题理由。 然后以这些信息为输入，引导MLLM合成带视觉原语的推理链。 跟粗粒度计数不同的关键点在于：细粒度计数要求模型做逐个扫描，系统性地检查场景中每个可能的物体是否满足指定的细粒度约束条件。 团队还专门构建了答案为零的负样本，增强模型对幻觉的抵抗力。 2. 空间推理与通用视觉问答（约9,000个冷启动样本） 论文把空间推理和通用VQA（视觉问答）合并为一个类别。 核心假设是：在空间推理任务中培养出的"用视觉原语思考"能力，会自然泛化到更广泛的VQA场景。 1、自然场景数据 同样基于GQA的图片和场景图，让MLLM设计以空间关系和物体交互为核心的问题，配合意图分析、物体定位、关系推理的结构化思维内容。 在拥挤场景中，模型被指示选择有区分度的物体，并结合多种属性约束（比如同时用动作和属性）来唯一指定目标。 但GQA的关系结构相对简单，很难大规模生成复杂的多跳推理样本。 2、合成场景数据 为了突破这个限制，团队用CLEVR工具链生成多跳推理数据。 CLEVR支持可控的场景生成（不同物体密度）、问题生成、以及可编程的执行轨迹（每个推理步骤都映射到具体的物体ID）。 团队把3D物体坐标投影为2D边界框作为监督信号，然后让MLLM合成包含意图分析、任务分解、多跳定位推理的思维链。 3、负样本增强 专门构建查询物体或关系不存在的训练样本。 在这种情况下，模型被训练为基于视觉证据给出"忠实拒绝"（faithful refusal），而非编造回答。 3. 迷宫导航（约460,000个冷启动样本） 这是最有意思的任务，也是数据量最大的一个。 为什么迷宫导航特别适合视觉原语？ 纯语言的思维链根本没法准确描述不规则形状的路径走向。 但用点坐标就很自然，模型可以一步步标记"我现在在哪，我要往哪走"。 迷宫生成方法： 用三种经典算法（DFS深度优先搜索、Prim、Kruskal）生成可解且有难度的迷宫。 这三种算法的共同特点是：任意两个格子之间只有少数路径，确保解不能被轻易猜到。 三种拓扑结构： 矩形网格、由同心环和角扇区组成的圆形迷宫、六边形（蜂巢）网格。 不可解迷宫的精心设计： 先生成一个可解迷宫，获取解路径，然后在路径中段（避开起点和终点附近）故意放几面墙，打断连通性。 这样迷宫乍一看像是能走通的，但实际上需要完整搜索才能确认无解。 这个设计非常巧妙，逼模型真正去搜索而不是凭直觉猜。 视觉风格多样化： 渐变色和加粗墙壁、多种背景图案、多种标记类型、随机小角度旋转，防止模型对特定视觉模式过拟合。 图片分辨率随机化，宽高比连续采样，网格尺寸按比例调整。 难度控制： 通过改变网格大小来控制。 网格越大，模型需要解析更多格子、在更长距离上追踪连通性、处理更多需要回溯的死胡同。 简单迷宫只需要几步局部连通性检查，噩梦级迷宫需要持续链接数百个视觉原语操作，同时不丢失对已探索区域的记忆。 每个难度级别都有最低分辨率阈值，确保视觉原语在最难的配置下仍然可感知，让任务难度来自推理复杂度而非视觉模糊性。 思维内容合成： 设计多种自然语言模板来描述基于DFS的探索过程，包括前进探索和回溯。 每一步探索都通过点坐标锚定到图片上，把视觉原语操作（检查某个格子的墙壁连通性、前进到相邻格子、从死胡同退回）显式转化为语言化的推理链。 最终输出迷宫是否可解，如果可解则提供验证过的解路径。 4. 路径追踪（约125,000个冷启动样本） 任务是：给一堆缠绕在一起的曲线，指定一条线的起点，问它连接到哪个终点。 数据生成： 用多条贝塞尔曲线（Bézier curves，一种用控制点定义的平滑曲线）生成图片，每条线连接一个有标签的起点和终点。 核心挑战在于交叉点消歧：两条线交叉的地方，模型必须判断哪条分支是目标曲线的延续。 为了确保这个能力被真正测试，团队做了两个关键约束： （1）任何终点都不能与无关线条重叠或交叉，违反的配置直接丢弃重新生成 （2）专门设计了统一风格模式，所有线条颜色和粗细完全相同，剥夺颜色捷径，强迫模型只能依靠曲率连续性来判断，直接测试路径追踪能力是否被真正内化。 难度控制： 随线条数量和曲率幅度自然增长。 简单实例是几条平缓曲线、稀疏交叉。 困难实例是大量紧密缠绕的曲线，交叉点密集。图片分辨率、宽高比、视觉风格（调色板、线条样式、端点标记、背景）全部随机化。 思维内容合成： 把路径追踪过程表示为沿目标曲线采样的坐标序列。 从定位起点开始，经过一系列中间路径点，最终识别到达的终点。 关键细节是：路径点的密度会自适应曲线的局部几何形状。 直线段用较少的点，高度弯曲或交叉密集的区域用更密集的坐标，模拟人类"在视觉复杂区域放慢速度仔细看"的行为。 ## 后训练流水线：专家分治再合并 整个后训练采用"先训专家，再合并"的策略，分四个阶段。 阶段一：Specialized SFT（专项监督微调） 训练数据由70%通用多模态和纯文本数据 + 30%专项"用视觉原语思考"数据组成。 关键设计：分别用box数据和point数据训练两个独立模型，得到FTwG（Thinking with Grounding，用框思考）和FTwP（Thinking with Pointing，用点思考）。 分开训练是为了防止模式冲突，当专项数据量相对较小时，两种模式混在一起会互相干扰。 阶段二：Specialized RL（专项强化学习） 对FTwG和FTwP分别做强化学习，使用GRPO（Group Relative Policy Optimization，组相对策略优化）算法。 一个重要的设计决策：RL阶段不显式监督思维过程中的视觉原语。 因为冷启动数据中的视觉原语已经经过严格验证，模型在SFT阶段已经学会了基本的使用方式。 RL阶段只需要图片、问题和最终答案，这大大拓宽了可用数据的范围，增强了RL训练的可扩展性。 三层奖励模型 每个任务从三个维度同时提供监督： Format RM（格式奖励）： 基于规则，输出0到1的分数。 检查视觉原语的表示格式是否正确。 对于框模式，还额外检查输出冗余，比如生成重复的边界框，有效缓解SFT模型陷入无限循环生成框的问题。 Quality RM（质量奖励）： 基于LLM的生成式奖励模型（GRM），评估五个方面： - 回复是否冗余 - 思维内容与最终回复是否一致 - "用视觉原语思考"过程中是否自相矛盾 - 输出框时指代的物体是否是有意义的实体 - 模型是否存在"奖励黑客"行为，比如在回复中强行编造一个与自己预测一致的假标准答案来欺骗奖励模型 输出三档分数（0.0、0.5、1.0），并附上评分理由。 Accuracy RM（准确性奖励）： 针对每个任务单独设计。 计数任务的准确性奖励： 用平滑指数衰减代替简单的对错判断。 预测值和真实值的相对误差越小，奖励越高；差得越多，奖励衰减越快。 分母加了真实值，使得在物体数量多的场景下，差一两个的容忍度更高。 实践中衰减参数经验性地选择，确保学习信号稳定平滑。 空间推理和通用VQA的准确性奖励： 用LLM-based GRM，把模型的思维内容、最终回复、用户问题和标准答案一起输入，分别对思维过程和回复打分，取平均。 迷宫导航的准确性奖励： 拆成五个维度的加权组合，这是所有任务中设计最精细的： - 因果探索进度：按顺序处理模型的探索步骤，遇到第一次穿墙违规就截断后续所有探索（因为后续推理因果上已经无效了），然后计算已探索区域到终点的最短距离占最优路径长度的比例。只用于可解迷宫。 - 探索完整性：对于不可解迷宫，模型必须穷举探索所有可达区域才能证明无解。计算已探索区域占所有可达区域的比例。只用于不可解迷宫。 - 穿墙惩罚：独立于因果截断，扫描整个探索轨迹，统计每一次穿墙违规。确保穿墙行为永远有代价，即使发生在探索后期。 - 最终路径有效性：当模型声称迷宫可解时，验证给出的解路径中相邻格子是否合法连通、路径是否从起点到终点连续。可解迷宫的二元分数，不可解迷宫保持为1。 - 答案正确性：模型的可解性判断是否与真实答案一致的二元分数。 这种分解确保奖励信号是密集且有信息量的：模型在每个正确应用视觉原语的步骤都能获得奖励，而非只看最终的二元答案。 路径追踪的准确性奖励：也是多维度加权组合： - 轨迹准确性（双向评估）：正向，对每个预测点计算它到真实曲线任意线段的最小距离，取平均，惩罚偏离真实路径的点；反向，对每个真实路径点计算它到预测折线任意线段的最小距离，惩罚不完整覆盖（模型跳过了曲线的某些部分）。最终取两个方向的平均。单看正向会允许模型只在起点附近输出几个安全的点，单看反向不会惩罚虚构的绕路。两个方向结合才能逼模型完整且准确地追踪整条曲线。 - 端点准确性：分别验证模型是否正确识别了起点和终点位置。计算预测坐标与真实边界框中心的距离，超过容忍阈值分数降为零。 - 轨迹连续性惩罚：如果模型轨迹的最后一个点和它声称的终点之间距离超过阈值，施加固定惩罚。防止模型输出一段不完整的轨迹然后"跳"到一个猜测的终点。 - 答案正确性：模型最终回答中的终点标签是否与真实答案匹配。 RL数据的难度分级 RL训练前，用SFT冷启动模型对数据池做N次rollout（让模型对同一个问题生成N个回答），根据奖励模型打分，把数据分成三个难度级别： - Easy：N次全对 - Normal：1到N-1次正确 - Hard：N次全错 只选Normal级别的数据做RL训练，确保模型能从中获得有价值的学习信号。 全对的太简单学不到东西，全错的太难也学不到。这个策略在GRPO训练中非常关键。 经过Specialized RL（专业强化学习），得到两个专家模型：ETwG（框专家）和ETwP（点专家）。 阶段三：Unified RFT（统一拒绝微调） 前面两个阶段分别训练出了"框专家"和"点专家"，各自在自己的领域很强，但它们是两个独立的模型。 这个阶段的目标是：把两种能力合并到同一个模型里。 怎么合并？核心思路是"让专家出题，让新模型学"： 第一步：用专家模型生产高质量训练数据。 让框专家和点专家分别对大量问题生成多个回答，然后用奖励模型打分，按之前的难度分级策略筛选——保留所有 Normal 级别数据（模型有时对有时错，最有学习价值），再加入 5% 的 Easy 级别数据（模型全对的简单题，掺进去是为了防止模型在简单场景上"退化"）。 第二步：从头训练一个新模型。 这里有一个反直觉的设计。 不是在框专家或点专家的基础上继续训练，而是回到最初的预训练基座模型，用第一步筛选出的这批更大、更多样的数据重新做一遍SFT。 > SFT解释：预训练阶段的模型只是学会了"语言的规律"，像一个读了很多书但没上过课的学生。SFT 就是拿一批"标准问答对"来教它怎么正确回答问题 为什么要"回到原点"重新来？因为专家模型已经在各自的专项数据上训练过，参数里带有偏向性。 如果在它们的基础上继续训练，一种能力的参数可能会覆盖另一种。 从干净的基座重新出发，用同时包含框数据和点数据的混合数据集训练，模型能更均衡地学会两种能力。 训练的超参数和流程与最初的 SFT 冷启动阶段完全一致，唯一的区别就是训练数据更好了。 因为这些数据是由已经很强的专家模型生产并经过严格筛选的。 > 超参数（Hyperparameters） 是训练开始之前由人为设定的配置项，它们控制着"模型怎么学习"。打个比方：如果把训练模型比作做菜，那超参数就是火候、时间、翻炒频率这些你在开始做菜前就要决定好的东西，而不是食材本身。 这一步得到的统一模型称为 模型 F。 阶段四：On-Policy Distillation（在策略蒸馏） 虽然统一模型F比冷启动模型有了大幅提升，但跟各自领域的专家模型相比仍有差距。 为了弥合这个差距，采用OPD（On-Policy Distillation）。 核心思路是：让学生模型基于自己生成的轨迹来学习教师模型的输出分布。 用反向KL散度作为损失函数，对两个教师模型（ETwG和ETwP）的输出分布做加权蒸馏。 > 反向KL散度让近似分布宁可只抓住真实分布的一个峰也不乱猜，追求"说得少但说得准"，而不是"面面俱到但不精确"。 采用全词表logit蒸馏，也就是在整个词表上对齐概率分布，而非只看top-k。 ## 训练的工程细节 "用什么工具、怎么省算力"来完成这么大规模的训练？ 训练框架：使用 HAI-LLM，这是一个基于 PyTorch 的分布式训练框架，可以把训练任务拆分到大量 GPU 上并行执行。 序列长度（模型一次能"看"多长的内容）： - 预训练阶段：64K token——相当于一次能读大约5万字 - 后训练阶段：扩展到 256K token——因为"用视觉原语思考"的推理链很长，模型需要在一次推理中输出大量坐标，所以必须把"视野"拉长4倍 数值精度（用多少位数字来表示模型参数）： 这是省算力的关键手段。 正常的浮点数用32位（FP32）表示，精度最高但最耗资源。 训练大模型时，业界会主动降低精度来换取速度和显存： 越到后面的训练阶段，用的数字越"粗糙"，但因为任务性质允许，所以效果不受影响，算力成本却大幅降低。 这是工程上非常务实的取舍。 ## 评估体系 公开基准 - 计数：CountQA、Pixmo-Count（使用官方测试集） - 空间推理与通用VQA：SpatialMQA、CV-Bench、EmbSpatial、OmniSpatial、MIHBench 自建基准 公开基准的评估维度往往有限，无法充分捕捉"用视觉原语思考"的能力。 团队自建了三个维度的测试集： DS_Finegrained_Counting（600个测试样例）： 现有细粒度计数基准（如TallyQA）存在标注错误和歧义。 团队让MLLM生成受特定属性或空间位置约束的计数问题，刻意确保存在强干扰负样本（与目标同类别但不同属性的物体），经过严格人工验证。 DS_Spatial_Reasoning（2,000个测试样例）： 从CLEVR验证集采样1,000个判断题和1,000个开放题，用MLLM为开放题生成干扰选项，转换为选择题格式，便于标准化自动评估。 DS_Maze_Navigation（2,000个测试样例）和DS_Path_Tracing（2,000个测试样例）： 按照前述方法论构建。 ## 实验结果 主要对比 所有模型通过各自API用完全相同的提示词评估。 对于支持可配置思考预算的模型（如GPT和Gemini-3-Flash），统一设置思考预算为low，确保公平。 计数任务： Pixmo-Count上全场最高，细粒度计数也是最高。 CountQA上非常接近Gemini-3-Flash。 空间推理与通用VQA： 6个基准中4个最高，1个并列最高，1个极度接近最高。 拓扑推理： 这是差距最大的地方。 迷宫导航上，其他所有模型都在49到51之间徘徊（基本等于随机猜），只有本文模型达到66.9。 路径追踪上更夸张，第二名GPT-5.4只有46.5，本文模型56.7。 这说明当前主流模型在需要精确空间追踪的拓扑推理任务上存在系统性缺陷，视觉原语是目前最有效的解法。 论文特别声明：报告的分数只覆盖与本文研究重点直接相关的评估维度子集，不代表各模型的整体能力。 ## 定性展示：模型实际表现 框作为视觉原语 跨领域知识融合：给一张金门大桥的照片，用中文问"这附近有NBA球队吗？"模型先用框标记金门大桥 [[0,134,882,795]]，识别出这是旧金山，然后关联到金州勇士队，回答球馆大通中心就在旧金山。 反常识视觉推理：天平两端分别放着金属储物柜和彩虹小熊，模型通过框标记两个物体和两个托盘，观察天平倾斜方向，判断小熊更重。虽然违反日常直觉，但模型忠实于视觉证据。 实用场景指导：看到一台咖啡机，用中文问"如何制作拿铁"。模型逐一用框标记咖啡机 [[111,107,721,970]]、蒸汽棒 [[164,405,236,693]]、不锈钢奶壶 [[670,638,853,905]]、咖啡豆 [[810,438,995,885]]、拿铁按钮 [[408,219,444,261]]、咖啡杯 [[535,779,770,988]]，然后给出具体操作步骤，每一步都有空间坐标对应。 密集场景计数：数一张29人合影里有多少人，模型一次性输出29个框，按前排坐地上的、中排蹲着的、后排站着的、两侧教练分组统计。 幽默理解：左边一块水果有天然的黑斑看起来像眼睛和鼻子，右边是一只表情忧伤的猫。模型用框分别标记水果上的"眼睛"和"鼻子"斑点，以及猫的真实眼睛和鼻子，解释幽默来自两者惊人的相似性。 密室逃脱推理：看到一个房间里有高处的钥匙、锁着的门和一把椅子，模型用框标记三个关键物体，推理出"把椅子搬到钥匙下面，踩上去拿钥匙，再去开门"。 宝可梦识别与计数：一堆混杂的玩偶里数宝可梦，模型用框标记6个宝可梦（皮卡丘、可达鸭、小火龙、妙蛙种子、胖丁、杰尼龟），同时明确排除了哆啦A梦、路飞、索隆、蜡笔小新等其他动漫角色 多语言能力：虽然视觉原语相关的后训练数据里没有任何中文语料，但模型可以用中文思考和回答，得益于底座模型的多语言能力自然继承。识别云南古镇照片时，模型用框标记木门框、方形灯笼、泥土墙壁、鹅卵石步道等细节，最终判断是丽江或沙溪古镇。 点作为视觉原语 迷宫导航：圆形迷宫，从绿色菱形到红色标签。模型先标记起点和终点坐标，然后用类似DFS的策略逐步探索。遇到死胡同就回溯到上一个分叉点，尝试另一个方向。整个探索过程有18步，最终找到一条15个节点的有效路径。 路径追踪：一堆缠绕的彩色线条中，追踪从皇冠图标出发的品红色线。模型输出了80多个坐标点，密密麻麻地沿着曲线走，最终确认连接到章鱼图标。 ## 局限性 论文坦诚地指出了三个不足： 1、受输入分辨率限制 在极细粒度场景下视觉原语的精度还不够理想。 可能的解决方向是把本文框架与现有针对"感知鸿沟"的方法（高分辨率裁剪等）结合，取长补短。 2、需要显式触发词 这样才能激活"用视觉原语思考"的能力，还不能自主判断什么时候该用。 未来目标是让模型根据具体上下文自动决定是否调用这个机制。 3、拓扑推理的跨场景泛化能力有限。 用点作为视觉原语解决复杂拓扑推理仍然是一个艰巨挑战，当前模型在训练过的迷宫和路径追踪上表现好，但更广泛的场景还需要探索。 ## 这篇论文为什么重要？ 回到最开始的问题。 当前多模态AI的推理过程，本质上还是在纯语言空间里进行的。 输入是多模态的（图片+文字），输出也可以是多模态的，但中间的思考过程完全是语言。 这就像一个人看着一张复杂的地图，闭上眼睛纯靠脑子里的语言描述来规划路线。 能做到，但效率低、容易出错。 这篇论文的核心贡献是：让推理过程本身也变成多模态的。 模型的思维链不再只有文字，还穿插着精确的空间坐标。 这就像睁着眼睛看地图，手指沿着路线划，嘴里同时说着"这里左转，那里右转"。 眼、手、口协同工作，效率和准确性都大幅提升。 从技术路线的角度看，业界过去几年在多模态推理上的主要投入方向是"看得更清"（更高分辨率、更多视觉Token），这篇论文提出了一个互补的方向："指得更准"。 而且实验证明，在视觉Token用量只有其他前沿模型十分之一的情况下，光靠"指得更准"就能达到甚至超越"看得更多"的效果。 这暗示着视觉信息的利用效率还有巨大的提升空间，关键可能不在于往模型里塞多少像素，而在于怎么用好已有的信息。 从更长远的视角看，这篇论文指向了System 2多模态智能的一个重要方向。 丹尼尔卡尼曼把人类思维分为System 1（快速直觉）和System 2（慢速深思）。 当前的多模态模型在System 1层面已经很强了（看一眼图就能大致描述），但在System 2层面（需要多步推理、精确追踪、逻辑链条不断裂）还有明显短板。 论文最后一句话说得很好：通往System 2多模态智能的道路，不仅仅在于"看更多像素"，更在于构建一座精确、无歧义的桥梁，连接语言与视觉世界。

译DeepSeek团队提出全新多模态推理框架“Thinking with Visual Primitives”，核心是让模型在推理过程中像人类一样，使用“点”和“边界框”这类视觉原语来指代图像中的具体位置，以此作为思维的最小单位，旨在解决语言在精确描述空间位置时的“指代鸿沟”问题。模型采用DeepSeek-V4-Flash作为语言骨干，并设计了极致的视觉Token压缩流水线，将视觉Token用量压缩至其他前沿模型的十分之一。尽管视觉信息被大幅压缩，模型在空间推理、计数等任务上仍达到或超越了GPT-5.4、Claude-Sonnet-4.6等模型的性能。

向阳乔木@vista8 · 5月1日45

终于读完DeepSeek最新论文，一万三千字 AI 解读。 论文中的所有图表都手动截图，累死了。 DeepSeek 这篇论文牛逼，独立思考的光辉在闪耀。 数据清洗也做的细致，把近 10 万数据用各种条件过滤到 3 万。 造训练数据的过程也特别有意思，比如大量迷宫题的设计，哈哈哈！！！

译作者完成DeepSeek最新论文的AI解读，指出论文在独立思考方面表现突出，闪耀创新光辉。数据清洗过程细致严谨，通过多条件过滤将数据规模从近10万缩减至3万条。训练数据构建设计巧妙，例如大量迷宫题等趣味方法，体现了研究团队的创意。整体而言，论文在AI领域具有重要价值，获得高度评价。

向阳乔木@vista8 · 4月30日60

今天刚发的DeepSeek-VL论文中最有意思的就是这个结论和配方了。 多模态训练会"吃掉"语言能力 用100%视觉数据训练语言模型，语言benchmark会断崖式崩塌。 70% 纯文本 + 30%多模态数据，是最佳配方。 两种模态存在竞争关系，不是调参能绕过去的。

译DeepSeek-VL论文指出，多模态训练会损害语言模型的语言能力，使用100%视觉数据训练将导致语言benchmark性能断崖式崩塌。研究确定最佳训练配方为70%纯文本数据与30%多模态数据结合，并强调视觉与语言模态之间存在固有竞争关系，这种竞争无法通过参数调整来规避。论文结论突显了平衡多模态数据比例对维持模型语言性能的关键作用。

歸藏(guizang.ai)@op7418 · 4月30日51

DeepSeek 多模态大语言模型的论文《Thinking with Visual Primitives》已经公开 底座是 DeepSeek-V4-Flash，MoE架构，总参数量 284B，激活参数量 13B。 自研 DeepSeek‑ViT 视觉编码模型，14×14 patch，输出后 3×3 空间压缩，再接入 LLM。 模型在回答时不仅进行文字推理，还会同时通过画框、打点等“视觉原语”进行思考。 在极低的 Token 成本下，其效果能和 GPT-5.4、Claude 以及 Gemini 在一些前沿指标上对齐，甚至有的指标能反超。

译该论文介绍了基于DeepSeek-V4-Flash底座的多模态大模型。其核心创新在于模型能同时进行文字推理和“视觉原语”（如画框、打点）思考。该模型以极低的Token成本，在多项前沿指标上达到了与GPT-5.4、Claude、Gemini等模型相当甚至更优的性能。

Rohan Paul@rohanpaul_ai · 4月30日73

New Microsoft paper shows that current AI assistants often damage documents during long editing jobs. Even the frontier models still ended up corrupting about 25% of document content on average, while many other models damaged far more. The problem is that delegated AI work only makes sense if a model can keep a document correct across many edits, not just do 1 step well. The paper tests this with reversible task pairs, where a model edits a file and then tries to undo that edit, so a reliable system should return to the original document. The authors built real work setups across 52 domains, from coding and science to accounting and music notation, and ran 19 models through 20 editing interactions. The failures were usually not lots of tiny slips but occasional big mistakes that silently broke parts of the document and then compounded over time. Agentic tool use did not help in their tests, and bigger files, longer workflows, and irrelevant extra documents made the corruption worse. The reason this matters is that current LLMs can look strong in short demos or narrow coding tasks yet still be unreliable delegates for long real-world document work. ---- Paper Link – arxiv. org/abs/2604.15597 Paper Title: "LLMs Corrupt Your Documents When You Delegate"

译微软最新论文指出，当前AI助手在执行长链条编辑任务时，普遍会损坏文档内容。研究通过可逆任务对测试了19个模型，发现即使是前沿模型平均也会破坏约25%的文档内容，且问题随文件增大、流程变长而加剧。失败模式通常不是微小失误，而是偶尔出现的重大错误，这些错误会静默破坏部分文档并随时间累积。研究表明，当前的LLM在简短演示或狭窄编码任务中可能表现良好，但作为现实世界长文档工作的委托代理仍不可靠。

Rohan Paul@rohanpaul_ai · 4月30日55

Anthropic's new research shows that Claude can solve real bioinformatics problems human experts miss. 23 “human-difficult” problems that their expert panel could not solve, and their top model, Claude Mythos Preview, solved 29.6% of that set. The problem is that older science tests mostly check clean questions, not messy biology data work on real datasets. BioMysteryBench tries to fix that by hiding objective answers inside real datasets and grading only the final answer. It gives Claude standard biology tools and database access on 99 tasks, while up to 5 experts try them too. On the 76 problems at least 1 expert solved, the best model got about 83%, and on 23 expert-stumping problems it got about 30%. The post also found that wins on the hard problems were much less repeatable across 5 tries, so many successes were shaky rather than dependable. Anthropic’s own examples suggest Claude is strongest when it behaves less like an oracle and more like an unusually fast research collaborator: it layers methods, cross-checks evidence, and uses broad background knowledge to narrow the search space.

译Anthropic最新研究利用BioMysteryBench测试平台评估Claude在真实生物信息学问题上的能力。该测试将客观答案隐藏于真实数据集中，涵盖99项任务。在至少一位人类专家解决的76个问题上，Claude Mythos Preview模型准确率约为83%；更值得注意的是，在23个专家小组未能解决的问题上，该模型仍解决了其中约29.6%。然而，模型在困难问题上的成功重复性较低，表明其表现尚不稳定。研究指出，Claude最有效的模式并非充当“先知”，而是扮演快速研究协作伙伴的角色：通过分层使用方法、交叉验证证据并运用广泛背景知识来缩小搜索空间。

Rohan Paul@rohanpaul_ai · 4月30日54

The paper proposes a way for a coding agent to rewrite its own tools and rules, then check whether each change really helped. The big deal is that it turns harness tuning from guesswork into an auditable experiment, so the part of agent systems that quietly eats the most time and effort can now improve itself in a controlled and measurable way. The problem is that agent harnesses, meaning the prompts, tools, memory, and rules around a model, are usually tuned by hand or changed through messy self-improvement loops that produce lots of edits but little clear evidence about what helped. The method, called Agentic Harness Engineering, turns those edits into file-level parts that can be changed or rolled back, compresses huge run logs into short failure evidence, and makes the agent write a prediction for each edit that later gets checked against real task results. They tested this on Terminal-Bench 2, a hard coding benchmark in a terminal, by starting from a very small shell-only harness and letting the loop run for 10 rounds while keeping the base model fixed. The single-try success rate rose from 69.7% to 77.0%, beating Codex-CLI at 71.9% and other self-evolving baselines, which suggests the gains came from better harness design rather than from swapping in a stronger model. The final harness also carried over to other models and to SWE-bench-verified, with gains of 5.1 to 10.1 points across model families and 12% fewer tokens than the seed on SWE-bench-verified, which matters because harness work is expensive and this gives a more reliable way to let that layer improve itself without drifting into random noise. ---- Paper Link – arxiv. org/abs/2604.25850 Paper Title: "Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses"

译本文提出Agentic Harness Engineering方法，使编码代理能自动重写自身工具和规则，并通过可审计实验验证每次更改的有效性。传统代理工具调整依赖手动或混乱自我改进循环，缺乏明确证据。该方法将编辑转化为文件级可回滚部分，压缩运行日志为简短失败证据，并让代理为编辑写预测后基于任务结果检查。在Terminal-Bench 2测试中，从小型shell-only工具开始，经10轮进化且基础模型固定，单次尝试成功率从69.7%提升至77.0%，超越其他基线。最终工具可迁移至其他模型和SWE-bench-verified任务，在不同模型家族获得5.1到10.1点提升，并减少12%令牌使用，为昂贵工具工作提供可靠、可控的自我改进途径。

Chubby♨️@kimmonismus · 4月30日61

Anthropic just dropped a benchmark that should make every scientist pay attention. BioMysteryBench puts AI models through 99 real bioinformatics challenges, using raw, messy datasets from actual research, think unprocessed DNA sequences and clinical samples. However: these aren't textbook problems with neat answers. They're the kind of open-ended puzzles that keep PhD students up at night. The results are exciting. Claude's latest models (4.7) solve the majority of tasks that trained human experts can handle, and on 23 problems that a panel of five domain experts couldn't crack, Claude Mythos Preview nailed 30% of them. How? By combining knowledge from hundreds of thousands of papers and layering multiple analytical strategies when uncertain, essentially doing what a room full of specialists would do, but faster and in a single run. Genentech and Roche independently confirmed this trajectory with their own CompBioBench, where Claude Opus 4.6 reached 81% overall accuracy and 69% on the hardest questions. Two separate benchmarks, same conclusion: AI is no longer just keeping pace with biologists, it's pulling ahead on some of the hardest problems.

译Anthropic发布了BioMysteryBench基准测试，包含99个使用原始、杂乱真实生物数据集的开放式生物信息学挑战。最新Claude模型（4.7）解决了大部分人类专家能处理的任务，并在专家小组未能解决的23个难题中攻克了约30%。其能力源于整合数十万篇论文知识，并在不确定时叠加多种分析策略。Genentech和Roche的独立测试（CompBioBench）中，Claude Opus 4.6总体准确率达81%，最难问题准确率69%。两项基准共同表明，AI已在部分最困难的生物学问题上超越人类专家。

宝玉@dotey · 4月30日66

OpenAI 发了一篇技术博客，认真调查了一个荒诞的问题：为什么他们的模型越来越爱说“哥布林”（goblin）和“小精灵”（gremlin）？ 事情最早在去年 11 月 GPT-5.1 上线后被注意到。用户反馈模型说话太过自来熟，内部一查，发现包含“goblin”的对话比之前暴涨了 175%，“gremlin”涨了 52%。当时觉得比例还小，没太当回事。 几个月后 GPT-5.4 上线，哥布林彻底泛滥，用户和员工都受不了了。OpenAI 这才认真追查，最终锁定了罪魁祸首：ChatGPT 的性格定制功能。 ChatGPT 有八种可选性格，其中一种叫“Nerdy”（极客风）。训练这个性格时，奖励模型被设定为鼓励"俏皮、有趣的表达"，结果无意中给了包含奇幻生物比喻的回复更高的分数。模型很快学会了一个捷径：提到哥布林就能拿高分。 问题在于，这个习惯没有老老实实待在极客性格里。数据显示，Nerdy 性格只占 ChatGPT 全部回复的 2.5%，却贡献了 66.7% 的“goblin”出现次数。从 GPT-5.2 到 GPT-5.4，Nerdy 性格下的哥布林出现率飙升了 3881%。更麻烦的是，即使在没有 Nerdy 性格提示词的对话中，哥布林也在同步增长。 OpenAI 给出的解释是一个经典的反馈循环：强化学习先在极客性格里奖励了这种表达，然后模型生成的带哥布林的回复被收录进了下一轮训练数据，模型因此更加习惯输出哥布林，如此循环放大。除了哥布林，浣熊、巨魔、食人魔、鸽子也都被查出是同一机制产生的“tic词”（语言习惯性抽搐）。 【注：tic 原本是医学术语，指不自主的重复动作或发声，OpenAI 在这里借用来形容模型养成的不受控语言习惯。】 修复方面，OpenAI 在今年 3 月下架了 Nerdy 性格，移除了相关奖励信号，并过滤了训练数据中的生物词。但 GPT-5.5 的训练在找到根因之前就已经开始，所以新模型依然带着哥布林习性出厂。目前的临时方案是在 Codex（OpenAI 的编程工具）里通过系统提示词压制。博客里甚至贴了一段命令行代码，教你怎么把哥布林抑制指令去掉，"让小精灵们自由奔跑"。 这篇博客表面上是讲一个好笑的 bug，底下其实揭示了一个 AI 训练的核心难题：你给模型的每一个微小的奖励信号，都可能在你不知道的地方被放大和泛化。一个只针对 2.5% 用户的性格训练，最终污染了整个模型的语言习惯。

译OpenAI技术博客深入调查了其模型（从GPT-5.1到GPT-5.4）输出中“goblin”和“gremlin”等奇幻生物词汇异常激增的现象。根源在于ChatGPT的“Nerdy”性格定制功能：其奖励模型在训练中无意间高奖励了包含此类词汇的“俏皮”表达。尽管该性格仅占全部回复的2.5%，却贡献了超66%的“goblin”出现次数，并通过强化学习的反馈循环污染了模型的整体输出，形成了“tic词”。OpenAI已下架该性格并调整训练数据，但此案例揭示了微小的奖励信号在AI训练中可能被意外放大和泛化的核心难题。

AK@_akhaliq · 4月30日39

OmniShotCut Holistic Relational Shot Boundary Detection with Shot-Query Transformer paper: https://huggingface.co/papers/2604.24762

译OmniShotCut 基于Shot-Query Transformer的整体关系性镜头边界检测 论文: https://huggingface.co/papers/2604.24762

Rohan Paul@rohanpaul_ai · 4月30日43

Researchers found that when language models face harder questions, their internal brain activity literally shrinks into fewer paths. Language models actually compress their internal thinking when they get confused, and we can use that to help them. Standard AI models usually spread their thinking across many artificial neurons when they confidently recognize familiar information. The team discovered that if you confuse a model with tricky math or conflicting facts, this broad activation collapses into a highly concentrated signal in its final processing layer. This shrinking happens because the system drops its robust distributed memory and forces the computation into a tiny specialized space to survive the unfamiliar challenge. The big deal is that we usually have no idea when a language model is actually struggling with a weird prompt until it gives a wrong answer. This paper proves that the model actually broadcasts its confusion internally by abandoning its wide neural networks and falling back on a very tiny cluster of active neurons. Because we can measure this exact shrinking effect as a raw number, we do not have to guess if a question is too hard for the AI. We can just read that internal signal and automatically provide the system with the perfectly scaled stepping stones it needs to solve the problem. ---- Paper Link – arxiv. org/abs/2603.03415 Paper Title: "Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs"

译研究发现，当语言模型面对困难问题时，其内部“脑活动”会收缩到更少的路径中。模型在感到困惑时会压缩内部思考，表现为从广泛分散的神经元激活，坍缩为最终处理层中高度集中的信号。这是因为系统放弃了稳健的分布式记忆，将计算强制压缩到狭小的专门空间以应对陌生挑战。关键在于，这种收缩效应可被量化为一个原始数值，从而无需猜测问题对AI是否过难。通过读取此内部信号，便能自动为系统提供恰如其分的“垫脚石”以辅助其解决问题。

Anthropic@AnthropicAI · 4月30日51

New on the Science Blog: We gave Claude 99 problems analyzing real biological data and compared its performance against an expert panel. On 23 problems, the experts were stumped. Our most recent models solved roughly 30% of those—and most of the rest.

译科学博客上新：我们给Claude出了99个分析真实生物学数据的难题，并将其表现与专家小组进行了比较。 在23个问题上，专家们被难住了。我们最新的模型解决了其中大约30%——以及其余的大部分问题。

Rohan Paul@rohanpaul_ai · 4月30日51

Beautiful new paper from Harvard, Stanford, UC Berkeley and other top labs. Shows that DeepLearning is finally becoming the kind of thing science can explain, not just optimize. Because we still do not have a compact, predictive theory that tells us ahead of time how a neural network will learn, scale, and respond to training choices without mostly testing it first. Not that we will soon explain every weight, but that we may learn the coarse laws governing training, representation, and performance. That shift matters because neural nets are not hidden systems. We know the architecture, the data, the objective, and the update rule. The obstacle is not secrecy. It is the complexity of many simple parts interacting at once. So the authors propose “learning mechanics,” a physics-like program that studies the motion of learning itself. “Learning mechanics” is their name for a hoped-for set of broad laws, similar to how physics explains gases without tracking every molecule, that explains the overall behavior of neural nets instead of just describing one model at a time. Physics became useful by ignoring microscopic detail when the right aggregate variables were enough, and this paper says deep learning theory is maturing in exactly that direction through solvable toy models, infinite limits, scaling laws, hyperparameter theories, and universal behaviors. The claim is that training a neural net may be less like recipe tweaking and more like physics, where you stop tracking every tiny part and instead predict the large patterns that keep showing up. That means studying how gradients move parameters, how representations form, and why behavior changes in regular ways as model size, data, and compute grow. The paper says this theory is taking shape through 5 routes: solvable toy models, simplifying limits like infinite width, simple laws like scaling laws, theories of hyperparameters, and behaviors that look universal across many systems. The central bet is that useful laws can exist even when full microscopic detail is hopeless, just like thermodynamics explains gases without tracking every molecule. This also fits neatly beside mechanistic interpretability, because one tries to find local circuits while the other tries to find global laws of learning. ---- Paper Link – arxiv. org/abs/2604.21691 Paper Title: "There Will Be a Scientific Theory of Deep Learning"

译哈佛、斯坦福、UC伯克利等顶尖实验室联合提出，深度学习正从经验优化转向可解释的科学理论。尽管神经网络架构、数据等完全公开，但其复杂互动使得预测训练过程仍依赖大量实验。作者倡导建立“学习力学”，类似物理学关注宏观规律，通过可解玩具模型、无限宽度极限、缩放定律等五种路径，揭示训练动态与性能演化的整体性法则。这一理论与专注于局部电路的机制可解释性研究形成互补，共同探索学习的全局定律。

Anthropic@AnthropicAI · 4月30日56

In new Anthropic Fellows research, we discuss “introspection adapters": a tool that allows language models to self-report behaviors they've learned during training—including potential misalignment.

译在新的Anthropic Fellows研究中，我们探讨了“内省适配器”：这种工具能让语言模型自我报告在训练过程中习得的行为——包括潜在的错位。 [引用 @kshenoy_]：大型语言模型能否直接告诉我们它们在训练中习得的不良行为？ 我们训练了一个单一的内省适配器（IA），使微调后的模型能够描述自身行为。 该方法可推广至检测隐藏的错位、后门和安全措施移除。

Deedy@deedydas · 4月30日50

Researchers just estimated the size of all the LLMs by asking it knowledge questions of varying degrees of obscurity! – GPT 5.5: ~10T params – Claude Opus 4.x: ~4-5T – Grok 4: ~3T The idea here is that factual capacity scales log-linearly with size. The paper shows 7 knowledge tiers and T7 is essentially ~0% for all models, suggesting there is still significant headroom for pretraining. Gemini 3.1 Pro is likely >10T given its used as an anchor but has no direct estimate. This means we can infer what different models might cost to some degree and their post-training effectiveness (performance at certain non-factual tasks given its size). One of the coolest papers I’ve read of late.

译研究人员通过询问不同难度知识问题，估计大型语言模型参数大小。结果显示，GPT 5.5约10T参数，Claude Opus 4.x约4-5T，Grok 4约3T。事实性知识容量与模型规模呈对数线性关系。论文提出7个知识层级，最高层级T7对所有模型接近零，表明预训练仍有显著提升空间。Gemini 3.1 Pro可能超过10T参数。此方法有助于推断模型训练成本及后训练在非事实性任务上的性能。

向阳乔木@vista8 · 4月30日45

这篇华为的论文把我读笑了，真把人类组织的那套东西都搬给AI Agent了。 本周Huggingface第三热门的论文。 AI翻译解读见评论区

elvis@omarsar0 · 4月29日55

// Agentic Harness Engineering // Pay attention to this one, AI devs. (bookmark it) Most coding-agent harnesses are still tuned by hand or brittle trial-and-error self-evolution. This new work introduces Agentic Harness Engineering, a framework that makes harness evolution observable. They do this through three layers: components as revertible files, experience as condensed evidence from millions of trajectory tokens, and decisions as falsifiable predictions checked against task outcomes. Each edit becomes a contract you can verify or revert. Results: pass@1 on Terminal-Bench 2 climbs from 69.7% to 77.0% in ten iterations, beating human-designed Codex-CLI (71.9%) and self-evolving baselines like ACE and TF-GRPO. The evolved harness also transfers across model families with +5.1 to +10.1 point gains, while using 12% fewer tokens than the seed on SWE-bench-verified. Harness work is the biggest hidden cost in most agent systems. This is the first credible recipe for letting the harness improve itself without drifting into noise. Paper: https://arxiv.org/abs/2604.25850 Learn to build effective AI agents in our academy: https://academy.dair.ai/

译针对AI智能体开发中依赖人工调试、成本高昂且脆弱的“缰绳”设计问题，研究者提出了“智能体缰绳工程”框架。该框架通过三层设计实现可观测的进化：将组件视为可回滚的文件、从海量运行轨迹中提炼经验证据、将决策转化为可由任务结果验证的预测。每次修改都成为可验证或回滚的“合约”。实验表明，该框架在十次迭代内将Terminal-Bench 2的pass@1分数从69.7%提升至77.0%，超越人工设计与基线方法。进化后的缰绳能跨模型迁移并提升性能，同时在SWE-bench上减少12%的令牌消耗，为智能体系统的核心组件提供了首个自动化、可靠的优化方案。

Ethan Mollick@emollick · 4月29日68

Yes, just having students “use AI to study” hurts learning (a helpful assistant is not a tutor), but using AI prompted to act like a tutor, especially with teacher support, seems to have large positive effects on learning in randomized trials. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=6423358

译是的，仅仅让学生“使用AI来学习”会损害学习效果（一个有用的助手并非导师），但在随机试验中，使用被提示扮演导师角色的AI，尤其是在教师支持下，似乎对学习产生了显著的积极影响。https://papers.ssrn.com/sol3/papers.cfm?abstract_id=6423358

Rohan Paul@rohanpaul_ai · 4月29日62

Long‑context breakthrough paper from AMD. Proves that long-context ability can be added after pretraining in a cheaper way, with far less memory use and only a small drop in normal short-context quality. HyLo hybrid LLM architecture extends usable context up to 2M tokens with over 90% KV‑cache reduction and gains on long‑context benchmarks like RULER The problem is that normal Transformer LLMs get costly and memory hungry on long inputs, while most newer hybrid models still need full pretraining from scratch. HyLo’s answer is structural triage. Keeps some attention layers for quality, replaces many others with cheaper layers that track long sequences with fixed memory, and starts from an already trained model. They then train the converted model in 2 stages, first to stay close to the original model and then to work at 8K and 64K context with help from a larger teacher model. Across Llama and Qwen models around 1B to 3B size, HyLo kept short-range results close to standard baselines and beat earlier upcycled hybrids on long-context tests. That matters because it gives model builders a cheaper way to get much longer context and much lower memory use without throwing away a strong existing checkpoint. Hybrid scaling may be less about inventing a brand new architecture, and more about deciding which parts of attention are truly worth keeping. ---- Paper Link – arxiv. org/abs/2604.24715v1 Paper Title: "Long-Context Aware Upcycling: A New Frontier for Hybrid LLM Scaling"

译AMD研究团队提出HyLo混合LLM架构，可在预训练后低成本为模型添加长上下文能力。该方案通过结构性筛选，保留关键注意力层以保证质量，同时用固定内存的廉价层替换多数层以追踪长序列，从而将可用上下文扩展至200万token，并减少90%以上的KV缓存。基于Llama和Qwen等1B至3B模型，HyLo在保持短上下文性能接近基准的同时，在RULER等长上下文基准测试中表现优异。这为开发者提供了一条无需废弃现有强检查点、即可低成本获得更长上下文和更低内存占用的实用路径。

向阳乔木@vista8 · 4月29日53

姚老师和张凯经过大量数据研究分析写的论文，还有一手实战经验。 用科学的方法做GEO，像用数据洞察做增长一样。

译姚老师和张凯的GEO论文已在全球最大论文平台arxiv完成审核并发布，这是全球第二篇GEO专项研究。论文基于今年3月最新数据，涵盖大量Prompt、引用和AI抓取记录，采用科学方法进行GEO分析，类似数据驱动的增长洞察。研究成果以正式报告形式呈现，源数据已开源在GitHub。作者表示，如果对社区有帮助，将继续抓取更多数据进行专项研究并开放成果。

Berryxia.AI@berryxia · 4月29日61

🚀 视频模型其实早就懂3D了！ 微软World-R1用RL直接唤醒，无需改架构、无视频训练数据、无额外推理成本！ 1. 把相机轨迹嵌入扩散噪声，零额外模块 2. 用Depth Anything 3 + Qwen3-VL做3D几何评判器 3. 周期性解耦训练，建筑保持刚性、旗帜依然飘动 4. 仅用3K条文本提示完成训练，效果惊人 视频生成迈向真实世界模拟的关键一步！ 项目地址： https://github.com/microsoft/World-R1

译微软World-R1通过强化学习直接“唤醒”现有视频模型的3D理解能力，无需修改模型架构、额外视频训练数据或增加推理成本。其核心方法是将相机轨迹嵌入扩散过程的噪声中，并利用Depth Anything 3和Qwen3-VL作为3D几何评判器。通过周期性解耦训练，模型能在保持建筑刚性的同时让旗帜自然飘动。仅使用3千条文本提示完成训练，该技术被视为视频生成迈向真实世界模拟的关键一步。

Berryxia.AI@berryxia · 4月29日52

3D 网格生成重磅突破！SATO 来了！ • 从点云（Point Clouds）直接生成完整网格 • Strip-based tokenization，实现超干净边缘流与结构 • 原生 UV segmentation 直接 baked into 生成过程 • 单个模型同时支持三角网格 + 四边形网格

译3D网格生成领域出现重大突破，新方法SATO能够直接从点云生成完整的网格模型。其核心技术在于采用了基于条带的标记化方法，从而实现了极其干净、结构清晰的边缘流。该模型在生成过程中原生集成了UV分割，简化了后续纹理贴图流程。此外，SATO的一个显著优势是单个模型能同时支持生成三角网格和四边形网格，提供了更高的灵活性和应用潜力。

elvis@omarsar0 · 4月29日57

// From Skill Text to Skill Structure // One of the more practical skill papers I've seen this month. SKILL.md files entangle invocation interface, execution flow, and tool/resource side effects in one blob of natural language. This makes downstream discovery and risk review brittle. New research proposes SSL, a three-layer typed JSON representation: a Scheduling layer for invocation signals, a Structural layer for execution scenes, and a Logical layer for atomic actions and resource use. It's drawn from Schank and Abelson's classical work on scripts, MOPs, and conceptual dependency. An LLM-based normalizer converts existing SKILL.md files into this structure. The numbers: Skill Discovery MRR jumps from 0.573 to 0.707, and Risk Assessment macro F1 from 0.744 to 0.787. They release a 6,184-skill corpus, 403 task queries, and 500 risk-labeled skills. As skill registries scale, you can't keep treating capability packages as unstructured prose. Paper: https://arxiv.org/abs/2604.24026 Learn to build effective AI agents in our academy: https://academy.dair.ai/

译SKILL.md文件将调用接口、执行流程和工具副作用混合在自然语言中，导致技能发现和风险评估脆弱。新研究提出SSL三层类型化JSON表示：调度层处理调用信号，结构层管理执行场景，逻辑层定义原子动作和资源使用，基于Schank和Abelson的脚本理论。通过LLM规范化器转换现有文件，技能发现MRR从0.573提升至0.707，风险评估宏观F1从0.744提升至0.787。研究发布了6,184技能语料库、403任务查询和500风险标记技能，强调随着技能注册表扩展，需结构化表示以提升管理效率。

宝玉@dotey · 4月29日61

港科大、新加坡国立、牛津等十余所高校联合发了一篇 88 页的综述，试图解决一个越来越尴尬的问题：“世界模型”这四个字在不同圈子里意思完全不同。 做强化学习的说的是 Dreamer 那种在脑子里想象未来再决策的系统，做视频生成的说的是 Sora 那种画面生成器，做 Web Agent 的说的是 LLM 对网页状态的预测能力。大家各说各的，论文之间根本没法比。这篇论文提出了一个“能力等级 x 领域法则”的二维框架，想把这些散落的社区拉到同一张地图上。 能力分三层： L1 预测器只管预测下一步， L2 模拟器能做多步推演且推演结果要遵守所在领域的基本规则（物理世界不能让杯子穿桌子，软件世界不能调不存在的 API）， L3 进化器能在预测出错时主动诊断原因、设计实验获取新数据、修正自身模型。 领域分四类： 物理世界（机器人、自动驾驶）、 数字世界（网页浏览器、代码、GUI）、 社会世界（多智能体交互、社会模拟）、 科学世界（天气预报、材料发现、药物设计）。 每个领域对“什么算合法的状态转换”有完全不同的约束，失败模式也不同。 综述 400 多篇工作后有几个跨领域的共性发现： 视频生成模型视觉逼真度远超物理忠实度，最好的模型在物理一致性测试上通过率只有 26.2%； LLM 驱动的社会模拟能复现舆论极化等涌现现象，但智能体有系统性的趋同偏差，跟真实人类行为分布偏离大； 目前 L3 做得最成熟的是自动化科学实验，比如 A-Lab 用机械臂在 17 天内完成 353 次闭环实验合成了 36 种化合物，失败实验被提炼为持久知识而非丢弃。 论文末尾有个观察： 从牛顿定律到麦克斯韦方程，人类历史上最成功的世界模型全是符号化的、可直接修改和组合的。 现在的神经网络把所有规则藏在权重里，L1 和 L2 阶段够用，但到了需要修改模型结构本身的 L3，这种隐式表示就成了障碍。 世界模型的终局，是越来越大的神经网络，还是终究要回到可编辑的符号规则？

译针对“世界模型”概念在强化学习、视频生成等不同社区含义割裂的问题，一篇由港科大、新加坡国立、牛津等多所高校联合发表的综述提出了“能力等级×领域法则”的二维统一框架。能力分为L1预测器、L2模拟器和L3进化器；领域涵盖物理、数字、社会和科学世界。综述发现，当前视频生成模型物理一致性差，LLM社会模拟存在行为偏差，而L3能力在自动化科学实验中最成熟。论文最后指出，神经网络隐式表示的规则在需要自我修正的L3阶段可能成为障碍，并引发了对世界模型终局形态的思考。

AK@_akhaliq · 4月29日66

Meta presents Tuna-2 Pixel Embeddings Beat Vision Encoders for Multimodal Understanding and Generation paper: https://huggingface.co/papers/2604.24763

译Meta 推出 Tuna-2 像素嵌入优于视觉编码器，用于多模态理解与生成 paper: https://huggingface.co/papers/2604.24763

AK@_akhaliq · 4月29日57

Meta presents TUNA Taming Unified Visual Representations for Native Unified Multimodal Models paper: https://huggingface.co/papers/2512.02014

译Meta 推出 TUNA 驯服统一视觉表示以构建原生统一多模态模型 论文：https://huggingface.co/papers/2512.02014

AK@_akhaliq · 4月29日57

From Skills to Talent Organising Heterogeneous Agents as a Real-World Company paper: https://huggingface.co/papers/2604.22446

译从技能到人才 将异构智能体组织为现实世界的公司 论文: https://huggingface.co/papers/2604.22446

AK@_akhaliq · 4月29日58

Apple presents Stochastic KV Routing Enabling Adaptive Depth-Wise Cache Sharing paper: https://huggingface.co/papers/2604.22782

译Apple 推出随机键值路由 实现自适应深度缓存共享 论文: https://huggingface.co/papers/2604.22782

AK@_akhaliq · 4月29日53

Microsoft presents World-R1 Reinforcing 3D Constraints for Text-to-Video Generation paper: https://huggingface.co/papers/2604.24764

译微软推出 World-R1 强化文本到视频生成的3D约束 论文: https://huggingface.co/papers/2604.24764

Rohan Paul@rohanpaul_ai · 4月28日48

Great survey paper on better AI memory. Modern AI needs three different memory systems: weights for slow, durable knowledge, retrieval for fresh and specific facts, and agent memory for ongoing goals, preferences, and experience. A model with only parametric memory is knowledgeable but stale, while a model with only retrieval can fetch facts yet still lack continuity, judgment, and a stable sense of what matters across time. The real bottleneck is not storage but control: when to retrieve, what to keep, what to forget, and how to update memory without corrupting everything nearby. External memory is less like giving a model more text and more like giving it an index for experience, so it can bind the right detail to the right moment instead of forcing every fact into frozen parameters. The point is that memory turns AI from a predictor into a system. Once agents act over days, not seconds, memory stops being a convenience feature and becomes the machinery behind personalization, temporal reasoning, self-correction, and eventually embodied behavior. The paper is also careful about what remains unsolved. Long context is expensive, retrieval can contaminate generation, memory editing can break nearby knowledge, and multimodal systems face a brutal scaling problem because video, audio, and action all create long, messy histories. So the distance from human memory is still large. But the frontier now looks clearer: not one giant memory, but a negotiated truce between permanence, retrieval, and experience. ---- Paper Link – arxiv. org/abs/2601.09113 Paper Title: "The AI Hippocampus: How Far are They From Human Memory?"

译现代AI需要三类记忆系统：存储持久知识的参数记忆、获取新鲜事实的检索记忆，以及记录目标与经验的智能体记忆。单一记忆模式存在局限，核心瓶颈在于记忆控制机制——如何协调检索、保留与更新。外部记忆为AI提供了经验索引，使其能从静态预测器转变为能长期运作、具备个性化与时序推理能力的系统。当前挑战包括长上下文成本高、检索干扰生成、记忆编辑破坏关联知识，以及多模态数据的扩展难题。未来方向在于协调永久存储、检索与经验记忆三者关系，而非构建单一巨型记忆。