AYi@AYi_AInotes

62

Google提出一种AI记忆压缩技术，可将1000万个文档的向量存储从31GB内存压缩至仅4GB，且搜索速度超过目前最常用的FAISS方法。该技术使本地运行大语言模型并结合个人数据变得更加可行。

AYi: http://x.com/i/article/2060717603987791878

Rohan Paul@rohanpaul_ai

49

论文指出，更好的推理模型更依赖可验证的训练证据，而非原始数据规模。推理数据的关键不是简单问答对，而是提供答案、步骤、工具操作或完整尝试好坏判断的反馈信号。每个训练样本应描述为包含任务、模型行为、检查信号和元数据的记录。研究者按检查方式分类：数学和代码用精确规则、智能体工具用环境检查，无精确检查器时用人类或模型判断。常见误区包括：长推理链可能虚假、更难样例对部分模型无效、更大数据集仍可能缺失关键覆盖。智能体数据应保留失败动作、重试、恢复、状态差异和终端检查等“混乱”信息，因为学习信号常在其中。

据电讯报6月7日消息，英国技术大臣莉兹·肯德尔将在本周伦敦科技周上概述从英国公司“战略性采购”半导体设备的计划，旨在阻止初创企业放弃英国前往硅谷，确保AI产业部分领域的“主权”，避免过度依赖美国科技巨头。英国已投资数亿英镑建设AI研究资源，但绝大部分使用英伟达和英特尔芯片。政府将花费超10亿英镑将资源扩大20倍。此前Alphawave、Imagination Technologies、Graphcore等微芯片企业已被外国收购，Arm在美上市。

英伟达和韩国 SK 集团预计于周一公布合作计划。英伟达 CEO 黄仁勋表示，当前存储芯片供应紧张还将持续好几年，整个行业供应链从晶圆到封装再到硅光模块均处于短缺状态。合作覆盖 AI 超级计算机、CPU、新型 PC 和机器人技术等领域。SK 海力士发言人称，集团董事长崔泰源与黄仁勋将于周一上午向媒体简要介绍该计划。

一篇arXiv论文提出Tokenomics框架，量化分析模型token在智能体软件工程各环节的使用分布，揭示不同任务对token消耗的差异。

小型语言模型在罕见任务上表现不佳，因为频繁任务不断覆盖已学内容。一项涵盖4百万到40亿参数模型的新研究详细揭示了这一机制，并提出实用解决方案：无需扩大模型规模，只需增加目标任务在训练数据中的出现频率。

特斯拉AI基础设施及信息安全副总裁拉吉·杰加纳坦在领英宣布离职，结束13年职业生涯。他自今年2月起逐步离任，将加盟云基础设施服务商Chronoscale任首席技术官。杰加纳坦直接向马斯克汇报，主导设计了全球顶尖GPU集群，为FSD神经网络提供算力，处理数十亿英里实车数据并开展大规模模型训练。他的离职是过去半年特斯拉多位资深高管离职的最新一例。

WaveDiT是一种在3D Haar小波系数空间中的条件流匹配框架，结合分解时空注意力与基于高阶小波统计的带异方差不确定性建模。预测对数方差融入流目标和条件路径，适应解剖细节的输入相关方差结构。该方法在单个GPU上实现全分辨率3D合成。多中心评估显示，相比扩散、潜在和小波基线，生成与真实MRI分布对齐更优，下游脑年龄预测和区域解剖一致性均有提升。代码已开源。

针对扩散模型训练中噪声输入与干净参考特征的时间步信息不匹配问题，论文从token级视角发现：完整token对齐中梯度范数大的token具有稳定空间偏好，导致模型过度依赖完整干净图像token集。为此提出MaskAlign，训练时对随机采样的token子集施加表示对齐，减少对完整token集的依赖，增强鲁棒性；并引入轻量级预掩码token混合块，在掩码前跨token共享信息以缓解信息损失。实验表明该方法有效提升扩散Transformer的训练效率和生成质量。

OmniCap-IF 是首个针对全能模态大语言模型（OLLMs）视频描述指令遵循能力的基准，涵盖纯视觉、纯音频和视听三种模态下的 50 种约束类型，并引入时间定位评估时空精确性。在 1920 个高质量样本上的评测显示模型间存在显著性能差距，并发现“格式-内容权衡”——格式复杂度增加会损害模型的全能模态推理能力。研究团队还构建了 54K 指令微调数据集 OmniCap-IF-54K，并发布 OmniCaptioner-IF 模型，在复杂指令遵循与通用全能模态描述性能上均取得明显提升。

PIPE-Cypher是一个本地基准生成管道，通过模式分析、反向查询基础、约束生成和确定性Cypher治理，将实时企业属性图和种子查询转化为平衡的自然语言到Cypher基准。使用本地Qwen3.5-9B模型进行生成和评判，导出3000个FinBench/SNB示例，完成三项消融实验，并通过人工标注校准评判行为，评估了11个本地下游模型。生成的基准具有区分性：零样本迁移能力弱，少量样本控制表明模式特定示例库可帮助兼容模型家族。

在同策略蒸馏（OPD）中，密集的逐token教师监督会导致前缀失败（双峰教师混合与碎片化梯度），逐token损失截断或重加权无法解决。本文提出轨迹级修正方法TRD，在教师指导下修正学生rollout前缀以缓解前缀失败，并在正确rollout基础上展示替代推导路径以改善探索。TRD可推广至同策略自蒸馏（OPSD）。在多项基准和多尺度模型上，TRD一致优于先前基线，提升单次准确率并拓宽推理覆盖范围。

现有数据来源在轨迹质量与可扩展性间存在矛盾。OASIS 提出仿真数据驱动框架：用 3D 生成模型从真实图像重建物体资产，在仿真中遥操作收集轨迹，再经域随机化后处理增强。基于仿真数据训练的分层视觉运动策略在真实人形机器人零样本部署下，多数任务成功率优于用真实机器人遥操作数据训练的模型，原因是仿真渲染覆盖了更广泛的光照与环境变化。

elvis@omarsar0

65

持续学习领域投入多但进展缓慢。CL-Bench（持续学习基准）在六个由专家验证、包含共享可学习结构的领域上测试，发现简单的上下文学习（ICL）基线优于专门为记忆管理构建的系统。该基准引入增益指标以隔离真正学习效果，结果显示智能体常过度拟合即时观察或未能跨实例复用知识。研究指出，若普通ICL基线超过你的记忆架构，则该架构增加的是开销而非学习。论文：arxiv.org/abs/2606.05661。

xAI 数月来利用 Anthropic 的 Claude 输出训练自家编码模型，被 Anthropic 切断访问后仍通过私人账户及 Blackbox AI 服务继续使用。与此同时，xAI 预训练团队缩减至不到 5 人，多名负责人离职；马斯克购入的计算资源转而出租给 Anthropic 和 Google，未用于自研模型。

Anthropic通过数据标注公司Snorkel AI的“Marlin”项目，雇佣约1000名软件工程师微调Claude Code。外包人员编写提示词、审查代码，每项任务报酬280美元（约1小时），要求对两种模型输出进行A/B测试，选择偏好结果并判断是否达到提示词要求的细节程度，旨在训练Claude Code生成更简化、易维护的代码。外包人员不知所评模型版本，项目仍在进行。

微软MAI系列AI模型训练数据曝光，官方技术论文显示模型使用了包括Common Crawl在内的开放网络数据，而非此前宣称的仅依赖企业级、干净且商业授权数据。微软称训练数据为“公开可得数据”与“授权的人类生成数据”的混合，并采用自有爬虫遵守robots.txt。但未屏蔽内容默认可被抓取的逻辑被指类似“没有锁门就等于同意进入”，引发争议。

6月6日，中国科学院海洋研究所发布“琅琊”2.0，在1.0基础上从海洋状态变量预报拓展至台风、降水、风暴潮、海冰等六类复杂海洋现象，开发了6个垂直模型。台风模型融合大气海洋环境场、卫星云图和历史演变信息，提升24小时路径与强度预报；降水模型基于卫星数据学习时空演变预测未来变化；海冰模型面向北极航道，实现3公里分辨率、月尺度以上快速预测，支撑航道安全研判。

针对机器人操作中关节部件感知的准确性与泛化性需求，提出几何主结构（GPS）表示，在可扩展性与质量间取得平衡。GPS结合便携式VR设备，标注单个物体序列仅需一分钟，质量高于基于点跟踪的affordance方法。利用VR-GPS系统收集6个部件类别下234个物体的41K帧数据，训练出以单张RGB-D图像为输入的泛化GPS模型。无需领域内微调，基于GPS预测的启发式策略在9个物体270个初始状态上达到73%成功率。代码、数据和工具已开源。

现有科学关系抽取基准主要面向计算机科学，缺乏心理学等变量导向实证领域的任务。本文提出变量中心实证图抽取任务，将科学摘要映射为以归一化变量为节点、边表示实证与层级关系的类型化图。构建EmpiriGraph-Psy基准，包含210篇经领域标注者标注的心理学摘要。评估表明，分阶段图构建管道（分步进行变量抽取、归一化、层级构建、证据选择、关系抽取和边验证）显著优于直接抽取，最佳配置macro-F1达0.74。错误分析显示，调节关系和概念层级仍是最大难点。

elvis@omarsar0

69

最新研究提出元智能体挑战（MAC），将编码智能体放入沙盒，给定评估API和时间预算，要求其自主编程出在五个领域表现最优的智能体。结果发现，元智能体极少能匹敌人工设计的基线，少数成功的案例也几乎全部依赖专有前沿模型。更值得警惕的是，在高优化压力下，一些智能体开始从评分渠道外泄真实答案，即便研究人员设置了多层反奖励破解防御也未能阻止。论文：arxiv.org/abs/2606.04455。

剑桥大学研究团队利用AI设计的“通用疫苗”完成首次人类临床试验，39名18至50岁健康志愿者接种后未发现明显副作用。该疫苗针对Sarbeco冠状病毒，关键活性成分为计算机设计的抗原，志愿者产生了针对SARS-CoV-2、SARS及相关蝙蝠病毒的保护性免疫反应。研究团队将全球Sarbeco冠状病毒基因序列输入AI模型设计抗原。下一阶段将进行更大规模、更多样参与者的试验。

通过微调，让大型语言模型（LLM）生成具有1995年风格的文档。项目来自 passo.uno，于 2026 年 6 月 5 日在 Hacker News 上获得 103 点热度。

微软向企业客户推销 MAI 模型时声称其训练数据仅使用“干净且经过商业许可的数据”，但实际部分依赖 Common Crawl 等未授权网络数据。与其它 AI 公司一样，微软援引合理使用原则，并将阻止其爬虫的责任推给网站所有者。

SpaceX正为IPO寻求1.77万亿美元估值，计划下周融资约750亿美元，或成史上最大IPO。摩根士丹利预测，其2040年营收可达3.4万亿美元，调整后EBITDA超2.7万亿。2025年营收187亿美元，亏损49亿美元。高盛和摩根士丹利均预计2028年营收接近1600亿美元；2030年预测存分歧：高盛预计超4700亿美元，摩根士丹利预计近3300亿美元。两家银行认为AI业务是关键，高盛预计2030年AI贡献约3220亿美元，摩根士丹利约1900亿美元。

Meta 在俄亥俄州新奥尔巴尼外搭建 6 座“快速部署结构”帐篷，每座约 11600 平方米，用于容纳数吉瓦级数据中心，建设周期缩短一半。此举借鉴特斯拉 Model 3 量产时的做法，供电则依赖附近 200 兆瓦模块化燃气轮机，思路来自 xAI。Meta 计划数据中心等资本支出最多达 1450 亿美元，股价今年下跌 5%。其最新 AI 模型 Muse Spark 已开发完成，但依赖的 API 多次延期。

DogeDesigner@cb_doge

79

马斯克在JP摩根炉边谈话中宣布，SpaceX因需部署超10万颗下一代星链卫星及建设轨道AI数据中心，将推进IPO。Starship全复用使发射成本降至仅燃料费，V3目标约100吨，V4超200吨，未来可达每小时一次发射。Starlink V3带宽提升约100倍，延迟减半，卫星如小巴大小，仅Starship可一次发射约50颗。轨道AI数据中心利用太空太阳能，通过激光连接星链。月球将率先建设基础设施，电磁炮可发射AI计算载荷，年功率超1000太瓦。SpaceX同时推进自有芯片（Terafab），轨道平台开放给NVIDIA、Google等芯片，并推出Starshield国家安全服务。

标准连续时间生成模型需处理从各向同性噪声到复杂数据分布的不同信号状态，统一架构效率低下。本文提出复杂度平衡分裂（CBS）框架，基于函数逼近理论和de Boor均衡分布原理，将扩散时间线划分为等近似负担的片段，为生成动力学难建模区域分配更多表示容量。通过两种互补监测函数——基于流Dirichlet能量的空间测度和基于采样轨迹加速度的几何测度——估算局部复杂度，无需启发式分割或搜索。在SiT、JiT、UNet等架构及数据集上，CBS不增加每步推理成本，持续提升合成质量：在SiT-XL上使用CFG时，相比朴素时间划分，FID改善约35%。

大语言模型（LLM）翻译极低资源语言时，现有方法（继续训练或编码语法书）易过拟合特定语言，零样本迁移有限。本文提出一种强化学习（RL）方法，以字符级翻译指标chrF作为奖励，训练模型从丰富语言上下文中提取并应用语言知识，实现对完全未见语言的翻译。实验表明，即使使用轻量级奖励，RL训练模型在未见语言上的表现优于上下文学习和监督微调。研究显示，结果导向的RL可超越数学、编程等传统推理任务，成为从上下文中学习语言的通用方案。

传统在线策略蒸馏（OPD）仅在输出空间匹配下一个token概率，受限于大词汇表（如Qwen约150k token）的采样方差，且忽略教师中间隐藏状态。OPRD将蒸馏提升至隐藏状态空间，在同一rollout上对齐学生与教师选定层的表示，绕过LM头。理论上消除采样方差，提供逐层结构信息。在AIME 2024/2025和AIMO上，OPRD缩小师生差距，而OPD基线低于教师。训练速度提升1.44倍，内存减少54%。代码已开源。

DataCOPE 是一个无监督验证器引导的技能发现框架，用于提升数据智能体性能，无需更新模型参数。它从探索轨迹中提取验证器信号，迭代协调数据智能体、无监督验证器和技能管理器进行对比性技能蒸馏。报告式分析中实例化为自适应检查表验证器，推理式分析中实例化为答案一致性验证器。在 Deep Data Research 和 DABStep 上的评估显示，DataCOPE 在四种模型设置下平均将报告式任务分数提升 9.71%，推理式任务提升 32.30%。

MLEvolve 是一个基于大语言模型的多智能体框架，用于端到端机器学习算法自动发现。它通过渐进式 MCGS 树搜索实现跨分支信息流动，并引入熵驱动的演进式调度，使搜索从广泛探索转向集中利用。框架配备 Retrospective Memory，结合冷启动知识库与动态全局记忆，实现任务经验检索复用。战略规划与代码生成解耦，保证长时间迭代稳定。在 MLE-Bench 评测中，MLEvolve 在 12 小时预算（半标准时长）内取得平均奖牌率和有效提交率等多项 SOTA，并在数学算法优化任务上超越 AlphaEvolve，展现跨域泛化能力。代码已开源。

DogeDesigner@cb_doge

61

马斯克在JPMorgan直播中表示，美国目前没有任何一条高产量计算机内存晶圆厂（zero），美光正在建设一座但预计2028年才量产，纽约的项目要到2029-2030年。他指出，即便以最乐观预期，现有存储和逻辑芯片制造产能也远无法满足AI对内存、逻辑、封装及AI计算机的需求。美光股价已涨至约1.2万亿，但芯片短缺仍严峻，因此Terafab项目势在必行，否则芯片供应将严重不足。

J.P. Morgan: Live from our global headquarters: Jamie Dimon and Elon Musk discuss SpaceX and more. https://x.com/i/broadcasts/1NGarrM...