研究表明，“测试时计算”与“思维链”等技术能显著提升模型性能，但也引发了一系列新的研究问题。这些方法通过让模型在推理时进行更深入的“思考”，有效利用了额外的计算资源，从而改善了其在复杂任务上的表现。该文旨在回顾近期如何有效利用“测试时计算”的发展动态，并解析其有效性的原因。

AI发展已进入“下半场”。前半场的核心是开发新训练方法与模型，如Transformer、GPT等，其创新集中于搜索、深度强化学习、规模化和推理。后半场的重心将从解决问题转向定义问题，评估比训练更重要。当前的突破性进展是强化学习终于实现泛化，形成了一个通用方案，能统一解决软件工程、创意写作、高等数学等多种复杂任务。这标志着AI从专注于方法创新的阶段，转向以明确目标、定义评估标准为核心的新时期。

音乐生成AI公司Suno回应了美国唱片业协会（RIAA）提起的诉讼。RIAA指控其成员的版权在Suno训练音乐生成技术时被侵犯。Suno称该诉讼在事实和法律上均有根本缺陷，是以诉讼替代创新。公司解释，其AI通过学习开放互联网上音乐的风格与模式来创作新内容，这一过程类似于人类的学习，而非复制。目前已有超过1200万人使用Suno。Suno强调其工具专为原创音乐设计，并设有严格的原创性保护措施。

高质量数据是现代深度学习模型训练的核心燃料。任务特定的标签数据，如分类任务或用于大语言模型对齐的RLHF标注，大多来自人类标注。虽然多种机器学习技术能提升数据质量，但人类数据采集的根本仍在于对细节的关注与细致执行。社区普遍认知到高质量数据的价值，却普遍存在一种倾向，即“人人想做模型工作，而非数据工作”，这一现象已在相关研究中被指出。

以大语言模型为核心控制器的自主智能体系统，通过规划、记忆和工具使用三大组件构建复杂任务处理能力。规划模块支持任务分解与自我反思优化；记忆系统包含短期上下文学习与基于外部向量存储的长期记忆；工具使用则允许代理调用外部API获取模型权重未覆盖的信息与能力。系统已在AutoGPT、GPT-Engineer等多个概念验证项目中实现初步演示，展现了LLM超越文本生成、作为通用问题解决器的潜力。

本文探讨了一个根本性问题：语言意义能否仅从形式数据（如文本语料）中学习？研究通过理论模型论证，即使模型能获得近乎无限的文本数据并具备查询任意两段文本语义等价性的强大“神谕”能力，也无法真正习得意义。文章以代码断言为喻，强调从形式通向意义需要一个最小的“接地点”，即对基本断言含义的初始理解。作者指出，现有模型在复杂任务上的局限正是纯形式学习不足的体现，并提出了一个关键理论问题：这个必要的“接地点”可以小到何种程度，才能启动有意义的学习？

作者因特定环境刺激变得怀旧，重新拾起一个项目。经过一个多小时二十几个commits的调整，实现了理想的Minimalism风格。回顾高中时期和OI阶段的百度贴吧、空间等经历，感叹许多人事物在短短几年内难以物理回溯。然而，精神世界的回忆可通过符号融入语言之河，以Minimalism方式将消散的故事链接进千年生活。这种对记忆与语言连接的思考，可能启发了作者对智能和语言的研究。

创业中最反直觉的秘密是，做困难的创业往往比容易的创业更易成功。容易启动的项目虽简单起步，却因缺乏使命感而难以吸引顶尖人才；反之，解决核聚变、基因编辑等难题虽需大量资源，却能靠"世界需要这个"的使命感招募人才，形成顺风。建议创业者设定宏大愿景但保持合理节奏，以10年而非3年的长期承诺建立复利优势。

深度神经网络因参数众多且训练误差易达完美，常被认为会严重过拟合，却仍能有效泛化到样本外数据，这一悖论困扰着许多从传统机器学习转型的研究者。文章更新于2019年5月27日，新增了Lottery Ticket Hypothesis部分，该假说通过网络稀疏性为理解泛化能力提供了新视角。内容从困惑切入，分析深度学习与传统方法的差异，探讨过拟合问题的本质，但未提供具体实验数据或指标。

Sam Altman 观察到，旧金山对争议话题的开放度已不及北京，过度政治正确正在扼杀创新。他指出，从牛顿研究炼金术到比特币的诞生，所有突破性想法最初都看似异端；当社会将持不同意见者视为异端而非辩论对象时，思想交流逐渐停滞，顶尖人才开始外流。警告称，若无法容忍"地球是圆的"这类曾经危险的观点，湾区将失去孕育 SpaceX 或比特币的土壤。