顶级科学家修正观点:Scaling将持续有效但无法触及AGI核心,亟需范式革命
我之前说的一点没被传达清楚: - 继续扩展当前的技术会持续带来进步。特别是,它不会停滞。 - 但某些重要的东西仍会继续缺失。 [引用 @haider1]:以下是今天 ilya sutskever 播客的要点: - 5-20 年内实现超级智能 - 当前的扩展将严重停滞;我们回到了真正的研究 - 超级智能 = 超快速的持续学习者,而非完成的预言机 - 模型的泛化能力比人类差 100 倍,这是最大的 AGI 阻碍 - 需要全新的 ML 范式(我有想法,现在不能分享) - AI 影响将很剧烈,但只在经济扩散之后 - 历史上的突破几乎不需要算力 - SSI 有足够的专注研究算力来获胜 - 当前的 RL 已经比预训练消耗更多算力
我提出的一个观点没有传达清楚: - 扩展当前模式将继续带来改进。具体来说,它不会停滞。 - 但一些重要的东西仍将持续缺失。