Nick Levine、David Duvenaud 和 Alec Radford 发布了 talkie，这是一个基于1931年前历史英文文本训练的130亿参数语言模型。其基础版本在2600亿token的已过版权数据上训练，而指令微调版本则用于驱动聊天界面。该版本借助Claude等现代模型生成合成数据进行训练，可能导致年代错位的知识污染。项目旨在探索此类模型预测未来、超越知识截止点进行发明等能力，并希望最终构建一个完全由复古模型自举的训练流程。模型采用Apache 2.0许可。