Simon Willison 博客
介绍 talkie:一个源自1930年的130亿参数复古语言模型
AI 摘要
Nick Levine、David Duvenaud 和 Alec Radford 发布了 talkie,这是一个基于1931年前历史英文文本训练的130亿参数语言模型。其基础版本在2600亿token的已过版权数据上训练,而指令微调版本则用于驱动聊天界面。该版本借助Claude等现代模型生成合成数据进行训练,可能导致年代错位的知识污染。项目旨在探索此类模型预测未来、超越知识截止点进行发明等能力,并希望最终构建一个完全由复古模型自举的训练流程。模型采用Apache 2.0许可。
这是一则列表来源,站内未收录完整正文。
阅读完整原文simonwillison.net