人类常常先学会一个个单词,随后在漫长的经历中,把它们组合起来,表达越来越复杂的意义。
比如,从“流”“星”“雨”,慢慢理解“流星”,又理解“流星雨”。
人通过组合,观看、想象和使用,逐渐理解语言的意义。
反观 AI,起点非常粗暴。它从庞大的语料中建立 token 与编号之间的对应关系:
1,流;2,星;3,雨;4,流星;5,流星雨。
在最初的这一刻,那里只有 1、2、3、4、5,还没有夜空,没有坠落的光,也没有人在流星雨下许愿。
随后,庞大的神经网络开始学习这些编号在无数文本中的联系,由此逐渐建立 token 与 token 之间的关系,并从关系之中逼近语言的意义。
但无论如何,AI 的这种苍白感,在一开始就注定了。