东锡 NLP 谈 AI 从 token 编号起步学语言与人类组合理解的差异

Dongxi 东锡 NLP · @dongxi_nlp · X·2026-09-03 06:13·1小时前
AI 导读

作者提出人类先学单个词再通过组合与经历理解复杂意义,例如从流、星、雨理解流星雨。AI 则先在庞大语料中建立 token 与编号的对应关系,再通过神经网络学习编号间的联系来逼近语言意义。作者认为 AI 语言的这种苍白感从起点就已注定。

Dongxi 东锡 NLP@dongxi_nlp
25AI 编辑部评分,满分 100

东锡 NLP 谈 AI 从 token 编号起步学语言与人类组合理解的差异

2026-09-03 06:13· 1小时前
AI 导读

作者提出人类先学单个词再通过组合与经历理解复杂意义,例如从流、星、雨理解流星雨。AI 则先在庞大语料中建立 token 与编号的对应关系,再通过神经网络学习编号间的联系来逼近语言意义。作者认为 AI 语言的这种苍白感从起点就已注定。

人类常常先学会一个个单词,随后在漫长的经历中,把它们组合起来,表达越来越复杂的意义。

比如,从“流”“星”“雨”,慢慢理解“流星”,又理解“流星雨”。

人通过组合,观看、想象和使用,逐渐理解语言的意义。

反观 AI,起点非常粗暴。它从庞大的语料中建立 token 与编号之间的对应关系:

1,流;2,星;3,雨;4,流星;5,流星雨。

在最初的这一刻,那里只有 1、2、3、4、5,还没有夜空,没有坠落的光,也没有人在流星雨下许愿。

随后,庞大的神经网络开始学习这些编号在无数文本中的联系,由此逐渐建立 token 与 token 之间的关系,并从关系之中逼近语言的意义。

但无论如何,AI 的这种苍白感,在一开始就注定了。

来源:Dongxi 东锡 NLP· x.com