# 东锡 NLP 谈 AI 从 token 编号起步学语言与人类组合理解的差异

- 来源：Dongxi 东锡 NLP (@dongxi_nlp)
- 发布时间：2026-09-03 06:13
- AIHOT 分数：25
- AIHOT 链接：https://aihot.virxact.com/items/cmtkoi7do05uero5q3i8eri9x
- 原文链接：https://x.com/dongxi_nlp/status/2095274023072755917

## AI 摘要

作者提出人类先学单个词再通过组合与经历理解复杂意义，例如从流、星、雨理解流星雨。AI 则先在庞大语料中建立 token 与编号的对应关系，再通过神经网络学习编号间的联系来逼近语言意义。作者认为 AI 语言的这种苍白感从起点就已注定。

## 正文

人类常常先学会一个个单词，随后在漫长的经历中，把它们组合起来，表达越来越复杂的意义。

比如，从“流”“星”“雨”，慢慢理解“流星”，又理解“流星雨”。

人通过组合，观看、想象和使用，逐渐理解语言的意义。

反观 AI，起点非常粗暴。它从庞大的语料中建立 token 与编号之间的对应关系：

1，流；2，星；3，雨；4，流星；5，流星雨。

在最初的这一刻，那里只有 1、2、3、4、5，还没有夜空，没有坠落的光，也没有人在流星雨下许愿。

随后，庞大的神经网络开始学习这些编号在无数文本中的联系，由此逐渐建立 token 与 token 之间的关系，并从关系之中逼近语言的意义。

但无论如何，AI 的这种苍白感，在一开始就注定了。