# 通过与 Claude code 的合作，作者训练的 MoE 模型每个 token 实际只激活约 365 万参数，而且训练仅使用一颗 Intel Xeon CPU 的单个核心。 我们完全可以接受训练阶…

- 来源：Dongxi 东锡 NLP (@dongxi_nlp)
- 发布时间：2026-09-07 20:16
- AIHOT 分数：34
- AIHOT 链接：https://aihot.virxact.com/items/cmtr89vi304roro450a5j56rh
- 原文链接：https://x.com/dongxi_nlp/status/2096935560619180204

## 正文

通过与 Claude code 的合作，作者训练的 MoE 模型每个 token 实际只激活约 365 万参数，而且训练仅使用一颗 Intel Xeon CPU 的单个核心。

我们完全可以接受训练阶段花很多资源，因为训练只发生一次，随后模型可能被调用数十亿次。

所以问题来了，如果目标是极低推理成本，我们究竟应该给一个极小模型喂多少数据？

### 引用推文

> Greg Diamos：I think we should revisit outrageously small neural nets. I needed a 10k tok/s CPU model for data processing. So I gave Anthropic claude code a pile of tokens t...