正文 · AI 翻译
大多数人都不知道这一点，我们早在 2020 年就在 *Facebook* 使用了 TPU。
Kaiming 领导了 TF 和 JAX 代码库的初步开发，而像 MAE、MoCo v3、ConvNeXt v2 和 DiT 这样的研究项目则*完全*在 TPU 上开发。
因为我们是 FAIR 中唯一使用它们的团队，Meta 在 2023 年初取消了 GCP 合作。
TPU 也为我们在 NYU 的大部分大规模工作提供了支持，包括 SiT、Cambrian1/S 以及最近的 RAE、FreeFlow。
学习这套基础设施需要经历大量痛苦（这不是他们当初所期望的，但我的学生们现在基本都成了 TPU/JAX/XLA 专家），然而一旦掌握了，其性能和稳定性都极为出色。
对 Google 发展 TPU 和 JAX 生态系统并推动其商业化落地感到非常乐观。
I keep seeing stuff about TPU, has anything materially new happened? There’s no evidence Google has ever trained a Gemini on non-TPU hardware, going years back ...