# Gigatoken 发布，速度远超现有分词器

- 来源：elvis (@omarsar0)
- 发布时间：2026-07-22 22:11
- AIHOT 分数：32
- AIHOT 链接：https://aihot.virxact.com/items/cmrw69k6600emro8gaok55da5
- 原文链接：https://x.com/omarsar0/status/2079932253421867301

## AI 摘要

推荐阅读。

“Gigatoken 可以在单台机器上在不到 7 小时内完成对整个互联网的 token 化。”

它能够以 GB/s 的速度处理数据。这很了不起。

> pip install gigatoken

## 正文

Recommended reading.

"Gigatoken can tokenize the entire internet in &lt；7 hours on one machine."

It can tokenize data at GB/s. That's a big deal.

&gt； pip install gigatoken

### 引用推文

> Marcel Rød：Introducing the world's fastest tokenizer implementation, Gigatoken! Gigatoken is ~500-1000x faster than HuggingFace, and ~100x faster than OpenAI's tiktoken fo...