Jeder ging davon aus, dass Tokenisierung bereits gelöst sei, weil das Baseline in Rust und multithreaded geschrieben war. Marcel Røed verbrachte ein paar Tage damit, zu beweisen, dass dabei drei Größenordnungen ungenutzt bleiben. HuggingFace tokenizers erreicht 24,8 MB/s auf GPT‑2. GigaToken erreicht 24,53 GB/s auf einem AMD EPYC 9565. Phi‑4: 24,00 GB/s, 801×. Llama 3: 22,15 GB/s, 457×. Auf einem M4 Max sind es 1.268×.
Woher die Geschwindigkeit kommt
Es ist eine MIT-lizenzierte Rust‑Bibliothek, kein Service. Der Trick liegt in der Pre‑Tokenisierung — dem Schritt, der normalerweise an eine Regex‑Engine übergeben wird. Røed hat sie in SIMD neu geschrieben, Pre‑Token‑Mappings aggressiv gecached und Verzweigungen sowie Python‑Rundwege eliminiert. HN vergab 274 Punkte und GitHub vergab über 1.000 Sterne und 43 Forks in den ersten Tagen. Rust frisst weiterhin leise KI‑Infrastruktur.
Die API
pip install gigatoken. Zwei Einstiegspunkte: ein Kompatibilitätsmodus, der Ihren bestehenden HuggingFace‑ oder tiktoken‑Tokenizer mit byte‑identischer Ausgabe einwickelt und eine kleine Geschwindigkeits‑Abgabe hat, oder die native GigaToken‑API, bei der Rust Dateien direkt liest und parallelisiert, ohne Python im Loop. GPT‑2, Llama, Qwen, DeepSeek, Gemma und Phi werden unterstützt. SentencePiece funktioniert, bleibt aber langsam; WordPiece ist noch nicht verfügbar.
Wenn Sie Pre‑Training‑Daten‑Pipelines betreiben, hört die Tokenisierung auf, ein Budget‑Posten zu sein.