Ein 80‑B‑Modell benötigt normalerweise mehr als 40 GB Speicher. Swiftlet, ein neues Show HN‑Projekt, ist ein Swift + Metal‑Inference‑Runtime, das Qwen3‑Next / 3.5 / 3.6 MoE‑Modelle auf Apple‑Geräten mit fast nichts ausführt: 42 GB auf der Festplatte, 4,3 GB Spitzen‑RAM.
Der Trick: SSD als VRAM
MoE‑Modelle aktivieren pro Token nur etwa 3 Mrd. Parameter. Swiftlet hält den dichten Kern im Speicher resident und streamt geroutete Experten‑Gewichte von der SSD nach Bedarf — feste‑Schritt‑Einzellesungen aus einem .qpack‑Container, plus ein LFU‑Cache für heiße Experten. 75 % der Schichten verwenden Gated‑DeltaNet‑lineare Aufmerksamkeit, sodass der KV‑Cache nicht mit dem Kontext wächst. So läuft ein 35‑B‑Modell auf einem iPhone mit etwa 1 Token/s.
Eine lokale OpenAI‑kompatible API
Das ist nicht nur eine Demo. Swiftlet liefert ein Swift‑Package, ein CLI und einen OpenAI‑kompatiblen lokalen Server — richtet man irgendeinen bestehenden OpenAI‑Client auf localhost ein, erhält man kostenlose, private Inferenz. Es gibt außerdem Priv AI, eine App‑Store‑App, die darauf aufbaut.
1 Token/s wird Ihre API‑Rechnungen nicht ersetzen. Aber das ist die aggressivste Speicher‑Kompression bei lokaler Inferenz seit airllm — und „was auf einem Telefon läuft“ ist gerade auf 35 B gesprungen.