Ein 26B-Modell in 2 GB RAM klingt unmöglich. Genau deshalb erreichte es an einem Tag 556 Punkte auf Hacker News und 865 GitHub‑Stars.
Was es eigentlich ist
TurboFieldfare ist eine lokale Inferenz-Engine, geschrieben in Swift und Metal, die Google’s Gemma 4 26B-A4B — 14,3 GB Gewichte — auf einem 8 GB M-series‑Mac ausführt. Sie wird als Swift‑Bibliothek, ein CLI, ein OpenAI‑kompatibler Loopback‑Server und eine native SwiftUI‑App ausgeliefert. Keine gehostete API. Du führst sie auf deinem eigenen Rechner, offline, aus.
Der Trick ist ein MoE‑Cheat: Nur der 1,35 GB‑große Shared‑Core und der KV‑Cache bleiben resident. Der Rest der Experten‑Gewichte wird tokenweise von der SSD gestreamt, unterstützt von einem 16‑Slot‑LFU‑Cache. So verhält sich ein großes Modell wie ein kleines, und die Festplatte übernimmt die schwere Arbeit.
Warum es beobachtenswert ist
Die Zahlen halten stand. Ein 8 GB M2 MacBook Air schafft 5,1–6,3 Token/s; ein 24 GB M5 Pro erreicht 31–35. Das ist ein Frontier‑MoE‑Modell, das brauchbar auf einem Laptop läuft, den die meisten bereits besitzen — ein klarer Beweis dafür, dass lokale Big‑Model‑Inference nicht mehr auf 64 GB‑Maschinen beschränkt ist.