Ein 30B‑dichtes Modell benötigt über 55 GB bei voller Präzision. Meta hat Muse Glimmer auf etwa 4‑Bit komprimiert, block‑level spekulatives Dekodieren hinzugefügt, und jetzt läuft das Ganze auf einer einzigen Consumer‑Grafikkarte oder einem Mac – offline, ohne API‑Schlüssel, ohne Abrechnung pro Token. Es erschien am 10. August auf HackerNews und erreichte die Titelseite mit 941 Punkten.
Was es eigentlich ist
Kein Chatbot. Es ist ein Modell, das für die langweiligen Teile von Agenten abgestimmt ist: mehrstufiges Denken, Werkzeugaufrufe, Wiederherstellung bei einem fehlgeschlagenen Aufruf, fungieren als LLM‑as‑Judge. 131 K Kontext, über 100 Sprachen und ein separater Wahrnehmungs‑Encoder, sodass es Screenshots, Diagramme und gemischte Text‑Bild‑Dokumente lesen kann – das, worüber ein lokaler Codierungs‑Agent stolpert.
Wo man es einbinden kann
Gewichte liegen bei Hugging Face unter Apache 2.0, sodass Self‑Hosting problemlos möglich ist. Ollama, LM Studio, vLLM und SGLang decken lokale Nutzung ab; Together, Fireworks und OpenRouter bieten gehostete APIs. llama.cpp, MLX und ExecuTorch‑Builds erscheinen in Kürze.
Der Zeitpunkt ist nicht subtil. Zuckerberg verbrachte am selben Tag in der FT damit, OpenAI und Anthropic das geschlossene Lager zu nennen. Meta will das Open‑Weights‑Flag zurück.