On-Device-LLMs stecken seit Jahren bei 3 B–8 B fest. PrismML, ein Spin‑out von Caltech, unterstützt von Khosla, Google und Samsung, hat gerade Bonsai 27B veröffentlicht: ein Qwen3.6-27B-Multimodal-Modell, das auf 5,9 GB (ternär) oder 3,9 GB (1‑Bit) komprimiert wurde. Diese 3,9 GB‑Zahl ist kein Zufall — sie entspricht ungefähr dem App‑Speicherbudget, das iOS bereitstellt. HN hat es mit 266 Punkten auf die Titelseite gesetzt.
Die Kompression hält tatsächlich stand
Über 15 Reasoning-, Coding-, Math- und Vision‑Benchmarks hinweg erzielt die ternäre Variante im Schnitt 80,5 gegenüber dem Voll‑Präzisions‑Baseline von 85,0 — etwa 95 % der Qualität bei 9‑fach geringerem Gewicht. Die 1‑Bit‑Variante behält ungefähr 90 % bei. Sie verarbeitet weiterhin Bilder, unterstützt weiterhin 262 K Kontext und läuft mit ~11 Token/Sekunde auf einem iPhone 17 Pro. Langsam, aber es ist ein 27 B‑Modell auf einem Telefon.
Wie man es ausführt
Apache‑2.0‑Open‑Weights, kommerzielle Nutzung inklusive. PrismML hat eigene Low‑Bit‑Inference‑Kernels geschrieben — MLX für Apple‑Silicon, CUDA für NVIDIA — plus GGUF‑Builds für llama.cpp. Es gibt keine gehostete API; der ausgelieferte Pfad ist ein lokaler OpenAI‑kompatibler Server mit Tool‑Calling und Vision‑Eingabe, sodass ein bestehender Agent‑Stack auf localhost zeigen und weiterarbeiten kann. Offline‑Assistenten, private Vision‑Apps, Laptop‑Grade‑Agenten: das ist das Ziel.