Ein Frontier-Modell mit 744B-Parameter, das Fragen auf einem Rechner mit 25 GB RAM beantwortet. Keine GPU, kein Python, keine Abhängigkeiten — eine C-Datei, etwa 2.400 Zeilen. Colibri erreichte 799 Punkte auf Hacker News und 1,8 k GitHub-Stars, weil es unmöglich klingt.
Wie 370 GB in 25 GB passen
Colibri ist eine lokale Inferenz-Engine für GLM-5.2, ein Mixture-of-Experts-Modell, das pro Token nur ~40 B seiner 744B-Parameter aktiviert. Die dichten Teile — Aufmerksamkeit, Einbettungen, geteilte Experten — liegen im RAM als int4, etwa 9,9 GB. Die übrigen 370 GB an Experten-Gewichten verbleiben auf Ihrer SSD und werden bei Bedarf über einen LRU-Cache gestreamt. MLA-Kompression reduziert den KV-Cache um das 57‑fache, spekulatives Decoding liefert 2,2–2,8 Token pro Forward-Pass, und handgeschriebene AVX2-int8/int4-Kernels erledigen die Berechnungen.
Warum das wichtig ist
Die Geschwindigkeit ist ehrlich: 0,05–0,1 Token/s kalt, 0,37 warm. Niemand wird damit chatten. Es ist ein Proof — die eigentliche Beschränkung beim lokalen Betrieb von Frontier-Modellen ist die Festplatten-Bandbreite, nicht der VRAM. Alle anderen Laufzeiten gehen davon aus, dass das Modell in den Speicher passt; Colibri verlangt nur, dass es auf Ihre SSD passt. Eine Person hat es auf einem 12‑Kern‑Laptop gebaut.