Unsloth Dynamic 3.0 ist ein Quantisierungsschema: das Rezept, das offene Modelle in GGUF-Dateien komprimiert, die Sie auf Ihrem eigenen Rechner ausführen können. Bei gleicher Dateigröße schlägt es jeden anderen GGUF-Anbieter um mehr als 10 % in puncto Genauigkeit – Divergence-300, KL-Divergenz, durchweg.
Was sich tatsächlich geändert hat
Kein QAT, keine Trainingstricks. Reine Post-Training-Quantisierung, jedoch mit einem deutlich hochwertigeren imatrix-Kalibrierungsdatensatz – abgestimmt auf agentenbasiertes Coding, Chat und mehrsprachige Nutzung – sowie intelligenterer Schichtauswahl. Das Kalibrierungsrezept ist das Kernstück der Quantisierung, und Unsloth hat einfach eine bessere Hand gespielt. Erste Veröffentlichung: Qwen3.8-27B, das in 5 Tagen 5,1 Millionen Downloads erreichte.
Wie man es ausführt
Die quantisierten Gewichte sind auf HuggingFace offen verfügbar. Legen Sie sie in llama.cpp, Unsloth Desktop oder jede gängige GGUF-Engine – ohne Codeänderungen – ab. Typischer Anwendungsfall: Einen 27 B-Coding-Agent lokal ausführen, anstatt pro Token API-Preise zu zahlen. Die imatrix-Datei selbst wird ebenfalls veröffentlicht, sodass Forschende eigene Varianten erstellen können.
Das Projekt der Han‑Brüder (65 K GitHub-Stars, über 200 M Downloads) ist bereits das, was die meisten Menschen unter „GGUF herunterladen“ verstehen. Wenn der Standardanbieter um 10 % besser wird, erhält jeder, der offene Modelle lokal ausführt, das Upgrade kostenlos.