Google DeepMind hat gerade DiffusionGemma als Open-Source veröffentlicht, ein experimentelles Sprachmodell, das Texte nicht Token für Token schreibt. Es beginnt mit einem Block von 256 Rauschen-Token und verfeinert diese iterativ parallel – etwa 20 Token pro Forward-Pass, ungefähr 1.500 Token/s auf einem einzelnen H100. Das ist schneller als autoregressive Modelle, selbst wenn spekulatives Decoding aktiviert ist.
Warum dieses Modell anders ist
Jedes ernsthafte Diffusions-LLM davor wurde von Grund auf trainiert. DiffusionGemma ist aus Gemma 4 MoE (25,2 Mrd. insgesamt, 3,8 Mrd. aktiv) mittels Feintuning entstanden und nutzt weniger als 10 % des ursprünglichen Trainings-Token-Budgets. Kurz gesagt: jedes leistungsfähige AR-Modell kann kostengünstig zu einem Diffusions-Modell werden. Es behält den Denk-Modus, multimodale Eingaben und langen Kontext bei – und kann nach wie vor auf reine autoregressive Erzeugung zurückgreifen, was direkt auf hybrides Diffusions-AR-Decoding hinweist.
Offene Gewichte, einsatzbereit
Die Gewichte liegen bei Hugging Face unter google/diffusiongemma-26B-A4B-it, Apache 2.0. Offensichtliche Anwendungsfälle: latenzkritische Agenten, Batch-Code-Generierung, alles, bei dem die Decodiergeschwindigkeit die Engstelle ist. Der technische Bericht erzielte 122 Punkte auf HackerNews – die technisch umfangreichste Veröffentlichung des Tages.