Moonshot AI hat Kimi Linear veröffentlicht und es landete am selben Tag auf der HackerNews-Startseite (145 Punkte). Es ist weder ein Chatbot noch ein Agent – es ist ein Open-Weight-Sprachmodell, aber die Neuigkeit liegt in der zugrunde liegenden Infrastruktur: einer neuen Attention-Architektur, die lange Kontexte günstig macht.
Was es eigentlich ist
Kimi Linear ist ein 48B-Modell (3B aktiv) mit einem Kontextfenster von 1 M-Token. Der Trick ist Kimi Delta Attention (KDA), ein lineares Attention-Verfahren mit fein abgestimmter kanalweiser Steuerung, im Verhältnis 3:1 zu Voll-Attention-Schichten gestapelt. Ergebnis: bis zu 75 % weniger KV-Cache und bis zu 6,3-fach schnellere Dekodierung bei einer Million Token im Vergleich zur Standard-Attention. Attention-Residuals erhöhen die Skalierungseffizienz um etwa das 2,5-fache gegenüber dem älteren K2.
Warum es wichtig ist
Dies ist die gegenteilige Wette gegenüber dem 2,8 T-Flaggschiff K3. Anstatt Parameter zu stapeln, greift Moonshot die Kosten langer Kontexte auf Mechanismus-Ebene an. Gewichte, ein Triton-KDA-Kernel und vLLM-Inference sind alle offen – holen Sie den Checkpoint und führen ihn lokal aus, ohne API-Gatekeeping.