Cursor Research hat gerade die Trainingsinfrastruktur hinter seinem Composer-Modell Open-Source gestellt. Mixture-of-Kittens (MoK) ist ein Megakernel, der jeden mixture-of-experts-Kommunikations- und Berechnungsschritt zu einem deterministischen GPU-Kernel zusammenführt – keine Kernel-Startgrenzen, keine CPU-GPU-Synchronisation, bitweise identische Ergebnisse bei jedem Durchlauf.
Ein Kernel statt einer Pipeline
MoE-Schichten sind der Flaschenhals beim modernsten Training: Tokens springen zwischen GPUs und Experten durch eine Kette separater Kernel. MoK reduziert die gesamte Kette. Die Zahlen: bis zu 2,37-facher MXFP8-Forward-Durchsatz gegenüber den schnellsten öffentlichen Baselines – einschließlich DeepSeek’s DeepEP und NVIDIAs eigenem HybridEP + Megatron – plus ein 1,41-facher End-to-End-Speedup in der Produktion über 512 GPUs. Es treibt bereits das Composer-Training auf Zehntausenden von GPUs an, speziell für GB300-NVL72-Racks gebaut. Apache-2.0, seit dem 4. August auf GitHub.
Warum das wichtig ist
Der Witz „Cursor ist ein VS Code Wrapper“ ist offiziell tot. Ein Unternehmen, das deterministische Megakernel für Blackwell-Racks liefert, ist ein Trainings-Infra-Lab, das zufällig einen Editor verkauft. Die Open-Source-Veröffentlichung ist das DeepSeek-mit-DeepEP-Playbook – andere Labs sollen auf eurem Stack aufbauen – nur dass Cursor die eigenen Kernel von DeepSeek dabei übertroffen hat.