QLoRA reduziert den VRAM‑Verbrauch beim Feintuning etwa um die Hälfte. Soup CLI entfernt die zugrunde liegende Annahme: Ihre GPU hält das gesamte Modell nie.
Es ist ein Open-Source-Feintuning-CLI — ein YAML, ein Befehl, vollständiger LoRA‑Durchlauf. Der Kern ist Layer-Streaming: Das eingefrorene Basis‑Modell liegt im CPU‑RAM, eine Decoder‑Schicht nach der anderen wird in einen kleinen VRAM‑Puffer gestreamt, und nur die LoRA‑Adapter bleiben auf der GPU resident. Darüber wird NF4-4-Bit-Quantisierung gestapelt, und der maximale VRAM‑Verbrauch wird durch eine Schicht bestimmt, nicht durch das Modell. Auf einem Laptop mit 4 GB RTX 3050 trainiert Llama-3.1-8B mit 119,6 tok/s in 3,32 GB — bit‑genau im Vergleich zu einem normalen resident‑Run.
Für Skripte gebaut
pip install "soup-cli[train]", schreiben Sie ein YAML (Basis‑Modell, Aufgabe, Quantisierung), ausführen. Neun Architekturen — Llama, Qwen, Mistral, Gemma, Phi — plus ein VRAM-Pre-Check vor dem Training und NVMe‑Offload, wenn der RAM ausgeht. YAML‑gesteuert bedeutet, dass es direkt in Skripte und CI fällt: automatisierte Feintunings auf der günstigsten Hardware, die Sie besitzen.
Warum es beide Ranglisten traf
Show HN und Product Hunt Frontpages in derselben Woche, 414 GitHub‑Stars und steigende Zahlen. Das Argument ist nachprüfbar: Der Solo‑Entwickler Alpamys Makazhan veröffentlichte genaue Zahlen, die jeder mit einem Gaming‑Laptop reproduzieren kann. Unsloth macht Feintuning schneller auf GPUs, die qualifizieren; Soup lässt es auf solchen funktionieren, die es nicht tun.