James O’Beirne hat alles, was er über das lokale Ausführen von LLMs weiß, in ein Repository gepackt. Es erreichte 381 Punkte auf der Startseite von HN, und es ist weder ein Framework noch eine App – es ist ein Referenzwerk. Ein riesiges Hardware-×-Model-Cheat-Sheet für das Self-Hosting 2026, plus sofort einsatzbereite vLLM-Konfigurationen.
Was Sie tatsächlich erhalten
Eine Preis-zu-Token-Tabelle, die Sie nutzen können. Eine einzelne 3090 oder 4090 (~2–3 Tausend $) läuft Qwen 3.6-27B mit 68–80 Tok/s. Zwei 3090s oder ein 128 GB M-Series-MacBook schaffen über 150 Tok/s. Die Flex-Stufe: vier RTX 6000 Pro Blackwells (384 GB VRAM, ~46 Tausend $) laufen mit GLM-5.2, quantisiert und mit Experten-Pruning, 240 K+ Kontext, ~80 Tok/s – was O’Beirne als „nahe an Claude Opus“ bezeichnet. Er hat sogar PCIe4-Switches verkabelt, sodass die GPUs während des Tensor-Parallelismus direkt miteinander kommunizieren.
Der ehrliche Haken
Der oberste Kommentar auf HN rechnet nach, was niemand hören will: 40 Tausend $ für Silizium plus Strom und Wartung übertreffen ein Abonnement von 200 $/Monat bei weitem. Lokale Inferenz ist nicht günstiger. Sie zahlen für Privatsphäre und Kontrolle, Punkt. Diese Einordnung erklärt, warum dieser Leitfaden ein Lesezeichen wert ist – er sagt Ihnen genau, was Ihr Geld kauft, bevor Sie es ausgeben.