n0, das Team hinter der P2P‑Netzwerkbibliothek iroh, hat am 11. Juli Mesh LLM veröffentlicht. Es erreichte innerhalb eines Tages 147 Punkte auf der Hacker‑News‑Startseite. Das Konzept: Dein Gaming‑PC, dein MacBook, dieser alte Workstation — zu einem Inferenz‑Cluster zusammengefügt, ohne Cloud.
Wie das Mesh tatsächlich funktioniert
Dies ist eine local‑first‑Inference‑Infrastruktur, kein weiterer API‑Wrapper. Maschinen finden sich über Gossip‑Discovery im QUIC‑Netzwerk von iroh, inklusive NAT‑Hole‑Punching — auch hinter verschiedenen Routern. Eine Anfrage läuft auf deiner lokalen GPU, wird zu einem Peer weitergeleitet, der das Modell bereits geladen hat, oder löst den „Skippy“-Modus aus: Das Modell wird Schicht für Schicht über Maschinen verteilt, sodass mehrere bescheidene Rechner gemeinsam etwas ausführen, das keiner allein halten könnte. Mehr als 40 Modelle werden unterstützt, von 0,5 B bis zu 235 B MoE‑Giganten — in einem 18 MB‑Binary.
Ein Endpunkt, keine Code‑Änderungen
Alles erscheint als OpenAI‑kompatible API unter localhost:9337/v1. Richte jeden bestehenden Client oder jedes Agent‑Framework darauf aus und dein Stack wird vollständig privat — der offensichtliche Anwendungsfall sind Agenten und RAG über Daten, die du niemals an eine Cloud‑API senden würdest. ACP‑Agent‑Support und ein Swift‑SDK für Mobile stehen auf der Roadmap. iroh läuft bereits in der Produktion auf Hunderttausenden von Geräten — das ist echte Infrastruktur, kein Wochenend‑Demo.