Ein 45M-Parameter-Modell erreichte gerade 63,7 % bei Mobile Actions und liegt damit praktisch auf Augenhöhe mit FunctionGemma 270M’s 64,0 %. Das ist ein Modell, das 5–70 × kleiner ist und dem Marktführer entspricht. Hacker News brachte es mit 221 Punkten auf die Titelseite.
Needle 2 ist kein Chatbot. Es ist ein agentisches Modell, das drei Dinge tut: Werkzeuge aufrufen, Geräte steuern und strukturierte Daten aus unübersichtlichem Text extrahieren. Simple Attention Network-Architektur, 2-Bit-Quantisierung, ausgeliefert als 14 MB-abhängiges-freies C++-Binary mit einem Spitzen-Session-Speicherbedarf von 28 MB. Mehr als 500 Tokens/s auf einem Raspberry Pi 5, 300–700 auf Android-Handys unter 200 $.
Wo Sie es einbinden
Apache 2.0, Gewichte auf Hugging Face, Single-File-C++-Binary auf GitHub, plus ein Python-Package für Fine-Tuning. Es kompiliert zu WebAssembly und Mikrocontrollern. Jede Ausgabe enthält einen Konfidenz-Score — unter Ihrem Schwellenwert wird in die Cloud eskaliert; darüber wird lokal und kostenlos gehandelt.
Warum es wichtig ist
Cactus (YC S25, ~7 M $-Seed, gegründet von Henry Ndubuaku und Roman Shemet) argumentiert, dass das Aufrufen von Werkzeugen Retrieval und Assembly ist, nicht Reasoning. Wenn das stimmt, stirbt die gesamte Annahme, dass ein lokaler Agent ein Flaggschiff-Handy benötigt. Needle 2 wird bereits im Pebble Index 01 Smart-Ring ausgeliefert und führt offline Voice-to-Action aus.