Die meisten On-device-LLMs scheitern auf dieselbe Weise: Sie liegen selbstbewusst falsch und haben keine Ahnung. Cactus Hybrid behebt die „keine Ahnung“-Hälfte. Es ist eine nachträglich trainierte Version von Gemma 4 E2B mit direkt in den Checkpoint eingebetteten Confidence‑Probes — jede Antwort wird mit einem Score von 0 bis 1 als strukturierte Daten zurückgeliefert, sodass Ihre App genau weiß, wie sehr sie ihr vertrauen kann.
Was es eigentlich ist
Dies ist ein Modell, keine App. Cactus nahm Gemma 4 E2B — das kleinste der Familie — und trainierte es, zu erkennen, wann es seine Grenzen überschreitet. Sie setzen einen Schwellenwert (z. B. 0,85): Liegt er darüber, wird die Antwort vollständig on-device ausgeführt; liegt er darunter, leitet Ihr Code die Anfrage an ein Cloud‑Modell weiter — Claude, GPT, Gemini, ganz nach Wahl. Das Besondere: Dieses winzige Modell erreicht auf den meisten Benchmarks die Leistung von Gemini 3.1 Flash‑Lite, während nur 15–35 % der Anfragen in die Cloud gesendet werden. Das Telefon erledigt die einfachen 80 %, die Cloud übernimmt die harten 20 %, und der Nutzer sieht die Naht nie.
Warum es beobachtenswert ist
On-device-Inferenz hatte schon immer ein Zuverlässigkeitsproblem, und „ein größeres Modell verwenden“ untergräbt den Sinn des lokalen Betriebs. Confidence‑as‑structured‑data ist die saubere Lösung — das Routing wird zu einem Zahlenvergleich, nicht zu einer Vermutung. Es wurde aus genau diesem Grund zu einem Show‑HN‑Hit.
Das SDK liefert Copy‑Paste‑Quickstarts für Cactus, Transformers, llama.cpp und MLX, und der Score wird als strukturierte Daten zurückgeliefert, die Sie direkt auswerten können. Typischer Anwendungsfall: ein mobiler Assistent, der für Routine‑Anfragen sofort offline antwortet und nur bei Unsicherheit leise an die Cloud weiterleitet — wodurch Cloud‑Kosten und Latenz gesenkt werden, ohne die übliche Peinlichkeit lokaler Modelle.