Microsoft hat ThinkingBox als Open-Source-Code bereitgestellt, eine Sandbox- und Benchmark-Plattform, die testet, ob KI-Agenten für reale Geschäftsprozesse vertrauenswürdig sind. Der Twist: Die Plattform ignoriert die Aussagen des Agenten und überprüft nur, was sich tatsächlich in der Backend-Datenbank geändert hat.
Ein Erfolg ist keine Zuverlässigkeit
Der Benchmark führte 507 politikbedingte Aufgaben in fünf Bereichen durch – Einzelhandel, Gastgewerbe, Kfz-Versicherung, Neobank-IT, Beratungsunterstützung – mit 20 wiederholten Läufen pro Aufgabe über 12 Modelle. Das stärkste Modell erreichte 65,36% pass@1. Aber pass^20, das bei derselben Aufgabe alle 20 Mal erfolgreich war, sank auf 25,25%. Ihr Agent meistert eine Aufgabe in der Demo, dann aber nicht drei von vier Mal in der Produktion. Schlimmer noch: 80% der fehlgeschlagenen Läufe endeten sauber und sahen aus wie ein Erfolg. Die Qualität der Antwort sagt Ihnen nichts darüber, ob die Aufgabe erledigt wurde.
Jedes Modell anschließen
ThinkingBox ist ein Framework, nicht nur eine Bestenliste. Isolierte MCP-kompatible Tool-Sitzungen, vollständige Ausführungsprotokolle, eine Prüfer-Schleife und eine Kommandozeilen‑Schnittstelle. Es unterstützt Azure OpenAI, Anthropic und jeden OpenAI‑kompatiblen Endpunkt, sodass Sie Ihren eigenen Agenten‑Stack benchmarken oder RL‑Trainingsdaten aus den Protokollen generieren können. MIT‑Lizenz, Paper auf arXiv.
Jeder Anbieter behauptet, dass sein Agent „funktioniert“. Microsoft hat die Maschine gebaut, die 20 Mal überprüft.