Alle sagen immer wieder, man könne einen KI‑Agenten steuern, indem man ihm ein langes Richtliniendokument überreicht – ein AGENTS.md, einen umfangreichen System‑Prompt, ein 100‑seitiges Handbuch. Das neue HANDBOOK.md-Benchmark von Surge AI (Surge AI) besagt, dass das meist Wunschdenken ist.
Was es wirklich ist
Es ist eine Evaluierungs‑Suite für Agenten, kein Produkt, das man installiert. 65 Aufgaben, jede ein eigenständiges fiktives Unternehmen: echte Dateien (PDFs, Excel, Word), interne Werkzeuge und Live‑externe MCP‑Dienste – Gmail, Google Calendar, Slack, Jira, Shopify. Im Zentrum liegt ein Handbuch mit durchschnittlich 43 Seiten, maximal 124. Der Agent erhält eine Anweisung: den Regeln folgen. Anschließend muss das Handbuch jede E‑Mail, Slack‑Antwort und Jira‑Aktion in den Bereichen Finanzen, medizinische Abrechnung, Versicherung, Logistik und Personalwesen einschränken.
Warum es im Trend liegt
Die Zahlen sind brutal. Die beste Konfiguration – Claude Fable 5 mit maximaler Vernunft – erreicht nur 36,2 %. GPT‑5.6 Sol liegt bei 23,5 %. Die meisten Frontier‑Modelle liegen unter 25 %. Mehr Aufwand zu betreiben hilft kaum und schadet manchmal.
Die zentrale Erkenntnis erreichte die HackerNews‑Startseite mit über 300 Punkten: Ein langes Dokument steuert einen Agenten nicht zuverlässig. Wenn Ihr Agent-Governance-Plan „mehr Markdown schreiben“ lautet, ist dies ein kalter Schauer.