Jeder betrachtet den Genehmigungsdialog als letzte Verteidigungslinie für Coding-Agenten. Alex Wauters von Scale X hat ein Spiel entwickelt, um das zu testen: Du spielst den Menschen im Loop und genehmigst oder verweigerst Shell‑Befehle eines KI‑Agents. Mehr als 40.000 Durchläufe, 409.000 Entscheidungen. Menschen haben jede dritte echte Bedrohung übersehen. 264 Punkte und 196 Kommentare auf HackerNews zeigen, dass der Nerv getroffen wurde.
Die Zahlen sind hässlich
Durchschnittliche Genauigkeit: 66,3 %. Offensichtliche Dinge wie rm -rf / wurden erkannt – nur 11,7 % schlüpften durch. Aber cat ~/.aws/credentials wurde zu 35 % übersehen, und eine in einem bekannten npm run-Skript versteckte Nutzlast kam zu 52,5 % durch – etwa das Doppelte anderer Exfiltrationsangriffe. Vertrautheit schlägt Wachsamkeit. Gleichzeitig blockierten Spieler harmlose rm -rf dist/ zu 45 % fälschlich. Rauschen in beide Richtungen.
Genehmigungs‑Müdigkeit ist der eigentliche Bug
Die Fehlerraten stiegen gegen Ende jeder Sitzung: Je mehr Eingabeaufforderungen man sieht, desto schneller klickt man. Mit Cursor, Codex und Gemini CLI sandbox escapes in den Nachrichten zeigt diese Studie den leisen Teil laut – Human-in-the-loop ist ein Kontrollkästchen, keine Steuerung. Die Sicherheit von Agenten benötigt Sandbox‑Umgebungen und Policy‑Engines, nicht erschöpfte Menschen.