KI, die Probleme der Sicherheit von KI zu beheben, ist von einem Gedankenexperiment zu einem veröffentlichten Ergebnis geworden. Am 28. August zeigte Anthropic, dass Claude als autonomer Ausrichtungsforscher funktioniert: Er liest die Literatur, schlägt Korrekturen vor, trainiert, testet und iteriert – während ein separates Überwachungs‑Agent alles blockiert, was betrügt oder Fähigkeiten verschlechtert.
Die Zahlen sprechen für sich
Bei 10 Benchmarks für Fehlausrichtung – Täuschung, Schmeichelei, Jailbreaks, Belohnungshacking und mehr – schloss der automatisierte Forscher 26‑96 % der Sicherheitslücke bei jedem, ohne die Fähigkeit zu beeinträchtigen. Bei Täuschung übertraf Claude’s beste Korrektur den besten menschlichen Vorschlag um 20 %.
Der wichtigste Fall: Claude Sonnet 5 erhielt einen frühen Opus 4.8‑Checkpoint, führte über 50 Experimente in 60 Stunden durch und erreichte nahezu die Ausrichtungsbewertungen von Opus 4.8 in der Produktion mit nur 2.000 Trainingsbeispielen – etwa 15.000‑mal dateneffizienter als standardmäßige Ausrichtungsprozesse.
Warum das wichtig ist
Die gesamte Architektur ist Open Source. Jedes Labor kann nun einen automatisierten Forscher auf die eigenen Modellfehler richten. Rekursive Selbstverbesserung klingt normalerweise beängstigend – dies ist die Version, die für Sicherheit funktioniert.