Jeder veröffentlicht ein Coding-Modell mit einer glänzenden SWE-bench-Zahl im Anhang. OpenAI hat gerade einen technischen Beitrag veröffentlicht, in dem argumentiert wird, dass die meisten dieser Zahlen Rauschen sind. Er erreichte 216 Punkte auf Hacker News, und der Grund ist offensichtlich: OpenAI kühlt das genaue Scoreboard ab, das die gesamte Branche nutzt, um den Sieg zu verkünden.
Was es tatsächlich sagt
Dies ist kein Produkt. Es ist ein Blog‑Beitrag — “Separating signal from noise in coding evaluations” — der analysiert, warum Coding-Benchmarks lügen. Die unbequeme Erkenntnis: Wird dasselbe Modell mehrfach auf demselben Benchmark ausgeführt, können die Ergebnisse um mehr als zehn Punkte schwanken. Das bedeutet, dass viele “neue SOTA”-Ankündigungen innerhalb des Messfehlers liegen. Niemand hat etwas bewegt; sie hatten einfach Glück.
OpenAI führt das Rauschen auf einige Quellen zurück. Kontamination, weil Benchmark-Aufgaben aus öffentlichen GitHub-Repos stammen, auf denen die Modelle bereits trainiert wurden. Zufälligkeit beim Sampling. Und ein Designfehler: Unit-Tests in einem Pull-Request wurden geschrieben, um eine spezifische menschliche Korrektur zu validieren, nicht um ein implementierungs-agnostisches “gelöst” zu definieren. Eine korrekte, aber andere Lösung schlägt fehl. OpenAI zog sogar sein früheres Lob für SWE-Bench Pro zurück, nachdem dieselbe Schwäche entdeckt wurde.
Warum es wichtig ist
Das gesamte “Signal” hier ist Vertrauen. Wenn schlechte Evaluierungen Entscheidungen zu Fähigkeiten und Sicherheit beeinflussen, steuert man mit einer kaputten Anzeige. Kommt das von dem Unternehmen, das am meisten von großen Benchmark-Überschriften profitiert, ist das ein deutlicher Eingeständnis – und eine Herausforderung, die nächste “schlägt jedes offene Modell”-Pressemitteilung mit skeptischem Blick zu lesen.