Harvey, das 5‑Milliarden‑Dollar‑Legal‑AI‑Einhorn, hat LAB (Legal Agent Benchmark) Open‑Source gemacht: 1.671 reale Rechtsaufgaben aus 24 Praxisbereichen plus transaktionale Arbeit. Nicht Multiple‑Choice – echte Kanzlei‑Aufträge wie M&A‑Data‑Room‑Review, jeweils mit Agent‑Anweisungen, Kundendokumenten und von Experten erstellten Rubriken (über 75 000 Bewertungskriterien insgesamt). Das Repository hat gerade GitHub‑Trending erreicht: 744 Sterne, +87 an einem Tag.
Warum die Werte brutal sind
All‑Pass‑Bewertung: Verpasst man ein Rubrik‑Kriterium, fällt die gesamte Aufgabe durch. Beim Start lag Claude Opus 4.7 mit 7,1 %. GPT‑5.5 erreichte 2,1 %. Drei Monate später besteht das Spitzenmodell auf der Rangliste gerade mal 20 % der Aufgaben. Anwälte können sich entspannen – vorerst. Und das ist die eigentliche Geschichte: Das Unternehmen, das Legal‑AI verkauft, hat gerade den öffentlichen Standard für „Kann KI die Arbeit eines Anwalts erledigen“ veröffentlicht, und die heutige Antwort lautet größtenteils nein.
Selbst ausführen
LAB wird mit einem Ausführungs‑Framework plus Multi‑Model‑Adapter ausgeliefert – jedes Modell einstecken, die Aufgaben ausführen, bewertete Ergebnisse erhalten. Rechtsteams nutzen es, um Anbieter‑Behauptungen zu prüfen; Labore setzen es ein, um Langzeit‑Agenten an unordentlichen realen Dokumenten zu testen. Es ist das erste vertikale Agent‑Benchmark, das vom Marktführer selbst veröffentlicht wurde. Wer die Prüfung schreibt, bewertet den Markt.