HackerRank hat gerade seinen Hiring‑Agent auf GitHub (interviewstreet/hiring-agent) gestellt, und innerhalb eines Tages sammelte er fast 3.000 Sterne und einen 789‑Punkte‑Thread auf Hacker News. Dann führte ein Entwickler ihn tatsächlich aus — und das Ding zerfiel öffentlich.
Was es ist und warum es scheiterte
Es ist ein KI‑Lebenslauf‑Screening‑Tool. Gibt man ihm ein PDF, analysiert es den Text, ruft sechs Mal ein LLM auf, um Fähigkeiten, Projekte, Erfahrung und Auszeichnungen zu extrahieren, und gibt dann eine Punktzahl aus. Der Haken: Den identischen Lebenslauf wiederholt ausführen, und die Punktzahl schwankt zwischen 66 und 99. Selbst bei Temperatur 0 bleibt sie nicht deterministisch. Wie der Tester sagte — zieht ein Unternehmen die Grenze bei 85, wird er zu 65 % der Fälle herausgefiltert. Derselbe Lebenslauf. Reiner Würfelwurf.
Die eigentliche Lehre
Der Schaden ist nicht zufällig. Technische Fähigkeiten erhalten konsequent Punkte, weil es eine Checkliste ist — du kennst React oder nicht. Projekte und Open‑Source‑Arbeit schwanken, weil das eine subjektive Bewertung ist, und 65 % des Gesamtgewichts dort liegen. Die Erfahrung‑Abfrage besteht buchstäblich aus zwei Zeilen, ohne Rubrik. So wird ein Senior‑Engineer ohne öffentliches GitHub von jemandem mit zwei Praktika und einem Neben‑Repo unterdrückt.
Das ist der unbequeme Teil, den niemand auf die Box setzen will: LLMs sind schlecht bei feinkörniger subjektiver Beurteilung, und das Anbringen eines solchen an den Einstellungsprozess verwandelt einen Filter in ein Lotterie‑System.