Jemand hat herausgefunden, dass der schnellste Weg an einer robots-Allowlist vorbeizukommen darin besteht, einfach zu behaupten, man sei ein KI-Crawler. Der Agentic Web Index von Known Agents verfolgt jetzt eine aktive Kampagne, die genau das tut: gefälschter Googlebot-Traffic mit 0,5 % aller Anfragen, wobei ChatGPT-User, GPTBot, OAI-SearchBot und PerplexityBot jeweils etwa 0,1 % ausmachen.
Wonach sie eigentlich suchen
Nicht Inhalte. Anmeldedaten. Die gescannten Pfade lesen sich wie eine Liste aller KI-Coding-Tools, die Menschen dieses Jahr installiert haben: /.config/anthropic/credentials/default.json, .claude.json, .claude/settings.json. Vermischt mit den Klassikern — /.aws/credentials, /.env.production, firebase-adminsdk.json, Docker-Konfigurationen, Terraform-State-Dateien, gefüllt mit Infrastruktur-Schlüsseln.
Warum das wichtig ist
Dies ist die erste Scan-Welle, die KI-Agent-Konfigurationsdateien als reguläre Angriffsfläche behandelt, gleich neben .env. Diese Dateien liegen in Home-Verzeichnissen auf Entwicklungs-Boxen und CI-Runnern, und viele von ihnen enthalten aktive API-Schlüssel.
Der Erkennungs-Trick ist der nützliche Teil: echter ClaudeBot- und GPTBot-Traffic wird über Reverse-IP-Lookup oder Web-Bot-Auth-Signaturen verifiziert. Schlägt diese Prüfung fehl, ist der User-Agent nur ein Kostüm. Wer dahintersteckt, ist unbekannt und wird wahrscheinlich so bleiben.
Wenn Ihre Firewall KI-Crawler per User-Agent-String auf die Whitelist setzt, ist diese Regel jetzt ein Loch.