Bot-Zugriffskontrolle
KI-Bot-Regeln
Crawler wie GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot und Google-Extended lesen robots.txt, und jeder hat ein eigenes dokumentiertes Verhalten.
Warum es wichtig ist
Wer sie nennt, macht aus einem impliziten Standard eine bewusste Entscheidung — und kann Such-Crawler anders behandeln als Trainings-Crawler.
Bestehenskriterien
robots.txt nennt bekannte KI-Crawler oder enthält eine Wildcard-Gruppe, die sie abdeckt.
Was der Scanner erfasst
Jede Anfrage, die dieser Check stellt, wird erfasst — URL, Methode, Antwortstatus, relevante Header und eine Vorschau des Bodys — und in Ihren Ergebnissen unter dem Check angezeigt.
Jede Anfrage, die dieser Check stellt, wird erfasst — URL, Methode, Antwortstatus, relevante Header und eine Vorschau des Bodys — und in Ihren Ergebnissen unter dem Check angezeigt.
So setzen Sie es um
Add User-agent rules for AI crawlers like GPTBot, ClaudeBot, and Google-Extended
robots.txt nennt bekannte KI-Crawler oder enthält eine Wildcard-Gruppe, die sie abdeckt.
Die Schritt-für-Schritt-Anleitung zur Umsetzung ist Teil des Pro-Plans.
Pläne ansehenScannen Sie Ihre Website
Sehen Sie, ob dieser Check auf Ihrer Domain besteht — und wie die anderen 21 abschneiden.