robots.txt
robots.txt ist nach wie vor der einzige maschinenlesbare Ort, an dem eine Website ihre Crawl-Richtlinie festhalten kann — und die erste Datei, die ein Agent abruft. Fehlt sie oder ist sie ungültig, raten alle Crawler.
Warum es wichtig ist
Alles Weitere baut darauf auf: der Sitemap-Verweis, die KI-Crawler-Regeln und das Content Signal stehen alle in dieser Datei.
Bestehenskriterien
Liefert HTTP 200 mit Klartext, der mindestens eine User-agent-Direktive enthält.
Jede Anfrage, die dieser Check stellt, wird erfasst — URL, Methode, Antwortstatus, relevante Header und eine Vorschau des Bodys — und in Ihren Ergebnissen unter dem Check angezeigt.
So setzen Sie es um
Publish /robots.txt with clear crawl rules
Liefert HTTP 200 mit Klartext, der mindestens eine User-agent-Direktive enthält.
Die Schritt-für-Schritt-Anleitung zur Umsetzung ist Teil des Pro-Plans.
Pläne ansehenScannen Sie Ihre Website
Sehen Sie, ob dieser Check auf Ihrer Domain besteht — und wie die anderen 21 abschneiden.
Verwandte Checks
Sitemap
Unter /sitemap.xml wird eine gültige XML-Sitemap ausgeliefert, oder sie wird in robots.txt mit einer Sitemap:-Direktive deklariert.
Link-Header
Die Antwort der Startseite enthält Link-Header mit mindestens einer für Agents nützlichen Relation.
DNS für KI-Discovery
Unter dem _agents-Namespace existieren ServiceMode-SVCB/HTTPS-Records oder ein TXT-Index, idealerweise DNSSEC-signiert.