---
title: "robots.txt | robots.txt Regeln für KI-Crawler | Agent-Ready Check"
description: "robots.txt ist nach wie vor der einzige maschinenlesbare Ort, an dem eine Website ihre Crawl-Richtlinie festhalten kann — und die erste Datei, die ein Agent abruft. Fehlt sie oder ist sie ungültig, raten alle Crawler. Pass criteria: Liefert HTTP 200 mit Klartext, der mindestens eine User-agent-Direk"
locale: de
canonical: https://agent-ready.t0ols.com/de/checks/robots-txt/
---

# robots.txt

> Category: Auffindbarkeit

robots.txt ist nach wie vor der einzige maschinenlesbare Ort, an dem eine Website ihre Crawl-Richtlinie festhalten kann — und die erste Datei, die ein Agent abruft. Fehlt sie oder ist sie ungültig, raten alle Crawler.

## Warum es wichtig ist

Alles Weitere baut darauf auf: der Sitemap-Verweis, die KI-Crawler-Regeln und das Content Signal stehen alle in dieser Datei.

## Bestehenskriterien

Liefert HTTP 200 mit Klartext, der mindestens eine User-agent-Direktive enthält.

## So setzen Sie es um

Goal: Publish /robots.txt with clear crawl rules

Liefert HTTP 200 mit Klartext, der mindestens eine User-agent-Direktive enthält.

The step-by-step implementation prompt is part of the paid tier. The free layer gives you the diagnosis, the evidence and the specification links.

Specifications: https://www.rfc-editor.org/rfc/rfc9309
Implementation notes: https://agent-ready.t0ols.com/.well-known/agent-skills/robots-txt/SKILL.md