---
title: "KI-Bot-Regeln | robots.txt KI-Bot User-agent-Regeln GPTBot ClaudeBot | Agent-Ready Check"
description: "Crawler wie GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot und Google-Extended lesen robots.txt, und jeder hat ein eigenes dokumentiertes Verhalten. Pass criteria: robots.txt nennt bekannte KI-Crawler oder enthält eine Wildcard-Gruppe, die sie abdeckt."
locale: de
canonical: https://agent-ready.t0ols.com/de/checks/ai-bot-rules/
---

# KI-Bot-Regeln

> Category: Bot-Zugriffskontrolle

Crawler wie GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot und Google-Extended lesen robots.txt, und jeder hat ein eigenes dokumentiertes Verhalten.

## Warum es wichtig ist

Wer sie nennt, macht aus einem impliziten Standard eine bewusste Entscheidung — und kann Such-Crawler anders behandeln als Trainings-Crawler.

## Bestehenskriterien

robots.txt nennt bekannte KI-Crawler oder enthält eine Wildcard-Gruppe, die sie abdeckt.

## So setzen Sie es um

Goal: Add User-agent rules for AI crawlers like GPTBot, ClaudeBot, and Google-Extended

robots.txt nennt bekannte KI-Crawler oder enthält eine Wildcard-Gruppe, die sie abdeckt.

The step-by-step implementation prompt is part of the paid tier. The free layer gives you the diagnosis, the evidence and the specification links.

Specifications: https://www.rfc-editor.org/rfc/rfc9309, https://developers.cloudflare.com/ai-crawl-control/
Implementation notes: https://agent-ready.t0ols.com/.well-known/agent-skills/ai-rules/SKILL.md