---
title: "robots.txt | robots.txt regole per i crawler AI | Agent-Ready Check"
description: "robots.txt resta l'unico luogo leggibile da una macchina in cui un sito può dichiarare la propria policy di scansione, ed è la prima cosa che un agente recupera. Un file mancante o non valido significa che ogni crawler tira a indovinare. Pass criteria: Restituisce HTTP 200 con testo semplice contene"
locale: it
canonical: https://agent-ready.t0ols.com/it/checks/robots-txt/
---

# robots.txt

> Category: Scopribilità

robots.txt resta l'unico luogo leggibile da una macchina in cui un sito può dichiarare la propria policy di scansione, ed è la prima cosa che un agente recupera. Un file mancante o non valido significa che ogni crawler tira a indovinare.

## Perché è importante

Tutto il resto si appoggia a questo file: il riferimento al sitemap, le regole per i crawler AI e il Content Signal vivono tutti qui.

## Criteri di superamento

Restituisce HTTP 200 con testo semplice contenente almeno una direttiva User-agent.

## Come implementarlo

Goal: Publish /robots.txt with clear crawl rules

Restituisce HTTP 200 con testo semplice contenente almeno una direttiva User-agent.

The step-by-step implementation prompt is part of the paid tier. The free layer gives you the diagnosis, the evidence and the specification links.

Specifications: https://www.rfc-editor.org/rfc/rfc9309
Implementation notes: https://agent-ready.t0ols.com/.well-known/agent-skills/robots-txt/SKILL.md