---
title: "robots.txt | robots.txt 配置 AI 爬虫规则 | Agent-Ready Check"
description: "robots.txt 仍是网站声明抓取政策的唯一机器可读位置，也是 Agent 最先获取的文件。文件缺失或格式无效，意味着所有爬虫都只能靠猜。 Pass criteria: 返回 HTTP 200，内容为纯文本且至少包含一条 User-agent 指令。"
locale: zh-Hans
canonical: https://agent-ready.t0ols.com/zh/checks/robots-txt/
---

# robots.txt

> Category: 可发现性

robots.txt 仍是网站声明抓取政策的唯一机器可读位置，也是 Agent 最先获取的文件。文件缺失或格式无效，意味着所有爬虫都只能靠猜。

## 为什么重要

后续一切都建立在它之上：sitemap 引用、AI 爬虫规则和 Content Signal 都写在这个文件里。

## 通过标准

返回 HTTP 200，内容为纯文本且至少包含一条 User-agent 指令。

## 如何实施

Goal: Publish /robots.txt with clear crawl rules

返回 HTTP 200，内容为纯文本且至少包含一条 User-agent 指令。

The step-by-step implementation prompt is part of the paid tier. The free layer gives you the diagnosis, the evidence and the specification links.

Specifications: https://www.rfc-editor.org/rfc/rfc9309
Implementation notes: https://agent-ready.t0ols.com/.well-known/agent-skills/robots-txt/SKILL.md