검색 가능성
robots.txt
robots.txt는 사이트가 크롤링 정책을 선언할 수 있는 유일한 기계 판독 위치이며, 에이전트가 가장 먼저 가져오는 파일입니다. 파일이 없거나 형식이 잘못되면 모든 크롤러가 추측에 의존하게 됩니다.
중요한 이유
이후의 모든 것이 이 파일 위에 세워집니다: sitemap 참조, AI 크롤러 규칙과 Content Signal이 모두 여기에 있습니다.
통과 기준
HTTP 200을 반환하고, 최소 하나의 User-agent 지시문을 포함한 일반 텍스트여야 합니다.
스캐너가 기록하는 항목
검사가 보낸 모든 요청이 기록됩니다 — URL, 메서드, 응답 상태, 관련 헤더와 본문 미리보기 — 그리고 결과에서 해당 검사 아래에 표시됩니다.
검사가 보낸 모든 요청이 기록됩니다 — URL, 메서드, 응답 상태, 관련 헤더와 본문 미리보기 — 그리고 결과에서 해당 검사 아래에 표시됩니다.
구현 방법
Publish /robots.txt with clear crawl rules
HTTP 200을 반환하고, 최소 하나의 User-agent 지시문을 포함한 일반 텍스트여야 합니다.
단계별 구현 프롬프트는 Pro 플랜에 포함됩니다.
요금제 보기사이트 스캔하기
이 검사가 당신의 도메인에서 통과하는지, 나머지 21개는 어떤지 확인하세요.