봇 접근 제어
AI 봇 규칙
GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, Google-Extended 같은 크롤러는 모두 robots.txt를 읽으며, 각자 공개된 동작 방식을 가지고 있습니다.
중요한 이유
이들을 명시하면 암묵적인 기본값이 의도적인 결정이 되고, 검색 크롤러와 학습 크롤러를 다르게 취급할 수 있습니다.
통과 기준
robots.txt가 알려진 AI 크롤러를 명시하거나, 이들을 포괄하는 와일드카드 그룹을 포함해야 합니다.
스캐너가 기록하는 항목
검사가 보낸 모든 요청이 기록됩니다 — URL, 메서드, 응답 상태, 관련 헤더와 본문 미리보기 — 그리고 결과에서 해당 검사 아래에 표시됩니다.
검사가 보낸 모든 요청이 기록됩니다 — URL, 메서드, 응답 상태, 관련 헤더와 본문 미리보기 — 그리고 결과에서 해당 검사 아래에 표시됩니다.
구현 방법
Add User-agent rules for AI crawlers like GPTBot, ClaudeBot, and Google-Extended
robots.txt가 알려진 AI 크롤러를 명시하거나, 이들을 포괄하는 와일드카드 그룹을 포함해야 합니다.
단계별 구현 프롬프트는 Pro 플랜에 포함됩니다.
요금제 보기사이트 스캔하기
이 검사가 당신의 도메인에서 통과하는지, 나머지 21개는 어떤지 확인하세요.