봇 접근 제어
Content Signals
robots.txt는 "크롤링해도 되는가"에 답합니다. Content Signals는 애초에 설계 목적이 아니었던 질문, 즉 "학습에, 실시간 답변에, 색인에 사용해도 되는가"에 답합니다.
중요한 이유
세 줄이면 답변에 인용되는 것은 허용하고 학습에 쓰이는 것은 거부할 수 있으며, 모든 크롤러가 읽을 수 있는 형식입니다.
통과 기준
robots.txt가 ai-train, search, ai-input을 모두 아우르는 Content-Signal 설정을 선언해야 합니다.
스캐너가 기록하는 항목
검사가 보낸 모든 요청이 기록됩니다 — URL, 메서드, 응답 상태, 관련 헤더와 본문 미리보기 — 그리고 결과에서 해당 검사 아래에 표시됩니다.
검사가 보낸 모든 요청이 기록됩니다 — URL, 메서드, 응답 상태, 관련 헤더와 본문 미리보기 — 그리고 결과에서 해당 검사 아래에 표시됩니다.
구현 방법
Declare AI content usage preferences with Content Signals in robots.txt
robots.txt가 ai-train, search, ai-input을 모두 아우르는 Content-Signal 설정을 선언해야 합니다.
단계별 구현 프롬프트는 Pro 플랜에 포함됩니다.
요금제 보기사이트 스캔하기
이 검사가 당신의 도메인에서 통과하는지, 나머지 21개는 어떤지 확인하세요.