아직 없음 — 아래 목록에서 추가하세요.
모든 생성기
아직 없음 — 아래 목록에서 추가하세요.
레스토랑, 여행, 렌탈…
스프레드시트의 민첩성으로 그룹 비용 정리하기.
Robots.txt 파일은 크롤러에게 사이트의 어떤 부분을 방문하고, 건너뛰고, 특별한 규칙으로 처리해야 하는지를 알려줍니다.
이 도구를 사용하면 기본 크롤링 정책을 선택하고, 명시적으로 허용 및 금지 경로를 추가하고, 선택적 크롤링 지연을 설정하며, 파일을 수동으로 작성하지 않고도 사이트맵 또는 호스트 지침을 추가할 수 있습니다.
Robots.txt는 크롤링 지침이지 접근 제어 시스템이 아니므로 민감한 콘텐츠는 여전히 인증 또는 기타 서버 측 제한으로 보호해야 합니다.
다양한 크롤러가 서로 다른 지침을 지원합니다. 예를 들어, 호스트 지침은 보편적이지 않으며, 크롤 지연은 일부 봇에 의해 무시될 수 있으므로, 항상 신경 쓰는 크롤러에 대해 최종 규칙을 검증하세요.
더 많은 유틸리티가 있습니다...
여러 유틸리티를 선택하여 대시보드에 추가하세요.