Qué hace robots.txt

Un archivo robots.txt indica a los rastreadores qué partes de un sitio deben visitar, omitir o tratar con reglas especiales antes de comenzar a recuperar páginas.

Cómo ayuda este generador

Esta herramienta te permite elegir una política de rastreo predeterminada, agregar rutas explícitas de permitir y denegar, establecer un retraso de rastreo opcional y agregar directivas de sitemap o host sin escribir el archivo a mano.

Casos de uso comunes

• Bloquea áreas de administración, páginas de búsqueda, filtros o herramientas internas del acceso amplio de rastreadores.
• Permite que una sección del sitio privada por defecto exponga solo algunas rutas públicas.
• Publica la ubicación del sitemap principal para que los motores de búsqueda puedan descubrir URLs frescas más rápido.
• Crea una plantilla de robots.txt inicial para staging, migraciones y listas de verificación de lanzamiento.

Mejores prácticas y limitaciones

Robots.txt es una directiva de rastreo, no un sistema de control de acceso, por lo que el contenido sensible aún debe estar protegido con autenticación u otras restricciones del lado del servidor.

Diferentes rastreadores soportan diferentes directivas. Por ejemplo, la directiva de host no es universal y el retraso de rastreo puede ser ignorado por algunos bots, así que siempre valida tus reglas finales contra los rastreadores que te importan.