Qué hace esta herramienta
Este generador crea un archivo robots.txt: el pequeño archivo de texto en la raíz de cada web que indica a rastreadores como Googlebot y Bingbot qué zonas pueden visitar. Tú decides si la web está abierta al rastreo, indicas las carpetas o patrones de URL que quieres bloquear, añades excepciones e incluyes la dirección de tu sitemap XML para que los buscadores encuentren todas tus páginas.
Las plantillas para WordPress y tiendas online rellenan reglas habituales, como bloquear el área de administración dejando accesible admin-ajax.php, o mantener fuera del rastreo las URL del carrito, del proceso de pago y de los filtros. Un interruptor opcional añade reglas para los rastreadores que usan las empresas de IA para recopilar datos de entrenamiento o alimentar sus búsquedas con IA, como GPTBot, ClaudeBot, Google-Extended y CCBot.
El archivo se crea en tu navegador y puedes copiarlo o descargarlo como robots.txt, listo para subirlo.
Cuándo usarla
Webs nuevas
Publica desde el primer día un robots.txt limpio con tu sitemap para que los buscadores descubran antes tus páginas.
WordPress y tiendas
Evita que las páginas de administración, carrito, pago y filtros malgasten el presupuesto de rastreo.
Entornos de pruebas
Bloquea por completo una copia de desarrollo para que no compita con tu web real.
Excluirse de la IA
Indica a los rastreadores de IA que respetan el robots.txt que no usen tu contenido.
Consejos para obtener el mejor resultado
- No bloquees nunca tus carpetas de CSS y JavaScript; Google las necesita para renderizar y entender tus páginas.
- Las rutas distinguen entre mayúsculas y minúsculas y se comparan desde el principio: «/admin» también bloquea «/administrador». Termina las carpetas con una barra.
- Usa * como comodín y $ para el final de una URL, por ejemplo «/*.pdf$» para bloquear todos los archivos PDF.
- El robots.txt es público. No incluyas carpetas secretas: protégelas con contraseña.
- Después de subirlo, revisa el archivo en Google Search Console, en Ajustes › robots.txt.
Cómo funciona
El generador escribe un grupo para todos los rastreadores (User-agent: *) con líneas Allow y Disallow en el formato definido por el Robots Exclusion Protocol (RFC 9309), que siguen Google, Bing y los demás grandes buscadores. A las rutas que no empiezan por barra se les añade una automáticamente.
Si bloqueas los rastreadores de IA, un segundo grupo enumera sus user agents con «Disallow: /». Cada rastreador usa el grupo más específico que coincide con su nombre, así que los buscadores no se ven afectados. Las líneas Sitemap se añaden al final y pueden apuntar a varios sitemaps.
Crawl-delay solo se incluye si introduces un valor; Google lo ignora, pero Bing y algunos otros rastreadores lo respetan.