Tester de robots.txt
Comprueba si tus URLs están bloqueadas por robots.txt. Pega tu archivo, introduce una ruta de URL y revisa el acceso para Googlebot, Bingbot o GPTBot.
Esta herramienta se ejecuta entera en tu navegador. No se envía ningún dato a ningún servidor.
Tu robots.txt está en: tudominio.com/robots.txt
¿La URL no está bloqueada pero sigue sin indexarse?
Si tu robots.txt no está bloqueando la página pero Google sigue sin indexarla, usa IndexBolt para que la rastree en horas.
Preguntas frecuentes
¿Qué es un archivo robots.txt?+
Un archivo robots.txt es un archivo de texto en la raíz de tu sitio (p. ej., example.com/robots.txt) que indica a los rastreadores de motores de búsqueda a qué páginas pueden acceder y a cuáles no. Es una parte clave del Protocolo de Exclusión de Robots.
¿El robots.txt impide que las páginas se indexen?+
No exactamente. Robots.txt evita el rastreo, no la indexación. Si otros sitios enlazan a una página bloqueada, Google puede indexar la URL igualmente (mostrándola en resultados sin descripción). Para impedir la indexación, usa una meta etiqueta noindex.
¿Qué significa «Disallow: /» en robots.txt?+
Disallow: / bloquea todo el sitio frente al rastreo por parte del user-agent indicado. Si se aplica a todos los user-agents (User-agent: *), ningún rastreador de motor de búsqueda podrá acceder a ninguna página de tu sitio.
¿Cómo funciona la coincidencia de patrones en robots.txt?+
Robots.txt usa coincidencia de patrones sencilla. * coincide con cualquier secuencia de caracteres y $ ancla al final de la URL. Por ejemplo, Disallow: /*.pdf$ bloquea todas las URLs que terminan en .pdf. Cuando varias reglas coinciden, gana el patrón más específico (el más largo).
¿Puedo bloquear bots concretos como GPTBot?+
Sí. Añade una sección User-agent: GPTBot con Disallow: / para bloquear el rastreador de OpenAI. De la misma forma puedes apuntar a Googlebot, Bingbot o cualquier rastreador concreto por nombre. Cada bot lee solo las reglas de su propia sección (o la sección * como respaldo).