Testador de Robots.txt
Testa se os teus URLs estão bloqueados pelo robots.txt. Cola o teu ficheiro, introduz um caminho de URL e verifica o acesso para Googlebot, Bingbot ou GPTBot.
Esta ferramenta corre inteiramente no teu navegador. Nenhum dado é enviado para qualquer servidor.
Encontra o teu robots.txt em: oteudominio.com/robots.txt
URL não bloqueado mas ainda não indexado?
Se o teu robots.txt não está a bloquear a página mas o Google ainda não a indexou, usa o IndexBolt para a fazer rastrear em horas.
Perguntas Frequentes
O que é um ficheiro robots.txt?+
Um ficheiro robots.txt é um ficheiro de texto na raiz do teu site (por exemplo, example.com/robots.txt) que diz aos crawlers dos motores de pesquisa que páginas podem e não podem aceder. É uma parte chave do Protocolo de Exclusão de Robots.
O robots.txt impede a indexação das páginas?+
Não exatamente. O robots.txt impede o rastreio, não a indexação. Se outros sites linkarem para uma página bloqueada, o Google pode ainda indexar o URL (mostrando-o em resultados sem descrição). Para impedir a indexação, usa em vez disso uma meta tag noindex.
O que significa 'Disallow: /' no robots.txt?+
Disallow: / bloqueia todo o site de ser rastreado pelo user-agent especificado. Se aplicado a todos os user-agents (User-agent: *), nenhum crawler de motor de pesquisa pode aceder a qualquer página do teu site.
Como funciona a correspondência de padrões no robots.txt?+
O robots.txt usa correspondência de padrões simples. * corresponde a qualquer sequência de caracteres e $ ancora no fim do URL. Por exemplo, Disallow: /*.pdf$ bloqueia todos os URLs terminados em .pdf. Quando várias regras correspondem, ganha o padrão mais específico (mais longo).
Posso bloquear bots específicos como o GPTBot?+
Sim. Adiciona uma secção User-agent: GPTBot com Disallow: / para bloquear o crawler da OpenAI. De forma semelhante, podes focar Googlebot, Bingbot ou qualquer crawler específico pelo nome. Cada bot lê apenas as regras na sua própria secção (ou na secção * como recurso).