Тестировщик Robots.txt
Проверьте, заблокированы ли Ваши URL в robots.txt. Вставьте свой файл, введите путь URL и проверьте доступ для Googlebot, Bingbot или GPTBot.
Этот инструмент работает полностью в вашем браузере. Никакие данные на сервер не отправляются.
Ваш robots.txt находится по адресу: yourdomain.com/robots.txt
URL не заблокирован, но всё равно не индексируется?
Если robots.txt не блокирует страницу, а Google всё ещё не проиндексировал её, используйте IndexBolt, чтобы добиться сканирования за часы.
Часто задаваемые вопросы
Что такое файл robots.txt?+
Файл robots.txt — это текстовый файл в корне Вашего сайта (например, example.com/robots.txt), который сообщает краулерам поисковых систем, какие страницы они могут и не могут посещать. Это ключевая часть протокола Robots Exclusion.
Запрещает ли robots.txt индексацию страниц?+
Не совсем. Robots.txt запрещает сканирование, а не индексацию. Если другие сайты ссылаются на заблокированную страницу, Google всё равно может проиндексировать её URL (показывая в результатах без описания). Чтобы запретить индексацию, используйте мета-тег noindex.
Что означает «Disallow: /» в robots.txt?+
Disallow: / запрещает сканирование всего сайта указанным user-agent. Если правило применено ко всем user-agent (User-agent: *), ни один краулер поисковика не сможет получить доступ ни к одной странице на Вашем сайте.
Как работает сопоставление шаблонов в robots.txt?+
Robots.txt использует простое сопоставление шаблонов. * совпадает с любой последовательностью символов, а $ закрепляет шаблон в конце URL. Например, Disallow: /*.pdf$ блокирует все URL, заканчивающиеся на .pdf. Когда совпадают несколько правил, побеждает самое специфичное (самое длинное).
Можно ли заблокировать конкретных ботов, например GPTBot?+
Да. Добавьте секцию User-agent: GPTBot с Disallow: /, чтобы заблокировать краулер OpenAI. Аналогично можно нацелиться на Googlebot, Bingbot или любого конкретного краулера по имени. Каждый бот читает только правила своей секции (или секции *, если своей нет).