Новый сайт не появляется в Google: как загнать новый сайт в индекс
Вы построили совсем новый сайт, а Google даже не знает о его существовании. Узнайте, как пробить барьер обнаружения и попасть в индекс Google с самого первого дня.
В этой инструкции
Ваш новый сайт выглядит отлично, но Google не знает, что он существует. Фундаментальная проблема: Google обнаруживает страницы, переходя по ссылкам со страниц, которые он уже знает. У совершенно нового домена ноль обратных ссылок, поэтому у Google нет пути сканирования, чтобы его найти.
Многие владельцы новых сайтов усугубляют ситуацию, оставляя блокировки в robots.txt, отсутствие подтверждения в Search Console или сохранившиеся с этапа разработки теги noindex. Это руководство проводит через технические предпосылки, методы ускорения обнаружения и постоянные практики, превращающие Ваш новый сайт из невидимого в полностью проиндексированный.
Объясняем проблему обнаружения для нового сайта
Веб-краулер Google, Googlebot, обнаруживает новые страницы преимущественно переходя по ссылкам со страниц, которые он уже просканировал и проиндексировал. Это создаёт фундаментальную проблему первоначальной загрузки для новых сайтов. Если ни одна существующая страница во всём интернете не ссылается на Ваш новый домен, у Googlebot нет способа найти его обычным процессом сканирования. Ваш сайт может существовать месяцами, а Google так и не узнает о нём.
Это принципиально отличается от ситуации, с которой сталкиваются устоявшиеся сайты, добавляя новые страницы. Устоявшийся сайт с существующим присутствием в Google сканируется регулярно. Когда он публикует новую страницу и ссылается на неё с уже проиндексированной, Google обычно обнаруживает её в течение часов или дней при следующем плановом сканировании сайта. У нового сайта нет планового сканирования, потому что Google не знает о его существовании.
Есть распространённый миф о влиянии «возраста домена» на индексацию — в частности, идея, что Google намеренно задерживает индексацию новых доменов в качестве испытательного срока или «песочницы». Никакой официальной «песочницы» Google для новых доменов нет. Реальность проще: новые домены дольше попадают в индекс, потому что у них нет обратных ссылок, нет истории сканирования, нет сигналов авторитетности и нет подтверждения в Google Search Console. Каждое из этого можно адресовать напрямую.
Google Search Console — самый важный инструмент для владельцев новых сайтов, потому что он даёт прямой канал связи с Google. Подтвердив домен в Search Console и отправив карту сайта, Вы по сути говорите Google: «Этот сайт существует, вот все его страницы, пожалуйста, просканируйте их». Это обходит необходимость для Googlebot обнаруживать Ваш сайт через внешние ссылки. Google обычно обрабатывает отправку новой карты сайта в Search Console за 48–72 часа, хотя индексация всех страниц может занять больше времени в зависимости от объёма контента и сигналов качества.
Другой канал обнаружения — индексирующий API Google, который используют сервисы вроде IndexBolt для прямой отправки URL. В отличие от пассивного подхода через карту сайта, где Вы отправляете URL и ждёте, пока Google их просканирует, отправка через API сообщает Google, что нужно приоритетно просканировать конкретные URL немедленно. Для новых сайтов это может сжать первоначальный таймлайн индексации с недель до часов.
Технические предпосылки для нового сайта
Прежде чем сосредоточиться на обнаружении и ускорении индексации, нужно убедиться, что новый сайт технически настроен так, чтобы позволить Google его сканировать и индексировать. Многие новые сайты запускаются с оставшимися от разработки настройками, активно блокирующими поисковики.
Первая проверка — Ваш файл robots.txt. Откройте вашдомен.com/robots.txt в браузере. Если Вы видите User-agent: * и Disallow: /, Ваш сайт блокирует всем поисковым краулерам доступ к любой странице. Это распространённая конфигурация на этапе разработки, чтобы недоделанные сайты не индексировались, но её обязательно нужно убрать к запуску. Production-robots.txt должен разрешать сканирование всех страниц, которые Вы хотите видеть в индексе. Минимальный robots.txt для нового сайта: User-agent: *, Allow: / с указанием на карту сайта.
Вторая проверка — мета-теги robots. Просмотрите HTML-исходник главной и других ключевых страниц. Поищите слово noindex. Некоторые CMS-платформы и хостинг-провайдеры добавляют мета-тег noindex на сайты на этапе разработки или пробных периодов. В WordPress, например, есть чекбокс «Попросить поисковые системы не индексировать сайт» в разделе «Настройки → Чтение», который добавляет тег noindex на каждую страницу. Если он был включён на этапе разработки и не снят, Ваш сайт по дизайну невидим для Google.
Третья проверка — конфигурация DNS. Если домен был зарегистрирован недавно, распространение DNS может занять до 48 часов. В этот период Googlebot может не суметь разрешить доменное имя в IP-адрес и не просканирует Ваш сайт. Завершённость распространения DNS можно проверить онлайн-инструментами, опрашивающими DNS-серверы по всему миру.
Четвёртая проверка — HTTPS. Google сильно предпочитает HTTPS-сайты и может понижать в приоритете при индексации сайты, работающие только по HTTP. Убедитесь, что SSL-сертификат правильно установлен, сайт отвечает по HTTPS, а запросы по HTTP перенаправляются на HTTPS 301-редиректами. Неправильно настроенный SSL, вызывающий предупреждения браузера, также отпугнёт Google от индексации.
Пятая проверка — коды ответа сервера. Воспользуйтесь инструментом массовой проверки URL и убедитесь, что важные страницы возвращают код HTTP 200. Страницы, возвращающие 404, 500, 302 и другие коды кроме 200, не будут проиндексированы. Временно перегруженные серверы, возвращающие 503 во время сканирования Googlebot, заставят Google повторить попытку позже, но устойчивые серверные ошибки полностью предотвратят индексацию.
Настройка Google Search Console для новых доменов
Подтверждение в Google Search Console — действие наивысшего приоритета для любого нового сайта. Пока сайт не подтверждён в Search Console, у Вас нет способа отправить карту сайта, запросить индексацию конкретных URL или диагностировать проблемы сканирования и индексации.
Для новых доменов используйте тип ресурса «Доменный ресурс», а не «Префикс URL». Доменная проверка покрывает все варианты URL (HTTP, HTTPS, www, без www) и все поддомены в рамках одного ресурса. Это предотвращает распространённую ошибку — подтверждение только одного варианта URL и потерю данных индексации по остальным. Доменная проверка требует добавления DNS TXT-записи в настройки DNS Вашего домена. Точную запись предоставит Search Console в процессе подтверждения.
После подтверждения первое действие — отправка XML-карты сайта. Перейдите в «Файлы Sitemap» в боковом меню и введите URL карты сайта. Большинство CMS-платформ автоматически генерируют карту сайта по адресу /sitemap.xml. Если Ваша платформа не делает этого автоматически, используйте генератор карты сайта или плагин для её создания. Карта должна перечислять все страницы сайта, которые Вы хотите проиндексировать, вместе с датой последнего изменения для каждой.
Для нового сайта с небольшим количеством страниц (до 50) можно также использовать инструмент «Проверка URL» и запросить индексацию каждой страницы по отдельности. Введите URL, дождитесь завершения проверки и нажмите «Запросить индексирование». Это отправляет Google прямой сигнал приоритетно просканировать конкретный URL. Через этот метод можно отправлять примерно 10–20 индивидуальных запросов в день.
После отправки карты сайта и индивидуальных запросов индексации наблюдайте за отчётом «Страницы» в Search Console в последующие дни. Вы должны увидеть, как Ваши страницы переходят от статуса «Обнаружена» к «Просканирована» и затем «Проиндексирована». Если страницы остаются в статусе «Обнаружена» дольше недели, возможно, есть проблема качества или техническая проблема, мешающая Google вкладывать ресурсы сканирования в Ваш сайт.
Одна частая ловушка для владельцев новых сайтов — создание нескольких ресурсов Search Console для одного сайта. Не создавайте отдельные ресурсы для версий http://, https://, www и без www. Используйте единый доменный ресурс, покрывающий все варианты. Несколько ресурсов дробят Ваши данные и затрудняют диагностику.
Ускорение первоначальной индексации сверх Search Console
Search Console необходим, но не всегда достаточен для быстрой индексации нового сайта. Google может подтвердить отправку карты сайта, но всё равно потратить дни или недели, прежде чем реально просканирует и проиндексирует Ваши страницы. Несколько дополнительных стратегий могут ускорить процесс.
Самый эффективный метод ускорения — генерация внешних сигналов обнаружения. Google регулярно сканирует социальные сети, веб-каталоги и тематические форумы. Создание профилей в Google Business Profile (если применимо), в социальных сетях и в отраслевых каталогах порождает ссылки на Ваш домен, на которые Googlebot наткнётся при регулярном сканировании этих платформ. Эти ссылки служат двум целям: предоставляют пути обнаружения для Googlebot и обеспечивают первоначальные сигналы авторитетности, благодаря которым Google охотнее вкладывает ресурсы сканирования в Ваш домен.
Другая техника ускорения — публикация URL сайта на платформах с очень высокой частотой сканирования Google. Google сканирует Twitter, LinkedIn, Reddit и крупные форумы в течение часов после публикации нового контента. Поделившись URL главной с кратким описанием на этих платформах, Вы создаёте почти мгновенный сигнал обнаружения. Это не гарантирует мгновенной индексации, но добавляет Ваш URL в очередь сканирования Google через дополнительный канал.
Качество контента играет большую роль в скорости индексации для новых сайтов, чем для устоявшихся. Google более осторожен в индексации страниц с неизвестных доменов, потому что у него нет исторических данных о качестве. Новый сайт с десятью страницами развёрнутого, оригинального контента проиндексируется быстрее нового сайта с десятью страницами тонкого или шаблонного контента. Алгоритмы Google оценивают качество Ваших первых страниц, чтобы решить, сколько ресурсов сканирования заслуживает Ваш сайт в дальнейшем. Первое впечатление для новых доменов значит очень многое.
Для максимально быстрой индексации нового сайта используйте IndexBolt и отправляйте все URL страниц прямо в индексирующую инфраструктуру Google. Тогда как система ручных запросов в Search Console ограничивает Вас несколькими URL в день, массовая отправка через IndexBolt может обработать весь сайт одной партией. Для новых сайтов, которые должны быть видны в выдаче к моменту запуска продукта, открытия бизнеса или чувствительного ко времени события, такая прямая отправка полностью устраняет период ожидания.
Наращивание первоначального авторитета для устойчивой индексации
Загнать в индекс первые страницы — лишь первый шаг. Поддержание покрытия индексации по мере добавления новых страниц требует достаточного авторитета, чтобы Google считал Ваш домен заслуживающим регулярного сканирования. Без такого устойчивого интереса к сканированию каждая новая опубликованная страница может требовать ручных запросов индексации, что не масштабируется в долгосрочной перспективе.
Авторитет в контексте Google измеряется в первую очередь качеством и количеством внешних ссылок, ведущих на Ваш домен. У нового сайта с нулём обратных ссылок — околонулевой авторитет, что означает минимальное выделение ресурсов сканирования. По мере того как Вы наращиваете обратные ссылки с релевантных, авторитетных источников, Google увеличивает Ваш бюджет сканирования и посещает сайт чаще, быстрее обнаруживая и индексируя новые страницы.
Для новых сайтов самые эффективные стратегии наращивания авторитета сосредоточены на качестве, а не на количестве. Одна ссылка с уважаемого отраслевого издания стоит больше 100 ссылок из низкокачественных каталогов. Создавайте контент, на который люди в Вашей отрасли действительно хотят ссылаться: оригинальные исследования, исследования данных, полные руководства или полезные инструменты. Обращайтесь к контактам в отрасли, партнёрам и смежным бизнесам, которые могли бы счесть Ваш контент достаточно ценным, чтобы упомянуть.
Другой сигнал авторитетности — регулярная публикация контента. Google отслеживает, как часто сайт публикует новый контент, и соответствующим образом подстраивает расписание сканирования. Новый сайт, опубликовавший одну новую страницу и затем замерший на месяцы, получит минимум внимания сканирования в дальнейшем. Новый сайт, еженедельно публикующий новый качественный контент, увидит, как со временем его частота сканирования растёт, потому что Google понимает, что сайт регулярно производит контент, заслуживающий индексации.
Не пренебрегайте техническим качеством как фактором авторитета. Краулеры Google охотнее вкладывают ресурсы в сайты, отвечающие быстро и надёжно. Новый сайт на дешёвом shared-хостинге, который часто возвращает 503 или загружается по пять секунд, получит меньше инвестиций сканирования, чем новый сайт на надёжном хостинге с временем ответа меньше секунды. Вложитесь в приличный хостинг с первого дня — это напрямую влияет на скорость индексации в критичные первые месяцы.
Пошаговое руководство
Убедитесь, что robots.txt и мета-robots не блокируют индексацию
Откройте вашдомен.com/robots.txt и убедитесь, что правила Disallow: / нет. Просмотрите исходник главной (Ctrl+U) и поищите noindex на трёх-пяти ключевых страницах. Если нашли — уберите директивы в настройках CMS, SEO-плагина или хостинга. Пользователям WordPress: проверьте «Настройки → Чтение» и снимите галочку «Попросить поисковые системы не индексировать сайт».
Настройте и подтвердите Google Search Console
Зайдите на search.google.com/search-console и добавьте домен как доменный ресурс. Добавьте требуемую DNS TXT-запись через регистратора. Подтверждение завершается в течение нескольких часов (до 48 часов с учётом распространения DNS). Если подтверждение не проходит, убедитесь, что TXT-запись находится в правильной DNS-зоне и значение точно совпадает с тем, что выдал Google.
Создайте и отправьте XML-карту сайта
Откройте вашдомен.com/sitemap.xml и убедитесь, что все целевые страницы перечислены. Если карты сайта нет, установите плагин или используйте встроенный генератор Вашей CMS. В Search Console перейдите в «Файлы Sitemap», введите URL и отправьте. Зайдите через 24 часа и убедитесь, что Google прочитал карту и обнаружил Ваши URL.
Запросите индексацию самых важных страниц
В Google Search Console воспользуйтесь инструментом «Проверка URL», чтобы отправить запросы индексации для самых приоритетных страниц. Начните с главной, затем основных страниц услуг или товаров, затем страниц «О нас» и «Контакты». Введите каждый URL в инструмент, дождитесь завершения проверки и нажмите «Запросить индексирование». Google ограничивает эти запросы, поэтому распределите их на два-три дня, если у Вас больше 10–15 приоритетных страниц. Для более быстрой массовой отправки используйте IndexBolt и отправляйте все URL сайта одной партией без ручных лимитов.
Создайте внешние сигналы обнаружения
Заведите профили в Google Business Profile (если у Вас локальное присутствие), LinkedIn (страница компании), Twitter и любых отраслевых каталогах, релевантных Вашему бизнесу. На каждом профиле укажите полный URL сайта. Опубликуйте на каждой социальной платформе пост с упоминанием Вашего нового сайта и ссылкой на главную. Если у Вас есть существующие деловые связи, попросите партнёров или контакты в отрасли поставить ссылку на Ваш сайт со своих. Каждая внешняя ссылка создаёт путь обнаружения, по которому Googlebot может найти Ваш сайт независимо от отправок в Search Console.
Опубликуйте качественный первоначальный контент
Убедитесь, что сайт запускается как минимум с пятью-десятью страницами развёрнутого, оригинального контента. Тонкие страницы-заглушки сигнализируют Google, что сайт не готов к индексации. У каждой страницы должно быть хотя бы 500 слов уникального контента, правильная структура заголовков, релевантные изображения с alt-текстом и внутренние ссылки на другие страницы сайта. Если на сайте сейчас минимум контента, в приоритете создайте основные страницы, прежде чем агрессивно добиваться индексации. Google оценит качество сайта при первом сканировании, и негативное первое впечатление может снизить инвестиции сканирования на месяцы.
Следите за прогрессом индексации и разбирайте задержки
После выполнения предыдущих шагов ежедневно отслеживайте отчёт «Страницы» в Google Search Console первые две недели. Вы должны увидеть, как страницы переходят из «Обнаружена» в «Просканирована» за три-пять дней и из «Просканирована» в «Проиндексирована» за семь-четырнадцать дней для нового домена. Если страницы зависают в «Обнаружена» больше недели, возможно, у сайта технические проблемы, мешающие сканированию (проверьте логи сервера на посещения Googlebot). Если страницы в статусе «Просканирована, но пока не проиндексирована», Google посетил страницу, но счёл контент недостаточным. Улучшите качество и отправьте повторно. Отслеживайте количество проиндексированных страниц во времени и оперативно расследуйте любые остановки или падения.
Частые проблемы и способы их решения
Сайт уже месяц в сети, ноль страниц в индексе
Причина: Наиболее вероятная причина — сайт не зарегистрирован в Google Search Console и не отправлена карта сайта. Без этого и при отсутствии внешних обратных ссылок у Google нет способа обнаружить сайт. Дополнительные причины: правило Disallow в robots.txt, блокирующее всё сканирование, глобальный мета-тег noindex, оставшийся с разработки, или просроченный либо неправильно настроенный SSL-сертификат, мешающий Google загружать страницы.
Решение: Пройдите чек-лист технических предпосылок: убедитесь, что robots.txt разрешает сканирование, что тегов noindex нет, что SSL-сертификат валиден, зарегистрируйте сайт в Google Search Console как доменный ресурс, отправьте XML-карту сайта и запросите индексацию главной. Если эти шаги уже сделаны, проверьте логи доступа на посещения Googlebot. Если Googlebot вообще не приходит, возможно, файрвол или CDN на уровне сервера блокирует его диапазоны IP.
Главная проиндексирована, остальные страницы не появляются
Причина: Google обнаружил и проиндексировал главную (обычно первая страница, которую он сканирует), но не перешёл по внутренним ссылкам к другим страницам. Это бывает, когда внутренняя навигация использует JavaScript-ссылки, которые Google не разбирает, когда другие страницы существенно ниже по качеству, или когда главная неэффективно ссылается на другие страницы. Некоторые конструкторы создают одностраничные сайты, где весь контент находится на главной с якорными ссылками, и Google не видит причин сканировать дополнительные URL.
Решение: Убедитесь, что HTML-исходник главной содержит стандартные якорные ссылки `<a href>` на другие страницы. Проверьте, что у других страниц достаточно качественного контента для индексации. Отправьте URL отдельных страниц через инструмент «Проверка URL» в Google Search Console или через IndexBolt. Убедитесь, что карта сайта включает все страницы, которые Вы хотите видеть в индексе, а не только главную. Если используется JavaScript-фреймворк, проверьте, что навигационные ссылки рендерятся в серверном HTML.
Search Console показывает страницы как «Обнаружена», но никогда не сканирует
Причина: Google нашёл URL (через карту сайта или внутренние ссылки), но не выделил ресурсы сканирования, чтобы их реально получить. Это часто бывает у новых доменов с низким авторитетом — планировщик сканирования Google понижает приоритет неизвестных доменов. У сайта также может быть медленный ответ сервера, отбивающий желание выделять полосу сканирования, или сервер может ограничивать скорость запросов Googlebot.
Решение: Повысьте скорость ответа сервера. Краулер Google охотнее вкладывает ресурсы в быстро отвечающие серверы. Проверьте производительность хостинга и при необходимости обновитесь. Постройте хотя бы несколько качественных внешних ссылок на домен с устоявшихся сайтов. Используйте IndexBolt, чтобы отправить застрявшие URL напрямую на индексацию в обход очереди сканирования Google. Отслеживайте статистику сканирования в Search Console, чтобы понять, растёт ли частота сканирования со временем.
Домен был ранее в собственности и несёт санкции или плохую историю
Причина: Некоторые ранее использовавшиеся домены тянут за собой ручные меры, спам-санкции или негативные сигналы качества от предыдущих владельцев. Если домен раньше использовался для спама, фишинга или контент-ферм низкого качества, у Google может быть подавленная частота сканирования или индексации, ассоциированная с доменом. Это нечасто, но случается с купленными на аукционе освободившимися доменами.
Решение: Проверьте раздел «Безопасность и ручные меры» в Google Search Console на наличие ручных мер по домену. Если они есть, устраните проблемы из уведомления и подайте запрос на пересмотр. Если ручных мер нет, но Вы подозреваете негативную историю, проверьте Wayback Machine на предыдущий контент. В экстремальных случаях быстрее начать со свежего домена, чем реабилитировать оштрафованный. Создание качественного контента и легитимных обратных ссылок постепенно перекрывает старые негативные сигналы, но это может занять полгода и больше.
Страницы проиндексированы в Google, но не показываются ни по каким запросам
Причина: Быть в индексе — не то же самое, что ранжироваться. Страница может быть в индексе Google, но появляться на 50-й странице выдачи, фактически невидимой для пользователей. Новые сайты с нулевым авторитетом не будут ранжироваться по конкурентным запросам даже после индексации. Это не проблема индексации, а проблема ранжирования, и для новых сайтов это нормально.
Решение: Подтвердите индексацию, поискав точный title страницы в кавычках. Если страница появляется, она проиндексирована, но просто не ранжируется по более широким запросам. Сосредоточьтесь на наращивании тематического авторитета через регулярную публикацию контента и приобретение обратных ссылок. Поначалу нацеливайтесь на низкоконкурентные «длиннохвостые» ключевые слова, а не на конкурентные «головные» термины. По мере роста авторитета домена за месяцы ранжирование улучшится по всё более конкурентным запросам.
Советы профи
Запускаете новый сайт? Не ждите недели, пока Google Вас найдёт. IndexBolt отправляет каждую страницу нового сайта напрямую в конвейер индексации Google, обходя барьер обнаружения, который держит новые домены невидимыми. Пройдите путь от запуска до индексации за часы, а не за месяцы.
100 бесплатных кредитов. Без банковской карты. Результаты менее чем за 24 часа.
Часто задаваемые вопросы
Сколько обычно нужно времени, чтобы новый сайт появился в Google?+
При подтверждении в Search Console и отправке карты сайта главная может проиндексироваться за **3–7 дней**. Дополнительные страницы подтягиваются за **1–4 недели**. Без проактивной настройки новый сайт могут не обнаружить месяцами. Прямая отправка через IndexBolt или «Проверку URL» может сжать таймлайн до часов.
Реальна ли «песочница» Google? Намеренно ли Google задерживает новые сайты?+
Google никогда не подтверждал существование «песочницы». Видимая задержка вызвана тем, что у новых доменов **ноль авторитета, обратных ссылок и истории сканирования**. Страницы устоявшихся доменов естественным образом ранжируются выше. Новые сайты могут быстро попадать в индекс, но не будут ранжироваться по конкурентным запросам, пока авторитет не вырастет со временем.
Стоит ли купить старый домен, чтобы избежать задержек индексации?+
Это сопряжено с существенными рисками. Многие старые домены были брошены из-за **санкций или спамных ссылок**. Домен с плохой историей может оказаться сложнее проиндексировать, чем чистый новый. Покупая такой, изучите историю в Wayback Machine, проверьте качество обратных ссылок и убедитесь, что в Search Console нет ручных мер.
Нужны ли обратные ссылки только для индексации или только для ранжирования?+
Обратные ссылки строго не требуются для индексации. **Отправка карты сайта в Search Console** позволяет проиндексировать страницы без обратных ссылок. Однако обратные ссылки ускоряют индексацию, предоставляя пути обнаружения и увеличивая бюджет сканирования. Для устойчивой индексации новых страниц хотя бы несколько качественных обратных ссылок обеспечат регулярные посещения Google.
Я подтвердил сайт в Search Console и отправил карту сайта, но ничего не происходит. Что проверить?+
Подождите минимум **72 часа** после отправки. Затем проверьте отчёт «Файлы Sitemap» на ошибки. Если страницы остаются в статусе «Обнаружена», проверьте логи сервера на доступ Googlebot. Убедитесь, что ни файрвол, ни CDN не блокируют краулеров, что SSL валиден и robots.txt разрешает доступ. Отправьте приоритетные URL через «Проверку URL» или IndexBolt.