Индексация Magento в Google: полное руководство для Adobe Commerce и Open Source
Укротите конфигурируемые товары, многослойную навигацию и переписывание URL, чтобы каждая страница товара попала в индекс Google
В этой инструкции
Magento (Adobe Commerce / Magento Open Source) обслуживает сложные каталоги с тысячами товаров, конфигурируемыми вариантами и многослойной навигацией по атрибутам. Эта архитектурная мощь оборачивается ценой в индексации: Magento может генерировать десятки тысяч URL всего для нескольких сотен товаров, погребая настоящие страницы товаров под параметризованными URL фильтров и дублирующимися путями конфигурируемых/простых товаров.
Это руководство охватывает настройку SEO в Magento 2.4.x, XML-карты сайта, переписывание URL, canonical-теги для конфигурируемых товаров и исправления многослойной навигации. Управляете ли Вы 500 товарами или 50 000 SKU, Вы уйдёте с конкретным планом чистой и эффективной индексации в Google.
Архитектура URL в Magento и проблема дублирующегося контента
Magento генерирует URL через систему переписывания, которая сопоставляет чистые, дружественные для SEO пути со внутренней структурой маршрутов. У каждого товара и категории есть «URL Key», который становится их slug. Путь URL для товара зависит от его привязки к категориям и настройки «Use Categories Path for Product URLs» в Stores → Configuration → Catalog → Catalog → Search Engine Optimization.
Когда «Use Categories Path for Product URLs» установлено в Yes, товар «Blue Widget» в категории «Widgets» получает URL /widgets/blue-widget.html. Если тот же товар также назначен в категорию «Sale Items», он также получает /sale-items/blue-widget.html. И Magento всегда генерирует URL корневого уровня без префикса категории: /blue-widget.html. Это три URL для одного товара — и каждый возвращает статус 200 с одинаковым содержимым.
Конфигурируемые товары добавляют ещё один слой. У конфигурируемого товара вроде «Classic T-Shirt» есть связанные простые товары для каждого сочетания размера и цвета: «Classic T-Shirt — Red — Small», «Classic T-Shirt — Red — Medium» и так далее. По умолчанию у каждого простого товара есть собственный URL (/classic-t-shirt-red-small.html), хотя пользователи обычно покупают через страницу конфигурируемого товара, выбирая опции из выпадающих списков. Иметь индексированными и URL конфигурируемого товара, и 20 URL простых товаров — избыточно.
Система canonical-тегов Magento должна это решать. В Stores → Configuration → Catalog → Catalog → Search Engine Optimization настройка «Use Canonical Link Meta Tag For Products» (в значении Yes) добавляет <link rel=«canonical»> на страницы товаров. Для простых товаров, связанных с конфигурируемым родителем, canonical должен указывать на конфигурируемый товар. Однако стандартное поведение Magento для canonical-URL зависит от настроек «Product URL Suffix» и пути категории, и в некоторых конфигурациях canonical указывает на URL с префиксом категории, а фактически индексируется корневой путь, создавая противоречивые сигналы.
Настройка Catalog SEO в админ-панели
Перейдите в Stores → Configuration → Catalog → Catalog и разверните раздел «Search Engine Optimization». Это центр управления SEO-поведением Magento, и каждая настройка имеет значение.
«Product URL Suffix» по умолчанию равно .html. Сам по себе суффикс не влияет на ранжирование, но важна последовательность. Если Вы измените это после того, как магазин уже проиндексирован, изменятся URL всех товаров, что потребует массовых редиректов. Оставьте .html, если у Вас нет веской причины менять и плана редиректов.
«Category URL Suffix» также по умолчанию равно .html. То же предупреждение о последовательности.
«Use Categories Path for Product URLs» — самая значимая настройка. При значении Yes URL товаров включают путь категории (/electronics/phones/iphone-15-pro.html). При значении No у товаров плоские URL (/iphone-15-pro.html). Плоская структура URL (No) обычно лучше для SEO, потому что устраняет множественные URL, создаваемые, когда товары принадлежат нескольким категориям. Если Вы меняете эту настройку на работающем магазине, настройте переписывание URL (System → URL Rewrites), чтобы перенаправлять старые URL с префиксом категории на новые плоские URL.
«Use Canonical Link Meta Tag For Products» должно быть в Yes. Это добавляет canonical-тег на каждую страницу товара, указывающий на его основной URL. Для конфигурируемых товаров убедитесь, что canonical на каждой странице простого товара указывает на конфигурируемого родителя, посмотрев отрендеренный HTML.
«Use Canonical Link Meta Tag For Categories» также должно быть в Yes. Это предотвращает конкуренцию дублирующих страниц категорий, вызванных параметрами пагинации (например, /electronics.html?p=2), с основной страницей категории.
Ниже раздела SEO разверните «Product Fields Auto-Generation». Здесь задаётся шаблон для автогенерируемых мета-заголовков и описаний. Шаблон по умолчанию использует {{name}} для заголовка и сочетание {{name}} и {{description}} для мета-описания. Кастомизируйте эти шаблоны, чтобы включить название бренда и основные атрибуты товара, и получите уникальную, релевантную ключам метаинформацию в масштабе.
Генерация и оптимизация XML-карт сайта
В Magento есть встроенный генератор XML-карты сайта в Marketing → SEO & Search → Site Map. Нажмите «Add Sitemap», чтобы создать новую, указав имя файла (sitemap.xml) и путь (/). Magento генерирует карту сайта по содержимому каталога, включая товары, категории и CMS-страницы.
Настройте параметры генерации карты сайта в Stores → Configuration → Catalog → XML Sitemap. В разделе «Categories Options» установите Frequency на weekly и Priority на 0.5. В «Products Options» установите Frequency на daily (если каталог часто меняется) или weekly, а Priority на 1.0 для товаров (Ваши «денежные» страницы). В «CMS Pages Options» установите Frequency на monthly и Priority на 0.25. Эти значения помогают Googlebot расставлять приоритеты сканирования.
В «Generation Settings» включите «Enabled» (Yes), установите «Start Time» на непиковый час (например, 03:00 по часовому поясу Вашего сервера) и Frequency на Daily. Magento регенерирует карту сайта по этому расписанию через систему cron. Убедитесь, что cron Magento работает (php bin/magento cron:run или настройка в crontab хостинга), иначе карта сайта никогда не будет обновляться автоматически.
Для магазинов с более чем 50 000 URL (распространено для крупных каталогов) Magento автоматически разбивает карту сайта на несколько файлов с индексом sitemap. Убедитесь, что это работает, проверив, что /sitemap.xml — это индекс sitemap, указывающий на отдельные файлы вроде /sitemap-1-1.xml, /sitemap-1-2.xml и т. д.
Критически важно: карта сайта Magento включает каждый URL товара, включая простые товары, связанные с конфигурируемыми родителями. Если у Вас 500 конфигурируемых товаров и в среднем по 10 простых на каждый, Ваша карта сайта содержит 5500 URL товаров. URL простых товаров часто представляют собой тонкие страницы (идентичные конфигурируемому родителю, но без переключателя опций). Просмотрите свою карту сайта и рассмотрите возможность исключить простые товары, имеющие конфигурируемых родителей, с помощью стороннего расширения, добавляющего такой фильтр. Альтернативно, убедитесь, что у простых товаров с конфигурируемыми родителями есть canonical-теги, указывающие на родителя, чтобы даже если Google найдёт их в карте сайта, он консолидировал всё в страницу конфигурируемого товара.
Укрощение многослойной навигации ради бюджета сканирования
Многослойная навигация (или фасетная) — это система фильтров в левой боковой панели Magento на страницах категорий. Покупатели фильтруют по диапазону цен, цвету, размеру, бренду, материалу и любому другому атрибуту товара, который Вы настроили как фильтруемый. Каждая комбинация фильтров добавляет к URL параметры: /shoes.html?color=red&size=10&price=50-100.
Комбинаторный взрыв ошеломителен. Если у категории 5 фильтруемых атрибутов в среднем по 8 значений, общее число комбинаций URL фильтров превышает 32 000 — для одной категории. Умножьте на 50 категорий, и у Вас более 1,6 миллиона потенциальных URL. Google попытается просканировать значительную часть из них, выжигая бюджет сканирования и потенциально вызывая снижение частоты сканирования.
Magento плохо справляется с этим из коробки. Стандартное поведение разрешает все URL фильтров сканировать, индексировать и иногда даже включать во внутренние ссылки. Нужна многослойная защита:
Во-первых, добавьте мета-тег robots с noindex,follow на все страницы результатов многослойной навигации. Это можно сделать кастомным модулем или с помощью расширения вроде Amasty Improved Layered Navigation, в котором есть SEO-настройки для управления индексацией страниц фильтров. Директива «follow» обеспечивает, что Google продолжает обнаруживать страницы товаров через результаты фильтров, но не индексирует сами страницы фильтров.
Во-вторых, добавьте canonical-теги на все отфильтрованные страницы, указывающие на базовый URL категории. Встроенная система canonical Magento это делает, если включено «Use Canonical Link Meta Tag For Categories», но проверьте реализацию — некоторые версии Magento или сторонние темы переопределяют это поведение.
В-третьих, используйте robots.txt, чтобы заблокировать самые проблемные паттерны параметров. Добавьте правила Disallow для комбинаций параметров, генерирующих больше всего URL: Disallow: /*?color=, Disallow: /*?price= и т. д. Будьте осторожны и не блокируйте параметры, относящиеся к пагинации (?p=), если Вы не используете rel=next/prev или canonical-теги для обработки постраничных страниц категорий.
В-четвёртых, рассмотрите многослойную навигацию на AJAX, которая вообще не меняет URL. Контент страницы обновляется динамически, но URL остаётся базовым URL категории. Это полностью устраняет URL фильтров с точки зрения Google.
Переписывание URL и управление редиректами
Система переписывания URL в Magento (Marketing → SEO & Search → URL Rewrites) одновременно мощна и опасна. Каждый раз, когда Вы создаёте или меняете URL-ключ товара или категории, Magento генерирует записи переписывания URL. Со временем большой каталог накапливает тысячи и даже сотни тысяч переписываний URL, что замедляет процесс разрешения URL и может приводить к цепочкам редиректов.
Когда Вы меняете URL-ключ товара с «old-widget» на «new-widget», Magento создаёт 301-редирект с /old-widget.html на /new-widget.html. Если позже Вы измените его снова на «updated-widget», Magento создаст ещё один редирект с /new-widget.html на /updated-widget.html. Теперь /old-widget.html перенаправляет на /new-widget.html, который перенаправляет на /updated-widget.html — цепочка редиректов. Google проходит цепочки глубиной до 5 редиректов, но штрафует эффективность сканирования за каждый переход.
Периодически чистите цепочки редиректов, перейдя в Marketing → URL Rewrites, фильтруя по типу редиректа (301 или 302) и проверяя цепочки. Также можно выполнить CLI-команду php bin/magento catalog:url-rewrites:regenerate для регенерации всех переписываний URL с нуля, устранив цепочки. Будьте осторожны: команда удаляет все кастомные переписывания URL, поэтому задокументируйте любые ручные переписывания до запуска.
Для магазинов, мигрировавших с Magento 1 на Magento 2, смена структуры URL создаёт массовую потребность в редиректах. Magento 1 использовал URL вида /catalog/product/view/id/42, тогда как Magento 2 использует чистые URL-ключи. Если Вы не настроили исчерпывающие 301-редиректы при миграции, Ваши старые URL могут возвращать 404. Создайте карту переписывания URL (в некоторых расширениях поддерживается импорт из CSV), сопоставляющую каждый URL Magento 1 с эквивалентом в Magento 2.
Представления магазина (store views) добавляют ещё один слой URL. Если у Вас многоязычный магазин с представлениями для английского (/en/) и французского (/fr/), у каждого товара отдельные URL-ключи для каждого представления. Убедитесь, что hreflang-теги присутствуют (через расширение Magento или кастомную реализацию), чтобы Google знал, какое представление отдавать для каждой пары язык/регион.
Оптимизация производительности для более быстрого сканирования
Magento печально известен медленной загрузкой страниц, особенно на shared-хостинге или без должной оптимизации. Скорость страницы напрямую влияет на бюджет сканирования: Google выделяет меньше времени на сканирование медленным сайтам. Если магазин Magento отдаёт начальный HTML за 4–5 секунд, Googlebot будет сканировать меньше страниц за сессию, потенциально оставляя части каталога непроиндексированными.
Full Page Cache (FPC) необходим. Magento Open Source включает встроенный FPC на файловой системе, но для продакшен-магазинов используйте Varnish как бэкенд FPC. Magento поставляется с файлом VCL-конфигурации Varnish (app/etc/varnish*.vcl), который Вы разворачиваете в своём инстансе Varnish. С Varnish закешированные страницы отвечают менее чем за 100 миллисекунд — это драматическое улучшение, напрямую увеличивающее число страниц, которые Googlebot может просканировать за сессию.
Включите бандлинг JavaScript и CSS в Stores → Configuration → Advanced → Developer → JavaScript Settings и CSS Settings. Включите «Merge JavaScript Files», «Enable JavaScript Bundling» (с осторожностью — тщательно тестируйте, так как может увеличить начальную загрузку на некоторых страницах) и «Minify JavaScript Files». То же для CSS. В продакшен-режиме (php bin/magento deploy:mode:set production) Magento предварительно компилирует статический контент для максимальной производительности.
Оптимизация изображений критична для страниц товаров. Установите модуль конвертации в WebP или используйте CDN с автоматической оптимизацией изображений (например, Cloudflare или Fastly). Magento 2.4+ включает встроенную поддержку ленивой загрузки изображений товаров на страницах категорий, снижая начальный вес страницы.
Redis для хранения кеша и сессий устраняет узкие места ввода-вывода файловой системы. Настройте Redis в app/etc/env.php и для кеша по умолчанию, и для кеша сессий. Это значительно сокращает время генерации некешированных страниц (когда Googlebot попадает на страницу, которой ещё нет в Varnish).
Пошаговое руководство
Настройте параметры Catalog SEO
Перейдите в Stores → Configuration → Catalog → Catalog → Search Engine Optimization. Установите суффиксы URL в .html. Установите Use Categories Path for Product URLs в No. Включите canonical-теги и для товаров, и для категорий. Кастомизируйте шаблоны Product Fields Auto-Generation (например, {{name}} — {{sku}} | YourStore). Сохраните и сбросьте кеш.
Сгенерируйте и отправьте Вашу XML-карту сайта
Перейдите в Marketing → SEO & Search → Site Map и нажмите «Add Sitemap». Установите имя файла в sitemap.xml и путь в /. Сохраните и нажмите «Generate». Затем настройте автоматическую регенерацию в Stores → Configuration → Catalog → XML Sitemap. В «Generation Settings» установите Enabled в Yes, Start Time на непиковый час и Frequency на Daily. Убедитесь, что cron Magento работает, выполнив php bin/magento cron:status из командной строки. Откройте URL своей карты сайта (https://yourstore.com/sitemap.xml) в браузере и проверьте, что в ней есть Ваши товары и категории. Отправьте этот URL в Google Search Console в разделе «Файлы Sitemap».
Разберитесь с дублированием URL конфигурируемых и простых товаров
Отфильтруйте Catalog → Products по типу «Simple». Для простых товаров, связанных с конфигурируемыми родителями, установите Visibility в Not Visible Individually — это удалит их из поиска, категорий и карты сайта, оставив доступными для покупки через родителя. Убедитесь, что исключённые простые товары не появляются в карте сайта и что у оставшихся страниц простых товаров canonical указывает на конфигурируемого родителя.
Заблокируйте URL многослойной навигации от индексации
Добавьте правила в robots.txt, чтобы блокировать URL с параметрами фильтров. Перейдите в корневую директорию Magento и отредактируйте robots.txt, добавив: Disallow: /*?*color=, Disallow: /*?*size=, Disallow: /*?*price= и аналогичные паттерны для каждого фильтруемого атрибута. Для более точного контроля установите расширение вроде Amasty Improved Layered Navigation или Mirasvit SEO, которое добавляет мета-теги noindex к отфильтрованным страницам, сохраняя директивы follow. После внедрения используйте «Проверку URL» в Google Search Console, чтобы убедиться, что отфильтрованные URL показывают «Исключена тегом noindex», а не индексируются.
Почистите переписывания URL и настройте редиректы
Откройте Marketing → URL Rewrites и отфильтруйте по типу редиректа. Исправьте цепочки, где A перенаправляет на B, затем на C, — направьте A прямо на C. Для массовой очистки запустите php bin/magento catalog:url-rewrites:regenerate (сначала задокументируйте кастомные переписывания). Для миграций с Magento 1 создайте 301-редиректы для каждого старого паттерна URL. Проверяйте через curl -I, что возвращается статус 301.
Оптимизируйте скорость страниц для эффективности сканирования
Переключите Magento в продакшен-режим (php bin/magento deploy:mode:set production), если это ещё не сделано. Включите Varnish Full Page Cache в Stores → Configuration → Advanced → System → Full Page Cache, установите «Caching Application» в Varnish и разверните VCL-файл Varnish. Включите объединение и минификацию JavaScript и CSS в Stores → Configuration → Advanced → Developer. Настройте Redis для кеша и сессий в app/etc/env.php. Разверните статический контент (php bin/magento setup:static-content:deploy) и проверьте время загрузки страниц в Google PageSpeed Insights. Стремитесь к времени ответа сервера (Time to First Byte) менее 500 мс для закешированных страниц и менее 2 секунд для незакешированных.
Отправьте страницы товаров через IndexBolt и отслеживайте результат
Отправляйте через IndexBolt высокомаржинальные товары, сезонные коллекции и новинки. Используйте Instant mode для флэш-распродаж и запусков товаров, где важно время. Отслеживайте отчёт «Страницы» в Google Search Console — фильтрация URL по статусу «Просканирована, не проиндексирована» подсказывает, что блокировку многослойной навигации нужно усилить.
Частые проблемы и способы их решения
Многослойная навигация создаёт тысячи индексируемых URL фильтров
Причина: Каждая комбинация фильтруемых атрибутов (цвет, размер, цена, бренд) генерирует уникальный URL с параметрами запроса. Стандартная конфигурация Magento не добавляет к этим страницам noindex и не блокирует их в robots.txt. Одна категория с 5 атрибутами фильтра и 8 значениями в каждом даёт более 32 000 комбинаций URL, умноженных по всем категориям.
Решение: Реализуйте трёхслойную защиту: (1) добавьте мета-теги noindex,follow на все отфильтрованные страницы через SEO-расширение Magento или кастомный модуль; (2) задайте canonical-теги на отфильтрованных страницах, указывающие на базовый URL категории; (3) заблокируйте самые «плодовитые» параметры фильтров в robots.txt правилами Disallow. Самое эффективное решение — перейти на многослойную навигацию на AJAX, которая обновляет контент без изменения URL.
Страницы конфигурируемых и простых товаров создают дублирующийся контент
Причина: Magento создаёт отдельные URL и для конфигурируемого товара (/classic-tshirt.html), и для каждого связанного простого товара (/classic-tshirt-red-small.html, /classic-tshirt-blue-medium.html и т. д.). И страница конфигурируемого, и страницы простых товаров показывают одинаковое описание, изображения и характеристики — единственное отличие в том, что на странице простого товара опции предвыбраны.
Решение: Установите видимость всех простых товаров, связанных с конфигурируемыми родителями, в «Not Visible Individually» в редакторе товара. Это не даст им появляться в листингах категорий, результатах поиска и карте сайта. Убедитесь, что URL простых товаров либо возвращают 404, либо имеют canonical-теги, указывающие на конфигурируемого родителя. Если простые товары должны оставаться видимыми для прямых ссылок (например, из PPC-кампаний), убедитесь, что их canonical-тег указывает на конфигурируемого родителя.
Пагинация категорий создаёт дублирующиеся или тонкие страницы
Причина: Страницы категорий со множеством товаров разбиты на страницы (/shoes.html?p=2, /shoes.html?p=3 и т. д.). Каждая страница пагинации показывает другое подмножество товаров, но разделяет заголовок и мета-описание с первой страницей. Google может интерпретировать их как дублирующие тонкие страницы.
Решение: Убедитесь, что canonical-тег Magento для категорий указывает с постраничных страниц обратно на первую страницу (поведение по умолчанию, когда включено «Use Canonical Link Meta Tag For Categories»). Альтернативно, реализуйте самоссылающиеся canonical-URL на каждой постраничной странице и используйте контент уникальных листингов товаров каждой страницы в качестве отличительного содержимого. Увеличьте количество товаров на странице (Stores → Configuration → Catalog → Storefront → Products per Page), чтобы сократить общее число постраничных страниц.
Медленная загрузка страниц заставляет Google снижать частоту сканирования
Причина: Неоптимизированные установки Magento, особенно на shared-хостинге без Varnish или Redis, часто имеют время ответа сервера, превышающее 3–4 секунды. Googlebot измеряет время ответа по каждому URL и снижает частоту сканирования для медленных сайтов, а значит, со временем меньше Ваших страниц будет просканировано и проиндексировано.
Решение: Включите Varnish Full Page Cache для времени ответа менее 100 мс на закешированных страницах. Настройте Redis для хранения кеша и сессий. Переключитесь в продакшен-режим и разверните статический контент. Оптимизируйте изображения с конвертацией в WebP. Включите плоские таблицы каталога (Stores → Configuration → Catalog → Storefront) для более быстрой генерации страниц категорий. Если Вы на shared-хостинге, рассмотрите переход к специализированному хостинг-провайдеру Magento, у которого в стеке есть Varnish и Redis.
URL товара меняется при перемещении товара между категориями
Причина: Когда «Use Categories Path for Product URLs» в Yes и Вы переносите товар из одной категории в другую (или добавляете в дополнительную), путь URL меняется. Magento может создать 301-редирект со старого пути на новый, а может и нет — в зависимости от Ваших настроек в Stores → Configuration → Catalog → Catalog → Search Engine Optimization → «Create Permanent Redirect for URLs if URL Key Changed».
Решение: Установите «Use Categories Path for Product URLs» в No, чтобы URL товаров не зависели от категорий (просто /product-url-key.html). Если пути категорий обязательны, убедитесь, что «Create Permanent Redirect for URLs if URL Key Changed» в Yes, и проверьте раздел URL Rewrites после перемещения товаров, чтобы убедиться, что редиректы были созданы. Для массовых реорганизаций категорий используйте CLI-команду catalog:url-rewrites:regenerate после переноса, чтобы все переписывания были обновлены.
Советы профи
Огромным каталогам Magento могут потребоваться недели, чтобы Google полностью их просканировал. Используйте IndexBolt, чтобы фасттреком отправить Ваши самые ценные страницы товаров и новые коллекции прямо в индекс Google — критически важно для сезонных запусков и флэш-распродаж.
100 бесплатных кредитов. Без банковской карты. Результаты менее чем за 24 часа.
Часто задаваемые вопросы
Magento автоматически генерирует карту сайта?+
В Magento есть встроенный генератор XML-карты сайта, но он не включён по умолчанию. Нужно создать запись карты сайта в Marketing → SEO & Search → Site Map и настроить автоматическую генерацию в Stores → Configuration → Catalog → XML Sitemap. Для автоматической регенерации Magento требует работающую систему cron — без неё карта сайта генерируется только тогда, когда Вы вручную нажимаете Generate в админке.
Стоит ли использовать категории в URL товаров Magento?+
Для большинства магазинов установка «Use Categories Path for Product URLs» в No лучше для SEO. При значении Yes товары, привязанные к нескольким категориям, генерируют несколько URL, создавая проблемы дублирующегося контента. Плоская структура URL (/product-name.html) проще, избегает дублирования и не страдает от реорганизаций категорий. Единственный случай, когда пути категорий в URL полезны, — когда у Вас очень упорядоченное, неглубокое дерево категорий и каждый товар принадлежит ровно одной категории.
Как заниматься SEO конфигурируемых товаров в Magento?+
Установите видимость всех простых товаров, связанных с конфигурируемыми родителями, в «Not Visible Individually». Это удалит простые товары из листингов категорий, внутреннего поиска и карты сайта. Страница конфигурируемого товара, где покупатели выбирают опции вроде размера и цвета, должна быть единственной индексируемой. Убедитесь, что у конфигурируемого товара исчерпывающая метаинформация, уникальные описания и все релевантные ключевые слова. Если Вам нужны прямые URL для простых товаров (например, для Google Shopping), оставьте их видимыми, но добавьте canonical-теги, указывающие на конфигурируемого родителя.
Почему в индексе Google появляются тысячи URL фильтров?+
Многослойная навигация Magento генерирует уникальные URL для каждой комбинации фильтров (например, /shoes.html?color=red&size=10). Без явной блокировки Googlebot обнаруживает и индексирует эти URL через внутренние ссылки на страницах категорий. Чтобы это исправить, заблокируйте параметры фильтров в robots.txt, добавьте мета-теги noindex на отфильтрованные страницы через SEO-расширение Magento и задайте canonical-теги на отфильтрованных страницах, указывающие на базовый URL категории. Рассмотрите переход на многослойную навигацию на AJAX, чтобы полностью устранить URL фильтров.
Как Full Page Cache в Magento влияет на Googlebot?+
Full Page Cache (особенно Varnish) чрезвычайно полезен для Googlebot. Закешированные страницы отвечают менее чем за 100 миллисекунд, позволяя Googlebot сканировать значительно больше страниц за сессию. Varnish отдаёт Googlebot тот же полностью отрендеренный HTML, что и обычным посетителям, поэтому различий в рендеринге нет. Убедитесь, что конфигурация Varnish не кеширует разный контент по user-agent — Googlebot должен получать ту же закешированную страницу, что и любой другой посетитель. Некоторые расширения Magento некорректно варьируют кеш по user-agent, из-за чего Googlebot может видеть другой контент.
Может ли IndexBolt помочь с индексацией страниц товаров Magento?+
Да, IndexBolt особенно ценен для магазинов Magento из-за огромного количества страниц товаров и ограничений бюджета сканирования. Вместо того чтобы ждать, пока Google обнаружит и проиндексирует новые товары через естественное сканирование (что для крупных каталогов может занимать недели), Вы можете отправлять URL товаров напрямую через IndexBolt. Это особенно полезно для запусков новых товаров, сезонных коллекций и пополнения остатков, которые должны быстро появиться в поисковой выдаче. Используйте Normal mode для рутинных добавлений и Instant mode для приоритетных запусков.