Бесплатный вебинар «Продвижение сайтов медицинских и косметологических клиник» Зарегистрироваться
Елизавета Чекалина
Елизавета Чекалина
Вебмастер SEO-отдела

С точки зрения SEO дубли страниц негативно влияют на ранжирование. Присутствие их на сайте может грозить фильтрами от поисковых систем и потерей позиций. В этой статье мы разберем, как находить внутренние страницы-дубли и как с ними бороться.

Дубли страниц что это

Дубли страниц — это страницы с одинаковым наполнением (контент, товары, мета-теги). Они возникают из-за неправильной структуры сайта или генерируются CMS автоматически. 

К чему приводят дубли на сайте?

  • Фильтры поисковых систем. Чем больше дублей, тем выше риск попасть под АГС или Панду.
  • Низкая релевантность сайта. Страницы с одинаковым контентом теряют позиции и трафик в выдаче. 
  • Долгая индексация. Чем больше страниц на сайте, тем больше времени требуется поисковым ботам для его индексации.

Почему возникают дубли страниц

Выделяют 4 причины возникновения дублей страниц:

  • Дубли CMS. Автоматически генерируемые CMS сайта при неправильной настройке генерации URL. 

https://semantica.ru/

https://semantica.ru/index.php

  • Дубли технических разделов. Характерны для Bitrix и Joomla, они возникают вследствие того, что CMS создает отдельные страницы для функций сайта, таких как поиск, фильтрация или регистрация. 

https://semantica.ru/rarticles.php

https://semantica.ru/rarticles.php?ajax=Y 

  • Человеческий фактор. Невнимательность при размещении контента или добавлении карточек в интернет-магазине может привести к возникновению дублей.
  • Технические ошибки. Некорректная настройка CMS и генерации ссылок может приводить к сбою и образованию зацикленных ссылок.

https://semantica.ru/tools/tools/tools/ 

Какие виды дублей существуют

Существует два вида дублей — полные и частичные.

Полные дубли: 

  • Версия страницы http/https, c www и без, index.php/html, home.php/html, бесконечное число слэшей, доступность страницы в разных регистрах URL или с несуществующими в нем символами. 
  • UTM-метками и GET-параметрами (?, *). 
  • Одинаковое наполнение на страницах с разными URL-адресами.
  • Неправильно настроенная страница 404.

Частичные дубли:

  • Пагинация и фильтры.

https://semantica.ru/catalog/

https://semantica.ru/catalog/?page=2

  • Отзывы. При открытии вкладки “Отзывы” на карточке товара контент страницы сохраняется, а к URL добавляется GET-параметр. 
  • Страницы для скачивания. 

https://semantica.ru/stranica/

https://semantica.ru/stranica/print/ 

Дублирующийся контент

Такие дубли возникают при одинаковом описании товара на листинге в каталоге и в карточке товара.

И при размещении на сайте одинакового контента, который будет открываться по разным URL-адресам. 

Еще такие дубли возникают при дублировании контента с основной страницы на все  страницы сайта полностью. Лучше размещать такую информацию кратко или ссылкой на страницу с полным описанием.

Елизавета Чекалина
Елизавета Чекалина
Вебмастер

Также не следует копировать информацию с других сайтов, даже если это описание товара или услуги, которые вы тоже продаете, так как это тоже приводит к появлению дублей, но не только на сайте, а в рамках всего интернета.

URL с параметрами

К этому типу дублей относятся страницы пагинации, фильтры и UTM-метки, например, from, utm_content, utm_term. GET-параметры формируются после основного адреса страницы и начинаются со знака вопроса. 

Такие метки как, например, /?page=1 и /?sort=, автоматически генерируются CMS при переходе по страницам пагинации или при применении фильтров в каталоге.

UTM-метки добавляются на сайте при подключении рекламной кампании или сервисов для аналитики и отслеживания трафика. 

7 ошибок в SEO, которые допускают даже профессионалы
7 ошибок в SEO, которые допускают даже профессионалы
1. Неудачная структура внутренних ссылок Сайт развивается продолжительный период, и все это время вам придется встречаться с различными ошибками внутренних ссылок: от создания массового дублирования контента до возникновения 404 Errors. Я замечаю, что веб-мастера часто не берут во внимание внутренние структуры ссылок, а они представляют весомую ценность для стратегии UX и SEO. Внутренние ссылки дают 5 преимуществ вашему веб-ресурсу: Предоставляют посетителям дополнительную информацию для ознакомления или интерактивные материалы на сайте. Категорическая организация страниц по якорному тексту, оптимизированному для ключей. Обеспечивают…

Дубли с параметрами необходимо отслеживать и закрывать от индексации. Для этого используется директива Disallow или Clean-param в robots.txt. Также для устранения таких дублей подойдет тег canonical, где канонической будет страница без GET-параметра. 

Также для страниц пагинации можно прописать уникальные мета-теги.

Продвижение блога
Продвижение блога
от 46 200 ₽
Продвижение блога от студии SEMANTICA — увеличение потока пользователей на сайт и повышение экспертности бренда в глазах целевой аудитории. Мы создаем востребованный контент, отвечающий на запросы потенциальных клиентов, оптимизируем статьи и настраиваем коммерческие триггеры. Вы получаете ощутимый прирост переходов в каталог товаров и услуг из блогового раздела.

Дубли карточек товаров

Дубли карточек товаров — это один и тот же товар из каталога, доступный по разным URL-адресам.

Эти страницы дублируют друг друга, что негативно сказывается на их ранжировании. Для решения этой проблемы необходимо настроить 301 редирект со всех дублирующих страниц на основную.

Также дублями могут считаться карточки, имеющие незначительные отличия, например, некоторые характеристики. Поисковики могут выбрать одну из карточек и посчитать ее основной, а остальные признать дублями. Чтобы этого избежать, не следует создавать страницы для каждого типа товара (разный цвет или размер), а объединить их в один с возможностью выбора необходимой характеристики.

Региональные версии сайта

При использовании подпапок для региональных поддоменов, контент с основного сайта  полностью дублируется для регионов. Чтобы избежать такого дублирования, для регионов следует создавать поддомены и наполнять их оригинальным контентом.

Несколько категорий для одного товара

Часто в интернет-магазинах разные товары добавляются сразу в несколько категорий, например, https://semantica.ru/catalog/obuv/tufli/model1234 и https://semantica.ru/catalog/obuv/tufli-letnie/model1234. 

Чтобы такие дубли не возникали, необходимо  настроить корректную генерацию URL для товаров. Правильно будет так: все товары, которые добавлены в разные категории, имеют один адрес и открываются по нему.

Технические дубли

Наиболее распространенный тип дублей. Возникает из-за автогенерации таких дублей самой CMS. 

К ним относятся:

  • Дубли главного зеркала

https://semantica.ru/

https://www.semantica.ru/

или

https://semantica.ru/

http://semantica.ru/

  • Дубли со слешем и без него в конце URL.

https://semantica.ru/

https://semantica.ru

  • Дубли index.php, home.php, index.html, home.html.

https://semantica.ru/index.php 

  • Дубли с любым количеством слэшей между частями URL и рандомными символами. 

https://semantica.ru///////// 

https://semantica.ru/catalog/aksfhskdf

Для таких дублей подойдет настройка 301 редиректа с дубля на основную страницу.

Поиск дублей страниц

Для устранения дублей их нужно найти. Для этого можно воспользоваться следующими методами. 

Поиск "вручную"

Этот способ подходит для поиска страниц пагинации и фильтров. Зайдите в каталог на сайте и, воспользовавшись функцией сортировки или поиска по страницам, посмотрите добившиеся к URL параметры. 

Также вы можете воспользоваться поиском и найти дублирующиеся страницы пагинации через него. Для этого необходимо ввести в поисковой строке site:(доменное имя) inurl:(часть URL).

Яндекс.Вебмастер

Если сайт подключен к системе аналитики Я.Вебмастер вы можете отслеживать появляющиеся на нем дубли через него. 

Чтобы проверить, есть ли на сайте дубли, заходим в раздел “Индексирование” → “Страницы в поиске”.

Далее выбираем “Исключенные” → “Исключенные страницы” и сортируем все страницы по статусу “Дубль”.

Что такое Яндекс Вебмастер
Что такое Яндекс Вебмастер
Любой человек, кто занимается продвижением сайтов, должен знать, для чего нужен Яндекс Вебмастер. Со временем в интернет-магазине или в блоге могут появляться ошибки. Чаще всего они связаны с техническими сбоями или новыми требованиями к качеству контента. Яндекс проверяет ваш проект и указывает на недочеты, дает рекомендации по их устранению и принимает только исправленную работу. Словно учитель в школе. Вы исправляете ошибки. И сайт начинает лучше ранжироваться в поисковой системе. Его позиции растут, к вам приходит больше посетителей. Повышается конверсия, растет…

Сюда будут вынесены все дубли, встречающиеся на сайте — дубли карточек товаров, страницы пагинации, GET-параметры и UTM-метки, страницы с дублирующимся контентом. 

Для удобства Вебмастер указывает, какая страница признана поисковой системой основной, а на какой странице контент дублируется. 

Также дубли с GET-параметрами выделяются сервисом в критичные ошибки и выводятся на главной странице. 

Google Search Console

Чтобы проверить наличие дублей на сайте через GSC заходим в раздел “Покрытие” → ”Полный отчет”.

Далее выбиваем “Исключено”.

Если на сайте есть дубли, они будут вынесены в категорию “Страница является копией. Канонический вариант не выбран пользователем”.

Минус проверки дублей через GSC в том, что нет возможности увидеть основную страницу.

Apollon (поиск дублей)

Сервис подойдет для поиска дублей, генерируемых CMS. Для проверки нужно в поле ввода URL добавить основной URL страницы и начать проверку. 

Красным будут отмечены дубли, найденные на сайте. 

Как убрать дубли страниц

После того, как дубли страниц были найдены, нужно выбрать способ, как с ними бороться. Дальше расскажем о нескольких из них. 

301 редирект

301 редирект самый надежный способ устранения дублей. Такой способ подойдет для устранения дублей CMS или карточек товара, но не подойдет для дублей страниц с GET-параметрами и UTM-метками. 

  • Чтобы настроить 301 редирект, действуем следующим образом — выбираем страницу, с которой нужно настроить редирект, например, home.php и прописываем следующее правило в файле .htaccess:

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9} /home.php HTTP/

RewriteRule ^home.php$ http://VASHSITE/ [R=301,L]

  • Чтобы настроить редирект с неглавного зеркала, используйте такое правило:

RewriteCond %{HTTP_HOST} ^www\.(.*)$

RewriteRule^(.*)$ http://site.ru/ [L,R=301]

  • Для редиректа с дублирующих страниц прописываем правило: 

Redirect 301 /was.php https://semantica.ru/new.php

Адрес страницы перенаправления необходимо указывать полностью. 

Тег canonical

Такой способ подойдет для страниц пагинации, фильтров и меток. Чтобы настроить canonical для таких страниц, прописываем для страниц дубликатов правило: 

<link rel= “canonical” href= "https://semantica.ru/osnovnaya-stranica.html”&gt. 

Эти действия можно проделать вручную для каждой страницы, но чем больше страниц на сайте, тем больше это займет времени. Чтобы упростить и ускорить этот процесс, можно воспользоваться одним из следующих плагинов, например: SEO Link Canonical, Yoast SEO (для WordPress), Aimy Canonical PRO (для Joomla).

Disallow в robots.txt

В файле robots.txt содержится информация о том, как правильно индексировать сайт. Предназначается она поисковым ботам. . Здесь вы можете указать, на какие страницы ботам заходить не нужно. Такой способ подойдет для некоторых GET-параметров, например, /?from=, /?calltouch_tm=, /?mc_cid=. 

Чтобы запретить индексацию дублей через robots.txt, необходимо прописать в нем запрещающую директиву Disallow c указанием URL или его часть.

Clean-param

Директива для Яндекс, используемая для закрытия от индексации страниц рекламных кампаний. При настройке Clean-param такие страницы будут массово проверяться ботами и признаваться дублями.

Чтобы настроить Clean-param в файле robots.txt в  User-agent: Yandex, прописываем, например: 

Clean-param: utm_source=yandex&utm_medium=cpc&utm_campaign=audit

Это правило закрывает все страницы с параметром utm_source=yandex&utm_medium=cpc&utm_campaign=audit. 

Заключение

Дубли страниц, попавшие в поисковую выдачу, негативно влияют на ранжирование сайта. Они могут нанести урон не только в рамках конкретного URL, но и всего домена. Поэтому стоит отслеживать и вовремя устранять дубли страниц, ведь способов их обнаружения и устранения достаточно много. 

Получите профессиональный взгляд со стороны на свой проект

Специалисты студии SEMANTICA проведут комплексный анализ сайта по следующему плану:

– Технический аудит.
– Оптимизация.
– Коммерческие факторы.
– Внешние факторы.

Мы не просто говорим, в чем проблемы. Мы помогаем их решить