Перевели статью Ирины Хей для Search Engine Journal. Она рассказала, как избежать санкций за дублирование контента с помощью тега canonical и 301-го редиректа. Все с примерами и конкретными сценариями применения.
Дублированный контент – это проблема каждого вебмастера, с ней рано или поздно сталкиваются все. Само по себе дублирование контента не кажется чем-то преступным ни для Google, ни для других поисковиков. Однако, похожий или идентичный контент, размещенный по разным URL создает путаницу и проблемы с ранжированием.
Чтобы избежать дублирования контента, можно воспользоваться тегами canonical или 301-редиректом. Оба метода очень эффективны, если используются правильно. Эта статья поможет разобраться, в каких случаях применяется каждый подход.
Дублированный контент: это может случиться с каждым
Внутристраничная оптимизация проста и понятна любому владельцу сайта или SEO-специалисту. Это стандартные рекомендации, которые дают сами поисковые системы: правила заполнения метатегов, структурирования страниц и так далее. То же самое и с ключевыми словами – если с ними все хорошо, у сайта есть все шансы пробиться в топ выдачи.
Однако, когда дело доходит до различий между тегом canonical и редиректом, многие вебмастера и SEO-специалисты сталкиваются с проблемами. Не всегда понятно, когда их стоит применять, а неправильное использование этих инструментам ведет к нежелаемым результатам и снижению позиций в выдаче. Пример такой ситуации – попытка избежать дублирования контента на неиндексируемых элементах сайта. Разберемся, какие функции выполняют оба инструмента: редиректы и теги canonical.
Тег Canonical
Этот тег нужен, чтобы поисковые роботы индексировали только предпочитаемую, «оригинальную» версию страницы. Если на сайте есть две одинаковые страницы с разными URL, то вторая версия должна ссылаться на первую через тег canonical. Поисковый робот все равно зайдет на вторую, неоригинальную страницу, но индексировать ее не будет.
Тег canonical вписывается в блок head страницы, на уровне сервера изменять ничего не нужно. Как только робот заходит на сайт, он считывает тег и индексирует нужную страницу, прописанную в теге canonical. Есть хитрость: можно дублировать URL странички в теге, это поможет избежать плагиата.
Пример. У нас есть www,page.com/a и www.page.com/b. Контент на них полностью одинаков, но URL отличаются. На странице /b мы размещаем тег:
SEO-специалисты используют тег canonical, когда контент повторяется или когда невозможно сгенерировать уникальный URL. Например, чтобы страница была доступна:
- по разным URL (www.domain.de, domain.de, www.domain.de/index.html и так далее);
- со слэшами («/») или без;
- в разных форматах (версия для печати, PDF и так далее).
301 Редирект
Он используется, чтобы перенаправлять трафик с одного URL на другой и, обычно, пользователи не замечают переадресации. Каждый ссылка-редирект передает вес почти на 100%.
Чтобы применить 301-й редирект, владельцу сайта нужно настроить файл htacсess. Это нужно, чтобы сервер постоянно перенаправлял пользователей и поисковых роботов на новый URL. Работает это так: в начале браузер или поисковый робот посылает URL-запрос на сервер. Последний сравнивает запрос с данными из .htaccess и перенаправляет его на правильный URL, при условии что он есть в файле.
301-й редирект можно использовать по-разному. Обычно они применяются, когда изменяется URL страницы и юзабилити можен пострадать из-за ошибок сайта. Также, 301-й редиркт можно применять, чтобы избежать дублирования контента.
Пример:
У нас есть сайт http://page.com/ и нам нужно перенаправить пользователей по адресу http://www.page.com. В этом случае код в файле .htaccess выглядит вот так:
301-й редирект и тег Canonical в действии
Разберемся, в чем отличие тега canonical и 301-го редиректа на примерах
Сценарий 1: Ппохожие продукты с похожими описаниями в онлайн-магазине
С этой проблемой сталкиваются многие владельцы интернет-магазинов. В сети очень много магазинов с большим количеством похожих или одинаковых продуктов (цвет, название модели и так далее). Описания этих товаров очень похожи, но индексируются с разными URL.
Если в ссылке на продукт есть краткое описание товара, то пользователи знают, чего ожидать, кликнув по ней. С другой стороны, в глазах поисковиков разные, но похожие URL, ведущие на страницу схожих продуктов – это дублирующий контент.
Решение. Чтобы избежать дублирования контента, важно, чтобы Google индексировал только одну ссылку из нескольких. Самый простой способ добиться этого – применить тег canonical. Так Google узнает, какой URL индексировать, а какие нет.
Пример. У нас есть два сайта с похожими товарами:
myshop.com/shoe1-yellow and myshop.com/shoe1-blue
Если вы хотите, чтобы Google индексировал только страницу /shoe1-yellow и считал ее оригиналом, то на страницу /shoe1-blue нужно добавить тег:
Важно: по возможности используйте только полные URL в теге canonical.
Сценарий 2: Запуск новой версии веб-страницы
У вас есть блог и вы написали статью, которую нужно обновить и дополнить. В результате изменился и контнет, и URL. Чтобы не потерять существующий трафик, идущий на старую статью, нужно применить 301-й редирект. Вес ссылки почти полностью перейдет новому URL. Это особенно важно, если на старую статью ссылалось сразу несколько сайтов.
Решение. 301-й редирект без проблем перенаправит пользователей и поисковых роботов на новую страницу. Стоит также обновить перелинковку внутри сайта и обратные ссылки на внешних ресурсах, чтобы поисковая система «запомнила» новый URL на новый как можно скорее
Сценарий 3: «Переезд» сайта на протокол HTTPS
Многие сайты переходят на зашифрованный протокол обмена данными – HTTPS. Это повышает безопасность пользователей и репутацию сайта в глазах поисковиков. Однако, такой «переезд» может привести к дублированию контента, потому что Google одновременно индексирует и http-, и https-страницы.
Избежать проблем с переходом на протокол HTTPS опять поможет 301-й редирект. В этом случае весь трафик на http-версию сайта перенаправляется на новые URL с зашифрованным протоколом. Важно: редиректы могут сильно увеличить время загрузки страниц, если у вас большой сайт.
- Решение для небольших ресурсов. Трафик со всех старых страниц перенаправляется на HTTPS-версии через 301-й редирект.
- Решение для больших сайтов. Тег canonical ссылается на HTTPS-версии оригинальных URL. В этом случае поисковый робот быстрее проиндексирует новые версии страниц.
Сценарий 4: Товар больше не продается в интернет-магазине
Предложения онлайн магазинов постоянно меняются. Товар может просто закончиться или «выпасть» из каталога по другим причинам. Если URL продукта удален из-за его «пропажи», пользовательский опыт ухудшится, потому что сервер не сможет найти запрашиваемый URL и вместо него покажет страницу ошибки 404.
Решение. Можно сделать 301-й редирект на новый URL. Это может быть перенаправление на страницу категории, похожего продукта или новую карточку товара.
Если товара временно нет в каталоге, используйте 302-редирект. Он даст пользователю понять, что в будущем ситуация изменится и нужный ему продукт вернется в магазин.
Предложение. Если вы сознательно хотите показать страницу ошибки 404, оптимизируйте ее. Когда пользователь перейдет на страничку, он должен получить и информацию об ошибке, и список похожих продуктов, которые есть на сайте. Полезно интегрировать на 404 страницу поиск. Пример: сайт airbnb.
Сценарий 5: Перезапуск сайта с новыми URL
Если перед перезапуском сайт занимает верхние позиции выдачи, и вебмастеру, и владельцу захочется, чтобы он там и остался. Однако это не гарантировано. Если перезапустить сайт без подготовки, старые URL станут недоступными. Поисковая система индексирует точные URL страницы и если структура сайта поменяется, то большая часть ссылок исчезнет.
Решение для «переезда» на другой домен. Нужно настроить 301-й редирект со старого домена на новый. В этом случае пользователи переходят на новый URL без каких-либо проблем: сообщений об ошибках или недоступности сайта. Важно проверить, чтобы все редиректы были проставлены правильно.
Именно поэтому нужно собрать все старые адреса до перезапуска. Также стоит следить за правильной работой переадресации. Если что-то пойдет не так, вебмастер сможет быстро устранить проблему и минимизировать потери трафика.
Заключение
Тег Canonical и 301-й редирект – это полезные инструменты, которые помогают избегать дублирования контента и улучшать пользовательский опыт. Если применять их правильно, поисковые системы будут довольны вашим сайтом, а это хорошо повлияет на ранжирование в выдаче.
