Способов убрать URL из Google несколько. Какой использовать — зависит от обстоятельств.
И цель не убрать сам адрес, а понять, какой способ выбрать. Неправильный выбор приведет к проблемам с поисковым продвижением. Вот простая блок-схема, которая поможет определиться:
В этой статье вы узнаете:
Как проверить индексацию URL
Чтобы понять, есть ли адрес в индексе системы, специалист обычно просто вводит в строке нужный адрес. Проблема оператора поиска «site:» в том, что это специфический запрос. Он не даст точной информации об индексации урла. Он может показать адреса страниц, которые известны Google, но не отображаются в результатах поиска по обычному запросу.
Например, этот оператор все равно покажет в выдаче страницы с редиректом или являющиеся каноническими для других. Когда вы ищете конкретный сайт, Google может показать страницу искомого домена с контентом, заголовком и описанием другого ресурса.
Например, привычный moz.com раньше располался на seomoz.com. Обычные пользователи увидят в выдаче адрес moz.com. Если искать seomoz.com, несмотря на адрес сайта в выдаче, человек все равно попадет на moz.com:
Причина, по которой это важно. Специалисты могу удалить из индекса URL для старого сайта, а это приведет к уменьшению сигналов для поисковика. Есть много примеров, когда при переносе сайта на новый домен в выдаче присутствуют адреса старого сайта. Оптимизатор начинает вычищать якобы ненужное и вредит новому сайту.
Лучший способ проверить индексацию — Отчет об индексировании в GSC или инструмент для проверки отдельного адреса. Вы узнаете, проидексирована ли страницы, и как Google ее обрабатывает.
Если в инструменте Ahrefs вы найдете страницу в «Top Pages» или сводке о ранжировании ключевых слов, это означает, что наши роботы видели ее в выдаче по обычным запросам, следовательно, страница в индексе. Уточните дату, к которой относятся данные — могли произойти изменения, о которых в сервисе пока нет информации.
Если есть проблема с определенным адресом, и его нужно удалить из индекса, изучите блок-схему, а потом выберите нужный вариант удаления ниже.
Вариант 1. Удаление контента
Если вы удалите страницу, появится код ответа 404, либо 410. При следующем обходе сайта роботом, удаленная страница пропадет из индекса. До этого момента она останется в результатах поиска. Возможно, человек попадет на ее кэшированную версию.
Когда нужно выбрать другой метод:
- Необходимо мгновенное удаление: воспользоваться специальными инструментами.
- Нужно сохранить сигналы, например, ссылки: воспользоваться канонизацией.
- Хочется оставить доступ пользователей к странице: закрыть страницу от индексации.
Вариант 2. Noindex
Метатег сообщает роботам, что страницу не нужно индексировать. Работает для обычных страниц и дополнительных типов, например, для pdf-файлов. Чтобы теги были видны, у поисковика должен быть доступ к сканированию. Убедитесь, что они не заблокированы в robots.txt. Обратите внимание: удаление страницы из индекса может помешать передаче сигналов.
Как выглядит тег:
Для x-robots:
Когда нужно выбрать другой метод:
- Не нужен доступ к странице: см. следующий раздел про ограничение доступа.
- Нужно оставить все сигналы страницы: см. раздел про канонизацию.
Вариант 3. Ограничение доступа
Если хотите, чтобы страница осталось доступной для некоторых пользователей, но не для поисковиков, нужен один из трех вариантов:
- какой-то механизм входа в систему;
- HTTP-аутентификация, когда требуется пароль для входа;
- белый список IP-адресов — доступ будет только у пользователей с IP из списка.
Такой вариант подойдет для внутренних сетей, для тестирования и разработки сайтов, когда контент предназначен только для определенных людей (например, участников рабочей группы).
Группа пользователей сможет заходить на страницу, но поисковые системы к ней доступ не получат.
Когда нужно выбрать другой метод:
- Нужно немедленно удалить страницу: см. следующий раздел про инструмент удаление URL. Подойдет, когда нужно удалить контент, который уже есть в кэше, но вы не хотите, чтобы пользователи его увидели.
Вариант 4. Инструмент удаления URL
Речь про инструмент Google.
Следует сказать, что его применять стоит в экстренных ситуациях — когда произошла утечка личных данных, или информации, которая угрожает чьей-либо безопасности. При использовании инструмента Google продолжает видеть страницу и распознавать на ней контент. Просто сама страница не отображается в выдаче у пользователей.
Вариант 5. Тег canonical
У нас есть большое руководство по использованию этого тега.
Если есть несколько версий страницы, вам нужно объединить сигналы — например, ссылки на одну версию, нужна форма, по которой страницу можно канонизировать. Это предотвращает дублирование контента при объединении версий в один проиндексированный URL.
Несколько вариантов канонизации:
- Canonical. Указывает адрес как канонический, который вы хотите показывать. Если другие страницы являются полными дублями или похожи, все сработает. Если страницы разные, тег может не сработать. Это подсказка, а не директива.
- Редиректы. Самый популярный — 301. Гугл считает страницу, на которую он указывает, желательной для отображения в результатах. Для нее он учитывает все сигналы. 302 или временный редирект показывает поисковику, что вы хотите оставить в индексе первоначальный адрес страницы, и учитывать сигналы для нее.
- Обработка параметров URL. Параметр в адресе может указывать на разные версии страницы. Инструмент от Google позволяет указывать, как именно обрабатывать конкретные параметры, например, изменяют ли они контент на странице или просто нужны для отслеживания событий.
Как расставить приоритетность
Если у вас есть несколько страниц, которые нужно удалить из индекса, нужно расставить приоритеты.
Высокий приоритет: страницы, связанные с безопасностью или приватными данными — информации с личными данными человека, клиентские сводки и т. д.
Средний приоритет: контент, предназначенный для определенной группы пользователей — внутренние корпоративные порталы, регламенты, инструкции.
Низкий приоритет: страницы с дублирующимся контентом, доступные по нескольким адресам, по параметрическим URL, тестовые или необходимые для разработки.
Как избежать распространенных ошибок
Здесь поговорим о нескольких способах удаления страницы, которые приводят к грустным последствиям и покажем сценарий того, что происходит. Так вы поймете, что именно неверно.
Noindex в robots.txt
Хотя раньше Google поддерживает такое сочетание, оно никогда не было официальным стандартом. Многие сайты, которые запрещали индексирование в robots постоянно, сейчас находятся на 4 странице выдачи.
Блокировка обхода в robots.txt
Сканирование и индексирование — разные процессы. Даже если заблокировать сканирование страницы, при наличии внутренних или внешних ссылок поисковик все равно сможет ее проиндексировать.
Google не будет знать, что находится на странице, потому что он ее не просканирует. Но он в курсе, что страница существует, даже укажет ее заголовок в выдаче на основе анкорного текста в ссылке.
Nofollow
Его часто путают с noindex. На самом деле это подсказка, которую раньше успешно применяли для запрета индексирования. Сейчас это не работает, и Гугл все равно может индексировать страницы. Чтобы найти все ссылки nofollow, используйте фильтр в отчете Ahrefs:
Смысла указывать все ссылки на странице почти нет, поэтому число должно быть близким к нулю.
Отдельные ссылки можно найти в этом фильтре для Link Explorer:
Noindex и канонизация для другого URL одновременно
Сигналы противоречат друг другу. Первый говорит об удалении страницы из индекса, второй — что это версия, которую нужно проиндексировать. Это может работать для консолидации, потому что Google предпочитает игнорировать noindex и вместо него использует канонизацию в качестве основной директивы. Однако это не всегда именно так. Есть риск, что страницы неправильно объединятся друг с другом.
Вы можете найти неиндексированные страницы с каноническими ссылками, используя такой набор фильтров:
Запрет индексирования и ограничение сканирования
Два варианта, почему такое происходит:
- Страницы уже заблокированы, но проиндексированы. Оптимизатор может запретить индексирование и разблокировать поисковику возможность обхода, чтобы он считает запрет индексирования. Затем повторно блокируют обход.
- Оптимизаторы добавляют noindex для страниц, которые хотят удалить после того, как Гугл сканирует и обрабатывает тег, блокируют обход страниц.
В любом случае, итоговое состояние — блокировка обхода страницы. Если вы помните, ранее мы говорили, что сканирование и индексирование — разные процессы. И заблокированная от обхода страница все равно может оказаться в индексе.
Что делать, если ваш контент на чужом сайте?
Если вы — автор текста, который используется на чужом сайте, можно попытаться защитить свои авторские права. Можно использовать инструмент от Google, который запрашивает удаление любого материала, который защищен авторским правом.
Что делать, если информация о вас есть на чужом сайте?
Если вы в зоне ЕС, вы можете удалить контент, в котором есть информация о вас, согласно «праву быть забытым». Вы можете запросить удаление личной информации через эту форму.
Как удалить изображение
Для удаления изображений из Google проще использовать robots.txt. Хотя неофициальная возможность удалить картинку более в нем не присутствует, можно запретить сканирование изображения.
Для одного изображения:
Для всех:
Заключение
Удаление URL ситуативно. Для каждой причины — свой метод. Мы говорили о нескольких вариантах, если что-то непонятно — вернитесь к блок-схеме из начала статьи.
