Мы работаем не только в Моcкве, но и в других городах России:

Продвижение по трафику от 50 копеек за переход. Заказать

Паучье зрение или как поисковый робот видит страницу сайта?

Подписаться
Больше интересностей из блога студии SEMANTICA
Получайте эффективные советы по интернет-рекламе и SEO-оптимизации вашего сайта
ВКонтакте:
Facebook:
Twitter:
как робот видит страницу сайта

 

Роботы-краулеры — это своего рода автономные программы-браузеры. Они заходят на сайт, сканируют содержимое страниц, делают текстовую копию и отправляют в поисковую базу. От того что увидят краулеры на вашем сайте зависит его индексикация в поисковике. Есть также более узкопрофильные программы-пауки.

  • «Зеркальщики» — распознают повторяющиеся ресурсы.
  • «Дятлы» — определяют доступность сайта.
  • «Быстроботы» — роботы для считывания часто обновляемых ресурсов. А также программы для сканирования картинок, иконок, определения частоты визитов и других характеристик.

Что робот видит на сайте

  1. Текст ресурса.
  2. Внутренние и внешние ссылки.
  3. HTML-код страницы.
  4. Ответ сервера.
  5. Файл robots. txt — это основной документ для работы с пауком. В нем вы можете задать одни параметры для привлечения внимания робота, а другие наоборот закрыть от просмотра. Также при повторном заходе на сайт, краулер пользуется именно эти файлом.

В какой форме робот видит страницу сайта?

Есть несколько способов посмотреть на ресурс глазами программы. Если вы являетесь владельцем сайта, то для вас Google придумал Search Console.

  • Добавляем ресурс на сервис. Как это можно сделать читайте здесь.
  • После этого выбираем инструмент «Просмотреть как Googlebot».
  • Нажимаем «Получить и отобразить».После выполнения сканирования будет вот такой результат.

Этот способ отображает самую полную и верную картину того, как робот видит сайт. Если же вы не являетесь владельцем ресурса то, для вас есть другие варианты.

Самый простой — через сохраненную копию в поисковой системе.

    1. Вбиваете в поле поисковика «site:интересующий вас URL».
    2. Кликаете на зеленый треугольничек рядом ссылкой и открываете «Сохраненную копию».

      3. В ней выбираете текстовый режим и получаете вот такую картину.

Предположим, что ресурс ещё не проиндексирован, и вы не можете найти его в поисковике. В таком случае, чтобы узнать, как робот видит сайт, нужно выполнить следующий алгоритм.

  • Устанавливаем Mozila Firefox.
  • Добавляем в этот браузер плагин.
  • Под полем URL появится бар, в котором мы:
    в «Cookies» выбираем «Disable Cookies»;
    в «Disable» кликаем на «Disable JavaScript» и «Disable ALL JavaScript».
  • Обязательно перезагружаем страницу.
  • Все в том же инструменте:
    в «CSS» жмем на «Disable styles» и «Disable all styles»;
    и в «Images» ставим галочку на «Display ALT attributes» и «Disable ALL images». Готово!

как робот видит сайт

Зачем нужно проверять то, как робот видит сайт?

Когда поисковик видит на вашем сайте одну информацию, а пользователь другую — значит, ресурс появляется не в той выдаче. Соответственно, пользователь спешно покинет его, не найдя интересующей его информации. Если так будет делать большое количество посетителей, то ваш сайт опустится на самое дно выдачи.

Проверять нужно минимум 15−20 страниц сайта и стараться охватывать все типы страниц.

Бывает, что некоторые хитрецы специально проворачивают такие аферы. Ну, например, вместо сайта о мягких игрушках пиарят какое-нибудь казино «Кукан». Поисковик со временем это (в любом случае) обнаружит и отправит такой ресурс под фильтры.

Задать вопрос по статье
Подпишись на нашу группу в VK и получай экспертные статьи прямо в ленту!

Мы работаем не только в Моcкве, но и в других городах России: