Мы работаем не только в Моcкве, но и в других городах России:

Продвижение по трафику от 50 копеек за переход. Заказать

Диагностика сайта: правильное индексирование проекта

Подписаться
Больше интересностей из блога студии SEMANTICA
Получайте эффективные советы по интернет-рекламе и SEO-оптимизации вашего сайта
ВКонтакте:
Facebook:
Twitter:
диагностика сайта

В вечной гонке продвижения вашего интернет-проекта, не стоит забывать о различных нюансах, которые накапливаются лавинообразно. Главное, вовремя не упустить их из виду. Для этого желательно периодически проводить диагностику сайтов по индексации страниц. В сегодняшнем материале мне бы хотелось поговорить о том, какие испытания ложатся на плечи SEO оптимизатору, как проверить индексирование в поиске и какие инструменты нам в этом помогут.

 

Для чего нужна индексация?

Как поисковику узнать, что на вашем сайте обновился контент? Появились новые услуги и товары? Вы написали новый пост в блог? Для этого используются поисковые роботы, в чью работу входит бесконечное перемещение по интернету и сканирование, сканирование, сканирование бесчисленных страниц сайта. Отсканировав сайт, робот передает данные в поисковик и страницы через некоторое время появляется в выдаче.

 

Как можно повлиять на индексирование сайта?

На самом деле, если ваш сайт не попал под фильтр, то рано или поздно новый контент будет проиндексирован. Однако, есть способы сообщить поисковому роботу о обновлении информации на сайте и повлиять на скорость индексирования.

  1. Если вы только создали сайт или запустили проект на новом домене, сообщите о нем поисковикам. Это можно сделать с помощью специальных сервисов от Яндекса и Гугла. Для работы с сервисами необходима авторизация.

Яндекс.Addurl  

693238c3eb

Google.Addurl

e67800ff45

2. Создание и использование карты сайта (sitemap).

В sitemap прописывается список всех внутренних страниц сайта как старых, так и новых. Также указывается время создания страницы и приоритет. Очень важно верно выставить приоритеты для страниц, чтобы робот понимал, какие из них обновляются чаще и что индексировать в следующий раз в первую очередь.

Есть множество сервисов, плагинов для генерации карты сайта. Приведу в качестве примера лишь один из них.

MySiteMapGenerator  

b336b5a613

После выбора нужных настроек на почту придет сгенерированный файл, который необходимо загрузить в корень сайта.

вашсайт.ru/sitemap.xml

3. Использование robots.txt

Robots.txt — это специальный файл, который используют поисковые роботы. В самом файле нужно указать параметры для правильного индексирования. В файле можно с помощью директивы disallow скрыть от роботов и пользователей системные страницы, страницы с результатами поиска по сайту, дубли страниц, логи и т.д. Также в файле прописывается основной хост сайта и ссылка на sitemap.

 

Как проверить хорошо ли проиндексирован сайт?

Лучший способ проверки индексации сайтов — использовать функционал самих поисковых систем.

Быстрый способ без авторизации в сервисах поисковиков:

  1. Проверка количества проиндексированных страниц в Яндексе. Вводим в поисковую строку специальный запрос: url:вашсайт.ru*
34068db6e5

     2. Проверка кол-ва проиндексированных страниц в Google. Также вводим в поисковую строку специальный запрос: site:http://вашсайт.ru

63a8ce8ae4

Для получения более подробной информации, необходимо добавить ваш сайт в вебмастер Яндекса и Гугла.

 

Яндекс.Вебмастер

Используем следующую ссылку для привязки сайта к аккаунту. Подтверждаем права на сайт удобным для себя способом. После этих операций, перед вами открывается полный функционал Вебмастера по проекту.

482b38e93b

Во вкладке “Индексирование сайта” наглядно показаны видимая роботом структура сайта, полный спискок страниц в поиске, входящие ссылки и исключенные страницы, а также история посещения сайта роботом.

1eb7f2fa8c

В разделе “Настройки индексирования” можно проверить настроенный ранее файл robots, sitemap и правильность определения главного зеркала сайта.

 

Google Вебмастер

Добавляем и подтверждаем свой сайт по ссылкеПосле чего попадаем в панель управления проектом. Слева видим блок в меню: “Индекс Google”, именно он нас и интересует.

55b577b2d4

Гугл Вебмастер позволяет ознакомиться с данными о проиндексированных страницах в данный момент или другой промежуток времени. Также показывает ключевые слова в содержании страниц и количество заблокированных ресурсов сайта.

c2caf95340

Раздел “Сканирование” позволяет изучить статистику сканирования сайта, обнаруженные ошибки при сканировании. С помощью подраздела “Посмотреть как Googlebot” можно увидеть сайт глазами поисковика. Другие инструменты помогут проверить валидность вашего sitemap и файла robots.

 

Какие проблемы с сайтом могут возникнуть при индексации?

При индексировании сайта роботом очень важно, чтобы он видел сайт точно таким же, как видим его мы, сеошники, и пользователи.

Приведу список проблем, с которыми можно столкнуться:

  •  Робот не видит части контента страницы. Довольно частая проблема с сайтом: на странице отсутствует текст, блоки, элементы. Например, контент выводится с использованием ajax скриптов, поэтому он может не проиндексироваться.

Как робот видит вашу страницу?

a90f179cbb

Найдите свою страницу в поиске и перейдите на сохраненную копию страницы. Обычно блок, который отсутствует, сразу виден. Если его нет, значит робот его не видит.

     

  • Робот не находит навигацию на сайте. Желательно, чтобы меню или навигация выводились без использования скриптов, тогда они будут верно индексироваться.
  • Слишком длинные URL. Использование большого количества вложенных директорий, повторение категорий, слишком длинное ЧПУ, все это может привести к затруднению при индексировании страниц.
  • Часть страниц возвращают неверный код ошибки. Важно, чтобы нужные страницы сайта отдавали код 200 ОК или если страница не существует код был 404, иначе поисковик удалит страницу из индекса.

Приведенные выше примеры это лишь вершина айсберга для вашего сайта при проверке индексации.

Своевременная диагностика сайтов, оптимизация и настройка верного индексирования проекта — шаги к успеху вашего проекта.

Задать вопрос по статье
Подпишись на нашу группу в VK и получай экспертные статьи прямо в ленту!
  • akkord87

    Хотелось бы более углубиться с эту тему индексации, а то подобных статей в интернете тысячи. Не узнал ничего нового(

    • Чупиков

      В этой статье про индексацию постарался рассказать про базовые основы. В дальнейшем думаю будет цикл статей, где коснемся проблемы более подробно.


Мы работаем не только в Моcкве, но и в других городах России: