Сегодня, продолжая тему инструментов для SEO-оптимизации, хотелось бы поговорить о программе ComparseR. Нужно отметить, что парсер обладает широким спектром парсинга сайта и является русскоязычной программой, что делает ее более удобной. Также есть возможность, которая выводит инструмент на ступень выше остальных — это возможность проверить страницы, которые в индексе у ПС и удалить лишние из индекса. Но обо всем по порядку. Не будем медлить и разберемся с вопросом — как спарсить сайт с помощью Comparser.
Для начала разберем основные настройки Comparser.
Краулер
Количество потоков — возможность ограничить скорость парсинга. Обычно 4−6 это оптимальная скорость, но некоторые большие сайты могут позволить и 12+.
Максимальная глубина — ограничиваем вложенность по URL.
Далее идут настройки задержки и таймаута, по сути исходные значения подходят для любого сайта.
Программа
Тут важным пунктом является возможность указать логин и пароль от сайта. Это может стать необходимостью, если вы еще не выкатили сайт и хотите проверить на тестовом домене.
Орфография
В данной вкладке можно включить игнорирование иностранных слов или составить собственный список исключений.
Также краулер Comparser позволяет указать популярный сервис антикапичи (их на данные момент 4), а также есть возможность использования прокси.
Рядом с настройками есть раздел RegExp, который позволяет исключить определенный путь по URL или, наоборот, отдать предпочтение. Это может оказаться полезным, если вы собираетесь парсить интренет-магазин, но без каталога — можно смело исключать.
С вопросом как настроить Compareser мы разобрались, а точнее с основными пункатами. Т.к. программа русскоязычная, то разобраться в ее настройках довольно просто.
- Яндекс. Персональные настройки для парсинга выдачи Яндекс. Здесь можно указать логин и пароль от учетной записи Яндекс, с помощью которого будет производиться работа со страницами: добавление/удаление из индекса или сбора информации. Также есть возможность использования XML, если потребуется.
- Google. Тут все тоже самое.
От слов к делу
Все настроили, теперь рассмотрим как пользоваться Comparser`ом.
В программе есть несколько путей парсинга страниц:
- весь сайт полностью;
- сканирование с помощью файла sitemap. xml;
- использование своего списка с указанием только интересующих страниц.
Рассмотрим первый вариант подробно.
Ищем Краулер > Запустить — вводим адрес сайта. Ниже есть дополнительные настройки, которые вообщем-то понятны и без слов.
Проверяем длину URL
Редкость, но бывает, что он может превышать все рамки разумного. Слишком длинные необходимо сделать компактнее, но не забывайте про 301 редирект.
Проверка Title
Переходим к вкладке title страниц, сортируем, далее нажимаем в правой части «Статистика и структура» и смотрим результаты. В нашем случае обнаружены только два дубля. Устраняем недочет, но все же по списку лучше пробежаться глазами и не очень качественные метатеги лучше переписать. Также в соседней колонке можно посмотреть длину title, в среднем это 60−90 символов, с количеством лучше не играть и следовать инструкциям ПС.
Проверка Description
Также немаловажный пункт в нашей проверке. Все действия производим аналогично предыдущему абзацу.
Смотрим кодировку страниц
Во вкладке «тип контента» смотрим кодировку, она должна быть стандартной, т.е. utf-8.
Проверяем скорость загрузки
Фактор, который имеет значение (особенно в мобильной выдаче). Если значение превышает порог в 5−6 секунд, то следует проанализировать страницу, найти и устранить причину.
Размер страницы
Переходим на самые «тяжелые» и смотрим, соответствует ли вес реальности.
Количество контента
Тот пункт, которого так катастрофически не хватает в похожих программах. Сортируем по возрастанию и смотрим страницы с небольшим контентом или где он практически отсутствует. Далее либо наполняем, либо закрываем — по ситуации.
Проверка заголовков H1-H6
Далее идут колонки, которые просвещены заголовком. В разделе «Статистика и структура» можно посмотреть ошибки, связанные с двумя h1 на одной странице, что является грубым нарушением в оптимизации. Я бы рекомендовал вручную просмотреть наличие всех заголовков, их длину. Также стоит обратить внимание на страницы, где кол-во заголовков h2-h6 имеет слишком большое значение и просмотреть данные страницы.
Анализируем внешние ссылки
Переходим к соответствующей вкладке. И тут компарсер имеет преимущество перед другими программами. Есть возможность просмотреть URL, ссылающейся на страницы и акцептора. И что самое полезное — это все анкоры ссылок и тип ссылки. Необходимо пройтись глазами по ссылкам, посмотреть нет ли подозрительных. Случай редкий, но бывает, что кто-то получил доступ к сайту и незаметно вставляет внешние ссылки.
Оптимизация изображений
Тоже имеет немаловажное значение. В некоторых тематиках грамотно оптимизированные изображения могут привести хороший трафик из поиска по картинкам. Нас интересует наличие атрибута alt. Если случай отсутствия частный, то можно и руками прописать, но в больших объемах лучше, конечно, шаблонно. Также следует обратить внимание на картинки с большим размером и оптимизировать их.
Сканируем индексацию Google Яндекс с помощью ComparseR
Теперь перейдем к самому интригующему вопросу: как проверить индексацию сайта в Гугле и Яндексе?
Для Яндекса вводим адрес сайта и выбираем источник Вебмастер (для этого необходимо указать аккаунт в настройках). Можно поставить галочку напротив проверки кода ответа сервера, чтобы ускорить работу программы.
Для Гугла все немного иначе и выглядеть это будет так:
Запускаем проверку и ждем результатов. Затем перед нами появляется привычный список страниц, но указаны только те, что находятся в индексе. Список можно выгрузить в Excel.
Как удалить/добавить страницу в индекс Яндекса компарсером
Нажимаем «Добавить/удалить URL», выбираем «удалить» и копируем туда все адреса, жмем старт… все profit. Больше ничего делать не нужно.
Также стоит найти столбец Robots.txt. Теперь сортируем по значению и выделяем урлы, которые относятся к disallow и также удаляем. Добавление происходит таким же путем. По Гуглу операции точно такие же. Очень просто, не правда ли ?
Экспертное мнение
Вот мы и разобрались с тем, как провести технический аудит компарсером от Алаева. Подводя итоги хочется выделить плюсы:
- Программа русскоязычная — а значит и техническая поддержка тоже. Если у вас хромает английский, то это вариант наиболее удобный.
- Возможность добавить или удалить страницу в индекс Яндекс/Гугл компарсером — наверное многие SEO-специалисты мечтали об организации этого процесса. И вот это стало реальностью.
Скачать ComparseR можно по ссылке в начале статьи. Есть одно НО: это демо-версия, которая отличается от полной ограничением в 150 страниц. Но этого вполне хватит чтобы «пощупать» сей инструмент. В целом, программа отличается хорошим функционалом и позволяет найти недочеты на сайте, а самое главное, зачистить поиск от ненужных страниц.
