Стрим от руководителя студии! "Управление репутацией в интернете: нужно ли малому бизнесу, и как это делает SEMANTICA" - 18 октября в 13:00 Узнать больше
Есть проблемы с ранжированием, проект не растет, хотите проверить работу своих специалистов по продвижению? Закажите профессиональный аудит в Семантике
Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».
Подпишись на рассылку и получи книгу в подарок!

Crawl-delay - директива файла robots.txt, позволяющая задать задержку сканирования страниц для снижения входящей пиковой нагрузки на сервер в момент обхода сайта поисковым роботом.

Больше видео на нашем канале - изучайте интернет-маркетинг с SEMANTICA

Представьте, что в роли сервера сайта выступает директор фирмы, на проверку которой пришла проверяющая служба — поисковый робот. Работа в компании кипит, директор выполняет свои задачи, отвечает подчиненным, но проверяющие внезапно начинают задавать ему самые разные вопросы. Снижается производительность всей компании.

Сотрудники не могут работать, пока не получат ответ от директора. А он не может им ответить, потому что занят разговором с инспекторами. Чем больше на вашем сайте страниц, тем дольше этот “инспектор” будет проводить допрос, и тем меньше свободного времени будет у сервера на ответы настоящим живым клиентам.

Директива Crawl-delay указывает роботу делать перерывы между “вопросами” к серверу, чтобы в это время он мог отвечать клиентам, не задерживая выполнение внутренних процессов. Поисковый робот после каждого запроса начинает выжидать определенное количество секунд перед следующей страницей по списку.

Как правильно задать директиву Crawl-delay

Правильная конфигурация Crawl-delay даёт возможность существенно разгрузить сервера сайта на время прихода поискового бота, увеличить максимальное количество соединений с живыми клиентами и предотвратить падение сайта при большом наплыве пользователей одновременно с ботами.

Особенность использования директивы

Роботы Google не читают и не учитывают эту директиву в своей работе - для поиска в Гугл время задержки сканирования задается в панели вебмастера поисковой системы

Яндекс активно пользуется Crawl-delay time и всегда учитывает его при обработке сайта. Для поискового бота время директивы является минимальным временем обхода - реальная задержка будет больше или равна ему.

Параметр Crawl-delay, как и все директивы robots.txt, указывается с новой строки через двоеточие. Формат записи - в секундах, допустимы десятичные дроби
Пример:

  • Crawl delay: 3 - задержка в три секунды.
  • Crawl delay: 0.5 - задержка в половину секунды.

Сколько секунд лучше ставить в Crawl-Delay

В случае, если в момент обхода поисковиками производительность вашего сайта падает, будет полезно попробовать поставить задержку обхода в две-три секунды. Если вам нужно поскорее выгнать бота с сайта, наоборот значение можно уменьшить до одной десятой секунды, что не гарантирует 600 страниц в минуту, но ускорит процесс обработки.

Полезным будет большое значение директивы на слабых тарифах хостингов, чтобы сайт не упал в неподходящий момент. Иногда сервера на небольших тарифах просто не в состоянии обрабатывать в секунду столько запросов, сколько от них требует бот поисковой системы.

После того, как вы внесли директиву в robots.txt. проверьте правильность файла. Воспользуйтесь панелью веб-мастера. В системе Google может возникнуть ошибка о том, что указано неизвестное свойство. Это нормально. На эту директиву смотрят, в основном, только роботы Яндекса.

Получите профессиональный взгляд со стороны на свой проект

Специалисты студии SEMANTICA проведут комплексный анализ сайта по следующему плану:

– Технический аудит.
– Оптимизация.
– Коммерческие факторы.
– Внешние факторы.

Мы не просто говорим, в чем проблемы. Мы помогаем их решить

Профессиональный аудит и стратегия продвижения
От корки до корки изучаем ваш сайт, выявляем проблемы ранжирования и прописываем пути их решения. Обращайтесь!
Подпишись на обновления блога
Юлия Персидских SEMANTICA, Тимлид бесплатный вебинар От информационных запросов к продажам: как превратить тематический трафик в коммерческий Регистрируйся! 30 октября в 13:00

Мы работаем не только в Моcкве, но и в других городах России: