Начальная оптимизация начинается всегда с роботс потому, что это самый быстрый и дешевый способ устранить все косяки на проекте и направить индексацию сайта поисковыми системами в нужном направлении.
Пример, где должен лежать robots:
http://адрес_сайта/robots.txt
Правильный robots.txt для WordPress
User-agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /wp-admin/ Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed Disallow: */feed Disallow: /*?* Disallow: /20*/* Host: site.ru Sitemap: http://site.ru/sitemap.xml
Дополнения к роботс
Если у вас меньше трех авторов, или в шаблоне не предусмотрена страница автора, то обязательно добавьте эту строчку в ваш robots.txt
- Когда авторов более трех, то закрывать эти страницы ненужно, так как это будет служить дополнительным распределением веса межу страницами, а вот если их меньше - возникает опасность, дублированного контента, так как страницы авторов будут схожи с главной страницей или страницами разделов.
- Еще возникает проблема, когда в шаблоне нет ссылки на страницу автора, страница может попасть в индекс, но не не будет участвовать в общей перелинковке и поисковые системы сочтут ее некачетвенной и ничего хорошего это сайту точно не даст
Disallow: /author
В случае, если главная страница у вас на сайте является "страница", а не лента записей - то нужно добавить обязательно эту строчку в ваш robots.txt - иначе одинаковый контент будет на двух странцах
Disallow: /page/*
Разъяснения по роботс
Эти строчки закрывают технические страницы - эо делается больше для подстраховки, так как поисковые системы и так не индексируют эти страницы, если сервер правильно настроен
Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/
Трекбэки — это уведомления, которые приходят на страницу вашего сайта в комментарии, когда кто либо на каком то другом сайте поставил на вашу страницу ссылку. Полезного для поисковых систем в этом ничего нет, так что стоит их закрыть
Disallow: /trackback Disallow: */trackback Disallow: */*/trackback
Редко, но встречаются дубли страниц в RSS и попадают в индекс из-за установленных плагинов.
Disallow: */*/feed Disallow: */feed
Результаты поиска всегда нужно закрывать: поисковые системы считают это мусорными страницами. Сами они никогда не войдут в индекс, но если на них кто-то поставит ссылку, то это не исключено.
Disallow: /*?*
WordPress по старинке популярен как блоговый движок и некоторые блоггеры выводят архивы записей, а не качественно сделанный шаблон будет генерировать дубли архивных записей - так что стоит предостиречься и закрыть их от индексации
Disallow: /20*/*
Карта сайта для поисковых систем или любых других ботов, которых в cети сейчас десятки уже
Sitemap: http://site.ru/sitemap.xml
Host и Sitemap являются межсекционными директивами, которые можно использовать в любом месте в роботс. Мы разделяем их пробелом в общем роботс, чтобы другие боты не посчитали наш файл ошибочным.
Настройка роботс
Настроить robots txt для WordPress можно 2 способами:
- с помощью любого ftp редактора: Total Commander, FileZilla, CuteFTP, WinSCP, FlashFXP, SmartFTP, Core FTP;
- с помощью плагинов.
Плагины WordPress для настройки robotstxt
Узко функциональные плагины, которые позволяют работать только с роботс
WP Robots Txt
WordPress Meta Robots
Комплексные SEO плагины для WordPress
SEO Ultimate — один из старейших плагинов
WordPress SEO by Yoast — самый популярный плагин по количеству установок
SemanticWP SEO — мы намучались с бесплатными версиями и разработали свой плагин
