Как создать правильный файл robots txt для WordPress

Начальная оптимизация начинается всегда с роботс потому, что это самый быстрый и дешевый способ устранить все косяки на проекте и направить индексацию сайта поисковыми системами в нужном направлении.

Пример, где должен лежать robots:

http://адрес_сайта/robots.txt

Правильный robots.txt для WordPress

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed
Disallow: */feed
Disallow: /*?*
Disallow: /20*/*

Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Дополнения к роботс

Если у вас меньше трех авторов, или в шаблоне не предусмотрена страница автора, то обязательно добавьте эту строчку в ваш robots.txt

• Когда авторов более трех, то закрывать эти страницы ненужно, так как это будет служить дополнительным распределением веса межу страницами, а вот если их меньше - возникает опасность, дублированного контента, так как страницы авторов будут схожи с главной страницей или страницами разделов.
• Еще возникает проблема, когда в шаблоне нет ссылки на страницу автора, страница может попасть в индекс, но не не будет участвовать в общей перелинковке и поисковые системы сочтут ее некачетвенной и ничего хорошего это сайту точно не даст

Disallow: /author

В случае, если главная страница у вас на сайте является "страница", а не лента записей - то нужно добавить обязательно эту строчку в ваш robots.txt - иначе одинаковый контент будет на двух странцах

Disallow: /page/*

Разъяснения по роботс

Эти строчки закрывают технические страницы - эо делается больше для подстраховки, так как поисковые системы и так не индексируют эти страницы, если сервер правильно настроен

Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/

Трекбэки — это уведомления, которые приходят на страницу вашего сайта в комментарии, когда кто либо на каком то другом сайте поставил на вашу страницу ссылку. Полезного для поисковых систем в этом ничего нет, так что стоит их закрыть

Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback

Редко, но встречаются дубли страниц в RSS и попадают в индекс из-за установленных плагинов.

Disallow: */*/feed
Disallow: */feed

Результаты поиска всегда нужно закрывать: поисковые системы считают это мусорными страницами. Сами они никогда не войдут в индекс, но если на них кто-то поставит ссылку, то это не исключено.

Disallow: /*?*

WordPress по старинке популярен как блоговый движок и некоторые блоггеры выводят архивы записей, а не качественно сделанный шаблон будет генерировать дубли архивных записей - так что стоит предостиречься и закрыть их от индексации

Disallow: /20*/*

Карта сайта для поисковых систем или любых других ботов, которых в cети сейчас десятки уже

Sitemap: http://site.ru/sitemap.xml

Host и Sitemap являются межсекционными директивами, которые можно использовать в любом месте в роботс. Мы разделяем их пробелом в общем роботс, чтобы другие боты не посчитали наш файл ошибочным.

Настройка роботс

Настроить robots txt для WordPress можно 2 способами:

1. с помощью любого ftp редактора: Total Commander, FileZilla, CuteFTP, WinSCP, FlashFXP, SmartFTP, Core FTP;
2. с помощью плагинов.

Плагины WordPress для настройки robotstxt

Узко функциональные плагины, которые позволяют работать только с роботс
WP Robots Txt
WordPress Meta Robots

Комплексные SEO плагины для WordPress
SEO Ultimate — один из старейших плагинов
WordPress SEO by Yoast — самый популярный плагин по количеству установок
SemanticWP SEO — мы намучались с бесплатными версиями и разработали свой плагин