Правильный robots txt для wordpress

Файл robots.txt — служебный текстовый файл сайта, который должен находится в корне. Наличие этого файла даёт рекомендацию поисковым ботам или системам, какие директории вашего сайта сканировать, а какие пропускать.  Ниже я разместил выдержку из robots.txt размещённого на моих сайтах. Просто скопируйте информацию и поместите в ваш файл заменив мои данне на домен вашего сайта.

Также robots.txt содержит не только рекомендации о том, что сканировать, а что пропускать но и информацию о домене и карте сайта. Если у вас стоит какой-либо плагин для создания карты сайта узнайте ссылку на вашу карту и пометите её в самом низу этого файла.

Мне почему-то трудно сказать правильный robots txt для wordpress код которого я разместил ниже или нет, так как условия постоянно меняются, названия директорий и прочее. Пусть это будет основой для вашего сайта. В результате вам возможно придётся нечто дописать или убрать.

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
 
User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: ваш_сайт.ru
 
Sitemap: http://ваш_сайт.ru /sitemap.xml.gz
Sitemap: http://ваш_сайт.ru /sitemap.xml