Файл robots.txt — служебный текстовый файл сайта, который должен находится в корне. Наличие этого файла даёт рекомендацию поисковым ботам или системам, какие директории вашего сайта сканировать, а какие пропускать.  Ниже я разместил выдержку из robots.txt размещённого на моих сайтах. Просто скопируйте информацию и поместите в ваш файл заменив мои данне на домен вашего сайта.

Также robots.txt содержит не только рекомендации о том, что сканировать, а что пропускать но и информацию о домене и карте сайта. Если у вас стоит какой-либо плагин для создания карты сайта узнайте ссылку на вашу карту и пометите её в самом низу этого файла.

Мне почему-то трудно сказать правильный robots txt для wordpress код которого я разместил ниже или нет, так как условия постоянно меняются, названия директорий и прочее. Пусть это будет основой для вашего сайта. В результате вам возможно придётся нечто дописать или убрать.

Оставить комментарий

  Подписаться  
Уведомление о