БлогSEO словарьЧто такое robots.txt. Правильный robots.txt для WordPress

Что такое robots.txt. Правильный robots.txt для WordPress

robots.txtПривет, читатели блога Seostage.ru. Сегодня вы узнаете о том, что такое robots.txt, а также узнаете, как составить правильный роботс для движка Wordpres.

Для того, чтобы страницы сайта быстрее индексировались поисковыми системами, и чтобы поисковик знал, какие страницы можно индексировать, а какие нет, придуманы специальные правила, которые записываются в файл robots txt. По сути, это обычный текстовый документ с набором несложных правил, который размещают в корне сайта.

Если вы пользуетесь системой управления сайтом (CMS), то у вас на сайте создается большое количество страниц, которые не представляют ценности для пользователей, поэтому их целесообразно скрывать от поисковых систем. Кроме того, может иметь место дублирование контента, что может привести к пессимизации сайта поисковыми системами. Это может произойти из-за того, что на одну и ту же страницу ведут разные ссылки (это случается, например, если вы используете ЧПУ (человекопонятные УРЛы)).

Синтаксис robots.txt

Синтаксис файла robots txt очень прост. Директива User-agent указывает на поисковую систему, для которой будут указываться правила. Allow — директива, которая указывает страницы, которые можно индексировать и Disallow — директива, которая указывает страницы, которые запрещено индексировать. Если указана запись User-agent, то обязательно должна быть указана директива Disallow, даже если она пуста! Например:

User-agent: Yandex
Disallow:

Здесь также полезно указать, где находится карта вашего сайта, чтобы помочь поисковому роботу быстрее определить нужный контент для индексации.
Для указания карты сайта в формате xml используется директива Sitemap. Еще очень важно указать, какое из зеркал вашего сайта (что такое зеркало сайта) является главным в директиве Host, например:

User-agent: Yandex
Disallow: /files/
Host: seostage.ru

Теперь о правилах написания. Правильной будет следующая конструкция:

поле : пробел значение пробел
поле : пробел значение пробел

Каждая новая директива начинается с новой строки.
Если вы хотите указать правила для всех поисковых систем, то в директиве User-agent нужно прописать символ *. Вообще этот символ имеет значение «все остальное», поэтому его можно использовать во всех директориях, например для того, чтобы показать поисковику, что он не должен индексировать все файлы, имеющие раширение .jpg

User-agent: *
Disallow: *.jpg

или

User-agent: Yandex
Disallow: /images/*.aspx

Подробнее про файл robots txt можно почитать в хелпе на яндексе, вот ссылка.
Если вы не знаете, какой robots.txt составить для своего сайта, то полезно будет побродить по сайтам со схожей тематикой и одинаковой CMS (если вы ей пользуетесь). Все robots.txt открываются по адресу http://site.com/robot.txt. Возможно так вы найдете наиболее подходящий для вас вариант.

Альтернатива robots.txt

Есть также альтернативный способ сообщить поисковикам о том, можно ли индексировать страницу или нет. Это мета-тег «Robots». Этот мета-тег необходимо прописать на каждой из страниц, которые не нужно индексировать. Мета тег будет выглядеть так:

‹meta name=»robots» content=»noindex,nofollow»›

Правильный robots.txt для WordPress

robots.txt для WordPressВ интернете ведется множество дискуссий о том, какой robots.txt составить для самого популярного движка для блогов WordPress. Буквально каждый блогер имеет свое неповторимое видение на этот счет. Я считаю, что в блоге главное — это статьи. Читатель приходит на блог, чтобы читать. Поэтому в моем роботс запрещено все, кроме самих статей и категорий статей. Вот robots.txt для моего seo блога http://seostage.ru/robots.txt
А что вы думаете по поводу robots.txt для WordPress? Что хорошо? Что плохо? Какой идеален для вас?

Понравилась статья? Подписывайтесь на мой RSS канал rss канал, следите за мной в Твиттере , или получайте статьи по почте:


7 отзывов к записи "Что такое robots.txt. Правильный robots.txt для WordPress"

  1. Андрей

    Согласен что для WP нужно несколько иной робот прописывать. Видь если это движек, то появляются свои не нужные странички!

  2. Андрей

    Я в свое время очень намучался с этим файлом! 😳

    • Томский школьник

      Все кажется в свое время намучились с этим файлом… По неопытности то!

      • Виталий

        Я в свое время это файл просто скачал из одного популярного блога и не мучился. И даже сейчас не особо вникал, во все тонкости его настройки, так, знаю базу и этого хватает.

  3. Сергей

    Файл robots.txt нужно изначально правильно составить и прописать все, что должен индексировать поисковый робот и , что не должен. :mrgreen:

  4. Томский школьник

    Для блогов на WP настроить robots.txt не составит никакого труда, если там сайт уже громоздкий, то там да… А для ВП можно найти готовое решение и немного переписать под себя.
    НО… нужно внимательно отнестись к этому, а том можно так «набаловаться» что попадешь под фильтр от поисковиков…

  5. Виталий

    Думаю, для рядового владельца блога на wordpress особо не стоит заморачиватся над всеми тонкостями robots.txt (хваити самых основ),но вот для сеошника знать об этом файле очень важно.

Оставить свой отзыв

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!:


  • Использую
  • По месяцам
  • GoGetLinks - лучшая биржа для продажи и покупки вечных ссылок.
  • Sape - заработок на временных ссылках. Лучшая биржа временных ссылок.
  • 2domains - очень дешевые домены для ваших сайтов. Надежный сервис - пользуюсь сам.
  • Linkfeed - еще одна хорошая биржа временных ссылок.
  • Liex - размещаем статьи - получаем деньги. Интересная тема.
  • Блогун - лучший сервис для размещения постовых и обзоров на блоге.
    • В твиттере
    • В инстаграме
    Система Orphus