Что такое robots.txt. Правильный robots.txt для WordPress

Привет, читатели блога Seostage.ru. Сегодня вы узнаете о том, что такое robots.txt, а также узнаете, как составить правильный роботс для движка Wordpres.

Для того, чтобы страницы сайта быстрее индексировались поисковыми системами, и чтобы поисковик знал, какие страницы можно индексировать, а какие нет, придуманы специальные правила, которые записываются в файл robots txt. По сути, это обычный текстовый документ с набором несложных правил, который размещают в корне сайта.

Если вы пользуетесь системой управления сайтом (CMS), то у вас на сайте создается большое количество страниц, которые не представляют ценности для пользователей, поэтому их целесообразно скрывать от поисковых систем. Кроме того, может иметь место дублирование контента, что может привести к пессимизации сайта поисковыми системами. Это может произойти из-за того, что на одну и ту же страницу ведут разные ссылки (это случается, например, если вы используете ЧПУ (человекопонятные УРЛы)).

Синтаксис robots.txt

Синтаксис файла robots txt очень прост. Директива User-agent указывает на поисковую систему, для которой будут указываться правила. Allow — директива, которая указывает страницы, которые можно индексировать и Disallow — директива, которая указывает страницы, которые запрещено индексировать. Если указана запись User-agent, то обязательно должна быть указана директива Disallow, даже если она пуста! Например:

User-agent: Yandex
Disallow:

Здесь также полезно указать, где находится карта вашего сайта, чтобы помочь поисковому роботу быстрее определить нужный контент для индексации.
Для указания карты сайта в формате xml используется директива Sitemap. Еще очень важно указать, какое из зеркал вашего сайта (что такое зеркало сайта) является главным в директиве Host, например:

User-agent: Yandex
Disallow: /files/
Host: seostage.ru

Теперь о правилах написания. Правильной будет следующая конструкция:

поле : пробел значение пробел
поле : пробел значение пробел

Каждая новая директива начинается с новой строки.
Если вы хотите указать правила для всех поисковых систем, то в директиве User-agent нужно прописать символ *. Вообще этот символ имеет значение «все остальное», поэтому его можно использовать во всех директориях, например для того, чтобы показать поисковику, что он не должен индексировать все файлы, имеющие раширение .jpg

User-agent: *
Disallow: *.jpg

или

User-agent: Yandex
Disallow: /images/*.aspx

Подробнее про файл robots txt можно почитать в хелпе на яндексе, вот ссылка.
Если вы не знаете, какой robots.txt составить для своего сайта, то полезно будет побродить по сайтам со схожей тематикой и одинаковой CMS (если вы ей пользуетесь). Все robots.txt открываются по адресу http://site.com/robot.txt. Возможно так вы найдете наиболее подходящий для вас вариант.

Альтернатива robots.txt

Есть также альтернативный способ сообщить поисковикам о том, можно ли индексировать страницу или нет. Это мета-тег «Robots». Этот мета-тег необходимо прописать на каждой из страниц, которые не нужно индексировать. Мета тег будет выглядеть так:

‹meta name=»robots» content=»noindex,nofollow»›

Правильный robots.txt для WordPress

В интернете ведется множество дискуссий о том, какой robots.txt составить для самого популярного движка для блогов WordPress. Буквально каждый блогер имеет свое неповторимое видение на этот счет. Я считаю, что в блоге главное — это статьи. Читатель приходит на блог, чтобы читать. Поэтому в моем роботс запрещено все, кроме самих статей и категорий статей. Вот robots.txt для моего seo блога https://seostage.ru/robots.txt
А что вы думаете по поводу robots.txt для WordPress? Что хорошо? Что плохо? Какой идеален для вас?