Как использовать мета-теги robots – полное руководство

Вступление

Если вы используете мета-теги robots на страницах своего сайта, вы даёте поисковым системам инструкции, как вы хотите, чтобы они сканировали или индексировали части вашего сайта.

В этой статье представлен обзор всех различных значений, которые вы можете использовать в теге meta robots, а также какие значения мета-тегов поддерживают различные поисковые системы.

Что такое мета-теги robots

Напомню, что мета теги это инструкции обращенные ко всем поисковым системам, как индексировать страницы данного сайта. При этом поисковые системы учитывают сам мета–тег robots, но может не исполнять некоторые его значения.

Внешний вид мета тега вы видите на картинке. Крестиками обозначены значения мета тегов, о которых в следующем разделе статьи.

Мета-теги robots для различных роботов

Следующие значения («параметры») могут быть размещены отдельно или вместе (через запятую) в content атрибуте тега. Необходимы для контроля взаимодействия поисковых систем с вашей страницей сайта.

Чуть ниже таблица, какие поисковые системы поддерживают какие параметры тега.

index

Работает по умолчанию, обычно не добалвяется. Разрешает поисковым системам добавлять страницу в свой индекс, чтобы её могли найти люди, ведущие поиск.

noindex

Запрещает поисковым системам добавлять эту страницу в свой индекс. Следовательно, запрещает им показывать её в своих результатах поиска.

Читать: Всё что нужно знать о директивах noindex и nofollow

follow

Сообщает поисковым системам, что они могут переходить по ссылкам на странице, чтобы найти  другие страницы. По умолчанию не доставляется.

nofollow

Запрещает переходить по ссылкам на странице.

none

Ярлык для noindex, nofollow.

all

Ярлык для index, follow. По умолчанию предполагается на всех страницах сайта.

noimageindex

Запрещает поисковым системам индексировать изображения на странице.

Примечание. Если изображения связаны с другими источниками, поисковые системы могут индексировать их, поэтому лучше использовать HTTP-заголовок X-Robots-Tag .

noarchive

Запрещает поисковым системам показывать кэшированную копию этой страницы в своих списках результатов поиска.

noCache

То же самое noarchive, но используется только MSN/Live.

nosnippet

Запрещает поисковым системам показывать фрагмент текста или видео (например, в meta description) этой страницы в результатах поиска. Также не позволяет ботам показывать кэшированную копию этой страницы в своих результатах поиска.

Примечание: фрагменты могут по-прежнему отображать миниатюру изображения, если только они noimageindex не используются.

max-snippet:[number]

Устанавливает максимальное количество символов для описания мета.

Примечание. Пропуск этого тега может привести к подразумеваемому значению 0. Значение по умолчанию -1 должно быть установлено, чтобы подразумевать «без ограничений».

max-video-preview:[number]

Устанавливает максимальное количество секунд для видео в предварительном просмотре.

Примечание. Пропуск этого тега может привести к подразумеваемому значению 0. Значение по умолчанию -1 должно быть установлено, чтобы подразумевать «без ограничений».

max-image-preview:[setting]

Устанавливает максимальный размер изображения для использования в предварительном просмотре (none, standard или large).

Примечание. Пропуск этого тега может привести к подразумеваемому значению none.

notranslate

Запрещает поисковым системам показывать переводы страницы в результатах поиска.

unavailable_after

Сообщает поисковым системам показывать дату/время, в результатах поиска.

Примечание: должно быть в формате RFC850 (например, Monday, 20-Aug-07 16:55:08 UTC).

noyaca

Поддерживается только Яндексом. Запрещает фрагменту результатов поиска использовать описание страницы из каталога Яндекса.

Какие значения мета тегов поддерживается роботами?

Эта таблица показывает, какие поисковые системы поддерживают какие значения рассматриваемых тегов. Обратите внимание, что документация, предоставляемая некоторыми поисковыми системами, немногочисленна, поэтому существует много неизвестных.

Правила для конкретных поисковых систем

Иногда вам может потребоваться предоставить конкретные инструкции для конкретной поисковой системы, исключая других роботов. Или вы можете составить совершенно разные инструкции для разных поисковых систем.

В этих случаях вы можете изменить значение content атрибута для конкретной поисковой системы (например, googlebot для Google или yandex для Яндекс).

<meta name="yandex" content="noindex, nofollow" />

Примечание. Учитывая, что поисковые системы будут просто игнорировать инструкции, которые они не поддерживают или не понимают, очень редко нужно использовать несколько тегов мета-роботов для установки инструкций для определенных сканеров.

Конфликтующие параметры и файлы robots.txt

Важно помнить, что мета-теги robots работают иначе, чем инструкции в файле robots.txt. Конфликтующие правила могут вызывать непредвиденное поведение.

Например, поисковые системы не смогут увидеть ваши meta теги, если страница заблокирована через robots.txt.

Вам также следует позаботиться о том, чтобы не устанавливать конфликтующие значения в теге meta-robots в (например, использовать оба параметра index и noindex), особенно если вы устанавливаете разные правила для разных поисковых систем.

В случаях конфликта обычно выбирается наиболее ограничительная интерпретация значения. То есть «noindex» обычно бьет «index»).

Заключение: мета-теги robots и CMS

Мета-теги robots работают на уровне страницы.   Самостоятельное (ручное) добавление мета тегов в раздел head HTML своего сайта занятие не из простых. Во многих CMS (например, Joomla) есть встроенные инструменты для управления мета тегами robots. Для WordPress есть отличные SEO плагины для этого. Например, Yoast SEO.

Ресурсы из поисковых систем

• У Яндекса есть страница справки по мета-тегам HTML:

https://yandex.ru/support/webmaster/controlling-robot/html.html

• Официальная документация Google по тегу meta robots:

https://support.google.com/webmasters/topic/4598466?hl=ru&ref_topic=9427949

• У Bing есть страница справки для веб-мастеров:

https://www.bing.com/webmaster/help/which-robots-metatags-does-bing-support-5198d240

©seojus.ru

Еще статьи

• 17 сервисов подбора ключевых слов
• 21 блог начинающим веб-мастерам, оптимизаторам и создателям сайтов
• Программа для бесплатного SEO анализа сайта Netpeak Spider
• SEO анализ сайта программой Screaming Seo Spider
• 15 Сервисов оптимизации изображений для сайта