Всё что нужно знать о директивах noindex и nofollow

директивы noindex nofollow

Вступление

В этой статье я покажу, как, используя мета-тег robots и директивы noindex и nofollow можно управлять показом материалов сайта в результатах поиска поисковых систем Google и Яндекс.

Управление индексацией и показом материалов

Веб-мастер, имеющий доступ к каталогу и коду сайта может довольно просто управлять индексацией и показом материалов сайта в поисковых выдачах.

Управлять контентом сайта в поиске можно двумя способами:

Во-первых, создать текстовой файл robots.txt в кодировке UTF-8 и разместить его в корневом каталоге сайта. В файле, используя специальные директивы и правила, необходимо указать поисковым роботам, как обрабатывать материалы сайта.

Во-вторых, вставить мета-тег robots с директивами noindex, nofollow и нужными параметрами на (X)HTML страницы сайта или в HTTP-заголовок.

Например, синтаксис комбинированного тега robots (для поискового робота) выглядит так:

<meta name="robots" content="noindex, nofollow">

Такая же директива, обращённая к ботам Google выглядит так:

<meta name="googlebot" content="noindex, nofollow">

Эта же директива обращённая к ботам Яндекс выглядит так:

<meta name="yandex" content="noindex, nofollow" />

Директивы noindex и nofollow

Важно понимать, что директивы noindex и nofollow дают разные инструкции поисковым ботам. Кроме этих директив есть другие директивы, которые не пользуются популярностью.

noindex запрещает ботам показывать данную страницу сайта и сохранённой копии страницы в результатах поиска.

nofollow — запрещает ботам обходить ссылки на данной странице сайта.

Можно использовать директивы:

  • none — приравнивается комбинированным директивам noindex, nofollow.
  • noarchive — указывает ботам не показывать в поиске ссылку сохранённая копия.
  • all — директива по умолчанию, соответствует директивам index, follow (показывать в поиске и обходить ссылки). Разрешающие директивы можно не указывать, однако они имеют приоритет над запрещающими директивами.

Перечисленные директивы универсальны и одинаково работают для поисковиков Google и Яндекс.

Практика использования мета тегов и директив noindex, nofollow

Мета тег robots с директивами noindex и/или nofollow необходимо разместить в тегах <head> страницы (страниц) сайта.

<html>

<head>

<meta name="robots" content="noindex, nofollow" />

</head>

<body>...</body>

</html>

На практике внедрение этих тегов в код страницы делается следующим образом.

На WordPress. Установите серьёзный SEO плагин (Yoast SEO или All in One SEO Pack) и используйте теги noindex, nofollow инструментами плагина.

Для Joomla использование директив noindex, nofollow обеспечивают инструменты CMS. Для любой статьи и категории вы можете использовать теги noindex и/или nofollow в разделе мета-данные.

Директивы noindex nofollow в файле .htaccess для Apache

Можно для указания запрещающих директив использовать файл .htaccess.

Например, запретить показ картинок PNG, JPEG, JPG, GIF в поиске можно так:

<Files ~ "\.(png|jpe?g|gif)$">

Header set X-Robots-Tag "noindex"

</Files>

Конфликт файла robots.txt и мета-тега robots

Важно понимать, что если вы запретите сканирование страницы в файле robots.txt, то директивы мета-тега robots будут проигнорированы.

Чтобы директивы работали не нужно запрещать сканирование URL станиц, где они заданы.

Кроме этого, запрещающими директивами можно закрыть весь сайт, а не только отдельные страницы.

Вывод

Мета-тег robots и директивы noindex и nofollow позволяют более тонко указывать поисковым роботам инструкции по обработке страниц сайта.

Еще статьи

(Всего просмотров 53)

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.