Вступление
В этой статье я покажу, как, используя мета-тег robots и директивы noindex и nofollow можно управлять показом материалов сайта в результатах поиска поисковых систем Google и Яндекс.
Управление индексацией и показом материалов
Веб-мастер, имеющий доступ к каталогу и коду сайта может довольно просто управлять индексацией и показом материалов сайта в поисковых выдачах.
Управлять контентом сайта в поиске можно двумя способами:
Во-первых, создать текстовой файл robots.txt
в кодировке UTF-8 и разместить его в корневом каталоге сайта. В файле, используя специальные директивы и правила, необходимо указать поисковым роботам, как обрабатывать материалы сайта.
Во-вторых, вставить мета-тег robots с директивами noindex
, nofollow
и нужными параметрами на (X)HTML страницы сайта или в HTTP-заголовок.
Например, синтаксис комбинированного тега robots (для поискового робота) выглядит так:
<meta name="robots" content="noindex, nofollow">
Такая же директива, обращённая к ботам Google выглядит так:
<meta name="googlebot" content="noindex, nofollow">
Эта же директива обращённая к ботам Яндекс выглядит так:
<meta name="yandex" content="noindex, nofollow" />
Директивы noindex и nofollow
Важно понимать, что директивы noindex и nofollow дают разные инструкции поисковым ботам. Кроме этих директив есть другие директивы, которые не пользуются популярностью.
noindex
запрещает ботам показывать данную страницу сайта и сохранённой копии страницы в результатах поиска.
nofollow
— запрещает ботам обходить ссылки на данной странице сайта.
Можно использовать директивы:
none
— приравнивается комбинированным директивам noindex, nofollow.noarchive
— указывает ботам не показывать в поиске ссылку сохранённая копия.all
— директива по умолчанию, соответствует директивам index, follow (показывать в поиске и обходить ссылки). Разрешающие директивы можно не указывать, однако они имеют приоритет над запрещающими директивами.
Перечисленные директивы универсальны и одинаково работают для поисковиков Google и Яндекс.
Практика использования мета тегов и директив noindex, nofollow
Мета тег robots с директивами noindex и/или nofollow необходимо разместить в тегах <head> страницы (страниц) сайта.
<html>
<head>
<meta name="robots" content="noindex, nofollow" />
</head>
<body>...</body>
</html>
На практике внедрение этих тегов в код страницы делается следующим образом.
На WordPress. Установите серьёзный SEO плагин (Yoast SEO или All in One SEO Pack) и используйте теги noindex, nofollow инструментами плагина.
Для Joomla использование директив noindex, nofollow обеспечивают инструменты CMS. Для любой статьи и категории вы можете использовать теги noindex и/или nofollow в разделе мета-данные.
Директивы noindex nofollow в файле .htaccess для Apache
Можно для указания запрещающих директив использовать файл .htaccess
.
Например, запретить показ картинок PNG, JPEG, JPG, GIF в поиске можно так:
<Files ~ "\.(png|jpe?g|gif)$">
Header set X-Robots-Tag "noindex"
</Files>
Конфликт файла robots.txt и мета-тега robots
Важно понимать, что если вы запретите сканирование страницы в файле robots.txt, то директивы мета-тега robots будут проигнорированы.
Чтобы директивы работали не нужно запрещать сканирование URL станиц, где они заданы.
Кроме этого, запрещающими директивами можно закрыть весь сайт, а не только отдельные страницы.
Вывод
Мета-тег robots и директивы noindex и nofollow позволяют более тонко указывать поисковым роботам инструкции по обработке страниц сайта.
Еще статьи
- Как не потерять трафик после SSL сертификации — SEO сайта после перехода на HTTPS
- SEO анализ конкурентов на этапе подготовки проекта
- Поиск дублей страниц сайта – программы, сервисы, приёмы
- Правильное доменное имя для оптимизации сайта
- Выбор движка Интернет магазина с удобной SEO оптимизацией