Всё что нужно знать о директивах noindex и nofollow
Не всегда требуется, чтобы страница сайта была в поиске. Для управления материалами сайта используются мета-тег robots и директивы noindex и nofollow. С их помощью можно управлять показом материалов сайта в результатах поиска.