Индексация сайта поисковиками: что такое индексация веб-ресурса

Индексация сайта поисковиками: что такое индексация веб-ресурса

14 июня 0 Автор Игорь Серов

Индексация сайта это

Индексация сайта это обнаружение сайта поисковыми роботами ( поисковиками) и занесение главной и других страниц сайта в свою базу данных. До того, как ресурс появится в результатах поиска, поисковая система должна его сначала проиндексировать, а потом, выбрав по своим алгоритмам, полезные страницы, занести их в поисковый индекс.

Три вида индексации

Понятие индексации сайта можно разделить на три отдельных понятия:

  1. Индексация всего сайта – обнаружение сайта, как Интернет ресурса, поисковиками;
  2. Индексация страниц сайта – занесение найденных страниц в базу данных поисковиков;
  3. Поисковая индексация – фильтрация всех страниц сайта по своим алгоритмам и добавление отфильтрованных страниц в поисковый индекс (поисковую выдачу).

Уже потом следует ранжирование (выстраивание) страниц в поисковой выдаче, поднятие страниц в Топ выдачи и т.д.

Индексация сайта поисковиками

Индексация сайта как Интернет ресурса

Первым шагом продвижения сайта в поисковой выдаче, это знакомство поисковиков с сайтом, как новым Интернет ресурсом. А проще, вы должны сообщить поисковикам ( Яндекс, Google, Bing, Mail.ru, Rambler) о появлении в сети вашего ресурса (сайта, блога, форума, портала). Для этого для начала, добавьте сайт в эти инструменты подтвердив свои права на него.

Практика показывает, что большая часть сайтов (с количеством страниц от нескольких десятков до нескольких сотен), как правило, не имеют проблем с индексацией сайта и его страниц поисковиками. Однако, есть, некоторые моменты, которые необходимо учесть, когда вы работаете над своим ресурсом.

Два пути индексации сайта

Есть два пути, с помощью которых поисковая система узнает о новом ресурсе и начнется индексация сайта:

1 Добавление адреса ресурса с помощью специальной формы поисковой системы вручную. Сообщение для поисковой системы о новом сайте исходит от вас лично, и адрес сайта встает в очередь на индексацию. При ручном способе надо добавить только главную страницу ресурса, остальные поисковый робот найдет по ссылкам.

Для того чтобы сообщить поисковикам о новом ресурсе, нужно обязательно воспользоваться специальными сервисами для веб мастеров:

  • Яндекс.Вебмастер (https://webmaster.yandex.ru/),
  • Google Webmaster Tools (//www.google.com/webmasters/tools/),
  • Webmaster.mail (https://webmaster.mail.ru/),
  • Bing Webmaster Tools (https://www.bing.com/toolbox/webmaster),
  • Nigma.ru.
2 Предоставление поисковому роботу самому найти ваш ресурс. Это возможно в том случае, если с других ресурсов (которые уже были проиндексированы поисковой системой) на ваш сайт есть хотя одна внешняя ссылка.

Этот вариант рекомендован к использованию в большинстве случаев: просто получите некоторое количество внешних ссылок на ресурс и дожидайтесь прихода робота. Добавление сайта вручную в некоторых случаях даже удлиняет срок ожидания робота.

Как правило, первичная индексация сайта занимает от 2-3 дней до двух недель и это зависит от системы поиска.

Дружелюбность сайта для поисковиков

Стремитесь к тому, чтобы ваш сайт стал для поисковых роботов дружественным. Для этого обращайте внимание на следующие моменты:

1 Доступность по ссылкам с главной страницы на любые другие страницы вашего ресурса не должна быть длиннее, чем в 3 перехода. Если структура вашего сайта такова, что это невозможно, сделайте карту сайта и ориентируйте ее на выполнение указанного правила;

2 Учитывайте распространенные ошибки. Индексация сайта затрудняется, если на страницах сайта используются идентификаторы сессий. Если ваша навигация идет через скрипты, то делайте дубликаты ссылок стандартным образом – поисковики не читают скрипты ( более подробная информация обо всех ошибках изложена в главе 2.3);

3 Не забывайте, что под индексацию поисковиками на странице попадает не более 100-200 кб текста. Если объем страницы больше, то проиндексированы будут только первые 100-200 кб со страницы, то есть ее начало. Правило гласит: если хотите, чтобы страницы были проиндексированы целиком, делайте их объемом не более 100 кб.

Закрытие от Индексации

Часто требуется закрыть сайт или его части от индексации. Для этого:

  • Для поисковиков определен специальный файл robots.txt, который управляет поведением поисковых роботов. Специальными директориями (командами) записанными в файле, можно запретить или разрешить индексацию всего сайта, каталогов и и/или отдельных страниц.
  • Для закрытия от индексации существует тег «NOINDEX» , с помощью которого можно закрыть для индексации части страницы, но этот специальный тег поддерживают только российские поисковые системы. Близок к нему, тег «NOFOLLOW» который закрывает ссылки от индексации «не нашими» поисковиками (Google, Bing).

Важно! С помощью тега nofollow ( rel=nofollow<текст ссылки>) можно закрыть только ссылку. Тегом noindex (<noindex></noindex>) можно закрыть  кусок текста. Если не закрыть тег noindex, то весь текст после него не будет индексироваться поисковиком Яндекс.

Количество индексированных страниц сайта

Количество страниц вашего ресурса, проиндексированных поисковыми роботами, может и будет меняться постоянно. Базы данных поисковиков регулярно обновляются, меняются алгоритмы поисковиков, вводятся новые правила и т.д.

Если сервер был недоступен, а поисковый робот попытался ресурс проиндексировать и не получил к нему доступ, то страница вполне может исчезнуть из индекса. Когда сервер опять заработает, ресурс должен снова через какое-то время появиться в индексе.

Скорость индексации

  • Некоторые веб-мастера считают, что на скорость индексации влияет количество внешних ссылок: чем их больше у вашего ресурса, тем быстрее происходит индексация.
  • Внутренняя ссылка на новую страницу ускорит её индексацию.
  • Я знаю по практике, если ваш сайт обновляется постоянно, то боты посещают ваш сайт чаще и скорость индексации страницы возрастает многократно.
  • Использование специальных сервисов веб мастеров: Яндекс.Вебмастер, Google Webmaster Tools, Webmaster.mail, Bing Webmaster Tools имеет инструменты для сообщения о новых страницах сайта, что также ускоряет индексацию.

Как следить за индексацией страниц

Для того чтобы узнать, как протекает индексация сайта, можно:

  • Проанализировать лог-файлы сервера (в них записываются визиты поисковых роботов). Если посещения есть, значит сайт увидели.
  • Использовать инструменты веб-мастеров (список выше). Они для этого и созданы;
  • Для проверки индексации страниц сайта есть специальные online инструменты (например, http://www.seogadget.ru/sepages, http://www.raskruty.ru/tools/index/, https://www.rush-analytics.ru/land/proverit-indeksaciyu-stranic-v-yandex-i-google);
  • В Яндекс можно сделать запрос: url:http://vash-domen.ru | url:www.http://vash-domen.ru , он покажет есть страница в индексе или нет;
  • В Google можно сделать запрос: site: vash-domen.ru, он покажет есть страница в индексе или нет.

©SeoJus.ru

Другие статьи раздела «SEO учебник»

(Всего просмотров 462)

Статьи по теме