Индексация сайта поисковиками: что такое индексация веб-ресурса

Индексация сайта это

Индексация сайта это обнаружение сайта поисковыми роботами ( поисковиками) и занесение главной и других страниц сайта в свою базу данных. До того, как ресурс появится в результатах поиска, поисковая система должна его сначала проиндексировать, а потом, выбрав по своим алгоритмам, полезные страницы, занести их в поисковый индекс.

Три вида индексации

Понятие индексации сайта можно разделить на три отдельных понятия:

  1. Индексация всего сайта – обнаружение сайта, как Интернет ресурса, поисковиками;
  2. Индексация страниц сайта – занесение найденных страниц в базу данных поисковиков;
  3. Поисковая индексация – фильтрация всех страниц сайта по своим алгоритмам и добавление отфильтрованных страниц в поисковый индекс (поисковую выдачу).

Уже потом следует ранжирование (выстраивание) страниц в поисковой выдаче, поднятие страниц в Топ выдачи и т.д.

Индексация сайта поисковиками

Читать по теме:  Работа поисковых систем: общие принципы работы поисковиков

Индексация сайта как Интернет ресурса

Первым шагом продвижения сайта в поисковой выдаче, это знакомство поисковиков с сайтом, как новым Интернет ресурсом. А проще, вы должны сообщить поисковикам ( Яндекс, Google, Bing, Mail.ru, Rambler) о появлении в сети вашего ресурса (сайта, блога, форума, портала). Для этого для начала, добавьте сайт в эти инструменты подтвердив свои права на него.

Практика показывает, что большая часть сайтов (с количеством страниц от нескольких десятков до нескольких сотен), как правило, не имеют проблем с индексацией сайта и его страниц поисковиками. Однако, есть, некоторые моменты, которые необходимо учесть, когда вы работаете над своим ресурсом.

Два пути индексации сайта

Есть два пути, с помощью которых поисковая система узнает о новом ресурсе и начнется индексация сайта:

1 Добавление адреса ресурса с помощью специальной формы поисковой системы вручную. Сообщение для поисковой системы о новом сайте исходит от вас лично, и адрес сайта встает в очередь на индексацию. При ручном способе надо добавить только главную страницу ресурса, остальные поисковый робот найдет по ссылкам.

Для того чтобы сообщить поисковикам о новом ресурсе, нужно обязательно воспользоваться специальными сервисами для веб мастеров:

  • Яндекс.Вебмастер (https://webmaster.yandex.ru/),
  • Google Webmaster Tools (//www.google.com/webmasters/tools/),
  • Webmaster.mail (https://webmaster.mail.ru/),
  • Bing Webmaster Tools (https://www.bing.com/toolbox/webmaster),
  • Nigma.ru.
2 Предоставление поисковому роботу самому найти ваш ресурс. Это возможно в том случае, если с других ресурсов (которые уже были проиндексированы поисковой системой) на ваш сайт есть хотя одна внешняя ссылка.

Этот вариант рекомендован к использованию в большинстве случаев: просто получите некоторое количество внешних ссылок на ресурс и дожидайтесь прихода робота. Добавление сайта вручную в некоторых случаях даже удлиняет срок ожидания робота.

Как правило, первичная индексация сайта занимает от 2-3 дней до двух недель и это зависит от системы поиска.

Читать по теме:  Алгоритмы Google: история развития

Дружелюбность сайта для поисковиков

Стремитесь к тому, чтобы ваш сайт стал для поисковых роботов дружественным. Для этого обращайте внимание на следующие моменты:

1 Доступность по ссылкам с главной страницы на любые другие страницы вашего ресурса не должна быть длиннее, чем в 3 перехода. Если структура вашего сайта такова, что это невозможно, сделайте карту сайта и ориентируйте ее на выполнение указанного правила;

2 Учитывайте распространенные ошибки. Индексация сайта затрудняется, если на страницах сайта используются идентификаторы сессий. Если ваша навигация идет через скрипты, то делайте дубликаты ссылок стандартным образом – поисковики не читают скрипты ( более подробная информация обо всех ошибках изложена в главе 2.3);

3 Не забывайте, что под индексацию поисковиками на странице попадает не более 100-200 кб текста. Если объем страницы больше, то проиндексированы будут только первые 100-200 кб со страницы, то есть ее начало. Правило гласит: если хотите, чтобы страницы были проиндексированы целиком, делайте их объемом не более 100 кб.

Читать по теме:  Как подготовить статью для публикации на сайте, блоге

Закрытие от Индексации

Часто требуется закрыть сайт или его части от индексации. Для этого:

  • Для поисковиков определен специальный файл robots.txt, который управляет поведением поисковых роботов. Специальными директориями (командами) записанными в файле, можно запретить или разрешить индексацию всего сайта, каталогов и и/или отдельных страниц.
  • Для закрытия от индексации существует тег «NOINDEX» , с помощью которого можно закрыть для индексации части страницы, но этот специальный тег поддерживают только российские поисковые системы. Близок к нему, тег «NOFOLLOW» который закрывает ссылки от индексации “не нашими” поисковиками (Google, Bing).

Важно! С помощью тега nofollow ( rel=nofollow<текст ссылки>) можно закрыть только ссылку. Тегом noindex (<noindex></noindex>) можно закрыть  кусок текста. Если не закрыть тег noindex, то весь текст после него не будет индексироваться поисковиком Яндекс.

Читать по теме:  Особенности работы различных поисковиков: Google, Bing, Яндекс, Mail, Rambler

Количество индексированных страниц сайта

Количество страниц вашего ресурса, проиндексированных поисковыми роботами, может и будет меняться постоянно. Базы данных поисковиков регулярно обновляются, меняются алгоритмы поисковиков, вводятся новые правила и т.д.

Если сервер был недоступен, а поисковый робот попытался ресурс проиндексировать и не получил к нему доступ, то страница вполне может исчезнуть из индекса. Когда сервер опять заработает, ресурс должен снова через какое-то время появиться в индексе.

Скорость индексации

  • Некоторые веб-мастера считают, что на скорость индексации влияет количество внешних ссылок: чем их больше у вашего ресурса, тем быстрее происходит индексация.
  • Внутренняя ссылка на новую страницу ускорит её индексацию.
  • Я знаю по практике, если ваш сайт обновляется постоянно, то боты посещают ваш сайт чаще и скорость индексации страницы возрастает многократно.
  • Использование специальных сервисов веб мастеров: Яндекс.Вебмастер, Google Webmaster Tools, Webmaster.mail, Bing Webmaster Tools имеет инструменты для сообщения о новых страницах сайта, что также ускоряет индексацию.

Как следить за индексацией страниц

Для того чтобы узнать, как протекает индексация сайта, можно:

  • Проанализировать лог-файлы сервера (в них записываются визиты поисковых роботов). Если посещения есть, значит сайт увидели.
  • Использовать инструменты веб-мастеров (список выше). Они для этого и созданы;
  • Для проверки индексации страниц сайта есть специальные online инструменты (например, http://www.seogadget.ru/sepages, http://www.raskruty.ru/tools/index/, https://www.rush-analytics.ru/land/proverit-indeksaciyu-stranic-v-yandex-i-google);
  • В Яндекс можно сделать запрос: url:http://vash-domen.ru | url:www.http://vash-domen.ru , он покажет есть страница в индексе или нет;
  • В Google можно сделать запрос: site: vash-domen.ru, он покажет есть страница в индексе или нет.

©SeoJus.ru

Другие статьи раздела “SEO учебник”

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *