Индексация сайта — для чего она нужна?
Индексация сайта — это один из важнейших этапов продвижения сайта. Прежде чем сайт появится в результатах поиска, он должен быть проиндексирован поисковой системой. Индексация означает, что поисковый робот посетил Ваш сайт, проанализировал его и занес информацию в базу данных поисковой системы.
Роботы поисковой системы, иногда их называют «пауки» или «кроулеры» (crawler), — это программные модули, занимающиеся поиском web-страниц. Роботы поисковика обладают базовыми функциями, похожими на присущие первым браузерам в отношении того, какую информацию они могут распознать на сайте. Как и ранние браузеры, роботы попросту не могут делать определенные вещи. Роботы не понимают фреймов, flash-анимаций, изображений или JavaScript. Они не могут зайти в разделы, защищенные паролем, и не могут нажимать на все те кнопки, которые есть на сайте. Они могут "заткнуться" в процессе индексирования динамических адресов URL и работать очень медленно вплоть до остановки, бессильны перед JavaScript-навигацией.
Придя на Ваш сайт, роботы сначала проверяют, есть ли файл robots.txt. Этот файл сообщает роботам, какие разделы Вашего сайта не подлежат индексации. Обычно это могут быть директории, содержащие файлы, которыми робот не интересуется или которые ему не следовало бы видеть.
Роботы хранят и собирают ссылки с каждой страницы, которую они посещают, а позже проходят по этим ссылкам на другие страницы. Вся Всемирная сеть построена из ссылок. Начальная идея создания сети Интернет была в создании возможности перемещения по ссылкам от сервера к серверу. Так перемещаются и роботы.
Принципы индексирования страниц зависят от инженеров поисковых машин. Они разрабатывают методы оценки информации, получаемой роботами поисковика. Информация из базы данных поисковых систем доступна пользователям. Когда пользователь поисковой машины вводит поисковый запрос, производится ряд быстрых вычислений и составляется список сайтов, наиболее релевантных этому запросу.
К сожалению, не всегда индексация ресурса проходит идеально. Нередко возникают проблемы, которые препятствуют индексации части и даже всего web-сайта. Либо ресурс полностью вылетает из индекса. Очень часто причиной таких явлений становятся ошибки, допущенные во время разработки проекта. Если у Вас небольшой сайт из 10-20 страничек, проблемы можно решить вручную. Если проект большой, ручная работа может обернуться потерей времени и множеством ошибок, поэтому здесь целесообразнее обращаться к профессионалам.
Сейчас поисковые системы начали конкурировать между собой, появились новые подходы к поиску информации. В частности, некоторые системы начали интегрировать результаты поиска по индексу и какому-либо популярному каталогу, например Yahoo. Самая популярная ныне поисковая машина Google появилась в 1998 году. Российские поисковые машины также начали работать в середине 90-х годов. Например, Рамблер и Апорт открылись в 1996 году. Некоторое время каталог Рамблер Топ-100 был самым популярным ресурсом в Рунете. Поисковая машина Яндекс появилась в 1997. На сегодня данная система обладает самой большой базой документов среди аналогичных проектов в Рунете.