Поисковый робот — это особый программный продукт, который обеспечивает работу поисковика. ПО заносит в базу все вебсайты, которые ей удается найти во время индексирования интернет-сети.
Также такая программа может иметь другие названия: краулер, webrobots, бот и др.
Особенности работы
Поисковый робот – имеет вид браузера, осуществляет сканирование интернета на регулярной основе: заходит на проиндексированные веб-ресуры, находит ссылки и осуществляет переход на новые веб-сайты.
Когда находится новый веб-сайт, то робот добавляет его в индекс поисковика.
Также поисковый automaticindexer занимается индексацией обновлений, фиксацией периодичности изменений и др.
Таким образом, веб-сайт, который обновляется 1 раз в 7 дней, будет индексироваться роботом с аналогичной частотой, а публикации на новостных веб-порталах проходят эту процедуру почти сразу же.
Если подытожить, то можно выделить три этапа работы роботов:
1. Сканирование – сбор сведений с сайта, текстовый контент, изображения и видео. Данная процедура выполняется постоянно в соответствии с частотой пополнения сайта новым контентом.
2. Индексация — перенос и размещение собранных сведений в базу поисковика с прикреплением конкретного индекса для оперативного нахождения. На больших новостных вебпорталах новый контент индексируется почти мгновенно после размещения.
3. Выдача результатов — поиск информационных данных согласно индексу и ранжирование вебстраниц в соответствии с релевантным запросом.
Чтобы на новый вебсайт попал поисковый робот, необходимо разместить его вебссылку на другом сайте. Также можно воспользоваться спецформой (Центр веб-мастеров Гугл, панель веб-мастера Yandex и др.).
Разновидности
Боты Яндекса:
— Яндекс/1.01.001 I — базовая ботовая программа, которая занимается индексацией;
— Яндекс /1.01.001 (P) — выполняет индексацию изображений;
— Яндекс /1.01.001 (H) — занимается поиском зеркала веб-ресурса;
— Яндекс /1.03.003 (D) — проверяют, соответствуют ли вебстраницы требованиям индексации или нет;
— ЯДиректБот/1.0 (I) — выполняет индексирование вебсайтов из рекламной подсети Yandex;
— Яндексч/1.02.000 (F) — выполняет индексирование фавиконов вебсайтов.
Боты Гугл:
— Робот Гуглбот — базовый бот поисковой системы;
— Гуглбот Новости — выполняет сканирование и индексацию новостей;
— Гугл Мобайл — индексирует веб-сайты для мобильных гаджетов (телефонов и планшетов);
— Гуглбот Картинки — выполняет поиск и индексацию картинок;
— Гуглбот Видеор — нужен для индексации видеороликов;
— Гугл ЭдсБот — занимается проверкой качества целевой вебстраницы;
— Гугл Мобайл Адсенс и Гугл Адсенс — выполняет индексацию вебсайтов рекламной сети Гугл.
Другие поисковики также применяют поисковых роботов нескольких типов, которые выполняют аналогичные функции и задачи.
