Поисковый робот - это особый программный продукт, который обеспечивает работу поисковика. ПО заносит в базу все вебсайты, которые ей удается найти во время индексирования интернет-сети.
Также такая программа может иметь другие названия: краулер, webrobots, бот и др.
Особенности работы
Поисковый робот – имеет вид браузера, осуществляет сканирование интернета на регулярной основе: заходит на проиндексированные веб-ресуры, находит ссылки и осуществляет переход на новые веб-сайты.
Когда находится новый веб-сайт, то робот добавляет его в индекс поисковика.
Также поисковый automaticindexer занимается индексацией обновлений, фиксацией периодичности изменений и др.
Таким образом, веб-сайт, который обновляется 1 раз в 7 дней, будет индексироваться роботом с аналогичной частотой, а публикации на новостных веб-порталах проходят эту процедуру почти сразу же.
Если подытожить, то можно выделить три этапа работы роботов:
1. Сканирование – сбор сведений с сайта, текстовый контент, изображения и видео. Данная процедура выполняется постоянно в соответствии с частотой пополнения сайта новым контентом.
2. Индексация — перенос и размещение собранных сведений в базу поисковика с прикреплением конкретного индекса для оперативного нахождения. На больших новостных вебпорталах новый контент индексируется почти мгновенно после размещения.
3. Выдача результатов — поиск информационных данных согласно индексу и ранжирование вебстраниц в соответствии с релевантным запросом.
Чтобы на новый вебсайт попал поисковый робот, необходимо разместить его вебссылку на другом сайте. Также можно воспользоваться спецформой (Центр веб-мастеров Гугл, панель веб-мастера Yandex и др.).
Разновидности
Боты Яндекса:
- Яндекс/1.01.001 I — базовая ботовая программа, которая занимается индексацией;
- Яндекс /1.01.001 (P) — выполняет индексацию изображений;
- Яндекс /1.01.001 (H) — занимается поиском зеркала веб-ресурса;
- Яндекс /1.03.003 (D) — проверяют, соответствуют ли вебстраницы требованиям индексации или нет;
- ЯДиректБот/1.0 (I) — выполняет индексирование вебсайтов из рекламной подсети Yandex;
- Яндексч/1.02.000 (F) — выполняет индексирование фавиконов вебсайтов.
Боты Гугл:
- Робот Гуглбот — базовый бот поисковой системы;
- Гуглбот Новости — выполняет сканирование и индексацию новостей;
- Гугл Мобайл — индексирует веб-сайты для мобильных гаджетов (телефонов и планшетов);
- Гуглбот Картинки — выполняет поиск и индексацию картинок;
- Гуглбот Видеор — нужен для индексации видеороликов;
- Гугл ЭдсБот — занимается проверкой качества целевой вебстраницы;
- Гугл Мобайл Адсенс и Гугл Адсенс — выполняет индексацию вебсайтов рекламной сети Гугл.
Другие поисковики также применяют поисковых роботов нескольких типов, которые выполняют аналогичные функции и задачи.